Mee J, Pandian R, Wolczynski J, Morales A, Paniagua M, Harik P, Baldwin P, Clauser BE. An experimental comparison of multiple-choice and short-answer questions on a high-stakes test for medical students. Adv Health Sci Educ Theory Pract. 2023 Sep 4. Epub ahead of print.
背景：近年の自動採点技術の進歩により、大規模なhigh-stakesの評価において、多肢選択問題（MCQs）をshort-answer questions（SAQs）に置き換えることが現実的になってきた。しかし、これらの形式を比較した先行研究のほとんどは、low-stakes条件下での小規模な受験者サンプルを使用している。さらに、先行研究では、2つの質問タイプに対する回答に必要な時間については報告されていない。本研究では、大規模なhigh-stakes評価の一部として受験者が回答した場合の2つの形式の難易度、識別力、所要時間を比較した。
方法：71のMCQsがSAQsに変換された。これらのマッチングされた項目は、内科学のhigh-stakes評価を受ける受験者に無ランダムに割り当てられた。両方の形式で同じ項目を見た受験者はいなかった。
結果：SAQ形式で実施された項目は、MCQ形式の項目よりも一般的に難しかった。SAQsの識別指数はMCQsの識別指数よりもわずかに高く、回答時間はSAQsの方が大幅に長かった。
結論：これらの結果は、MCQsとSAQsの互換性を裏付けている。受験者が回答を選択するのではなく、回答を生成することが重要な場合には、SAQsが好まれるかもしれない。この論文で報告された難易度と識別に関する結果は、先行研究の結果と一致している。2つの形式の相対的な所要時間に関する結果は、一定の試験時間ではSAQsの方が実施できる数が少ないことを示唆しており、この制限はSAQsで報告されている高い識別力を補って余りあるものです。さらに、難易度の上昇がSAQsの識別にどの程度直接影響を与えるかについても検討する。
