医学教育研究者・総合診療医のブログ

医学教育、総合診療について気ままに綴ります。

A prediction-based method to estimate student learning outcome: Impact of response rate and gender differences on evaluation results (Med Teach 2021)

Grebener BL, Barth J, Anders S, Beißbarth T, Raupach T. A prediction-based method to estimate student learning outcome: Impact of response rate and gender differences on evaluation results. Med Teach. 2021 Jan 27:1-12. Epub ahead of print.

背景:回答率の低さは、学生の授業評価の信頼性と妥当性を脅かしている。既存の研究では、学生にコースに対する仲間の満足度を予測してもらうことで、低い回答率でも、信頼性の高い結果が得られることが示されている。本研究の目的は、この予測に基づく方法が、学生の学習アウトカムの評価にも利用できるかどうかを調査することである。

方法:医学生4年生128名の学生を対象に、心臓呼吸器モジュールの前後に、27個の特定の学習目標について自己評価とパフォーマンスの予測を行い、それぞれの内容について形成的テストを実施した。3つのモダリティ全てにおいて、学習前後のパフォーマンスの向上を比較した。

結果:形成的試験の結果は、63.0%の成績向上を示した。自己評価と予測に基づく成績向上率は同程度 (67.8%)であったが、どちらも実際の成績向上率をわずかに過大評価していた。いずれの方法を用いても、20%の回答率で信頼性の高い結果を得ることができた。男子学生と比較して、女性学生は、仲間のパフォーマンスを大幅に過大評価しており、それがパフォーマンス増加の値を膨らませていた。

結論:学生の自己評価と予測は、学習アウトカムを測定するうえで同様に有効な情報源であり、低い回答率でも安定した結果を得るためには十分である。予測に基づくアプローチを仕様する際は、女子学生では、学習アウトカムを過大評価する傾向があることを考慮する必要がある。