Kemp PR, Bradshaw JM, Pandya B, Davies D, Morrell MJ, Sam AH. The validity of Engagement and Feedback Assessments (EFAs): identifying students at risk of failing. BMC Med Educ. 2023;23:866.
背景：英国ロンドンのインペリアル・カレッジ医学部は、卒業生のGMCアウトカムと教育学のベストプラクティスに焦点を当てた新カリキュラムを2019年に導入した。新カリキュラムには、学習をサポートするための形成的評価、すなわちエンゲージメント・フィードバック評価（engagement and feedback assessments; EFAs）が含まれ、総括的試験における達成度が評価された。本研究の目的は、EFAsの妥当性を評価し、これらの形成的なイベントへの出席と成績を測定・分析することによって、可能な介入に関する意思決定に情報を提供するための修正されたプログラム評価の形式として有用であるかどうかを判断することであった。
方法：本研究には761名の学生が参加し、2019/20～2020/21年度の評価結果が含まれた。学生1人当たり41のデータポイント（1年次27、2年次14）を使用し、EFAのスコアと総括的な成績を比較した。出席状況は、EFAとの関わりを通してモニターされた。
結果：コホート1（2019年入学）： 1年目、EFAsは総括的試験成績と関連していた（全体のr = 0.63, p < 0.001）。2年目、EFAの得点は臨床実技評価（r = 0.45, p < 0.001）を含む総括的得点とも関連していた（全体r = 0.57, p < 0.001）。2つ以上のEFAを欠席することは、1年目（OR：7.97, 95％CI 2.65-34.39）および2年目（OR：3.20, 95％CI 1.74-5.95）において、1つ以上の総括的試験に不合格となる可能性の有意な増加と関連していた。1年次にEFAを2回以上欠席した場合も、2年次の総括的試験に不合格になるリスクが高かった（OR：2.47, 95％CI 1.33-4.71）。1年目から2年目にかけて出席率が上昇した学生は、出席率が低いまま維持された学生よりも総括評価で良い結果を得たが、出席率が低下した学生は、出席率が高いまま維持された学生よりも悪い結果を得た。
コホート2（2020年入学）： コホート2の分析でも、これらの結果は支持され、このコホートにおいても、EFAを2回以上欠席することは、総括的試験に不合格となる可能性の増加と関連していた（OR = 4.00, 95％CI = 2.02-7.90）。
結論：我々のEFAモデルは、総括的試験の成績を予測するうえで妥当性があり、学生の学習を支援するための将来的な介入策に情報を提供することができる。出席率やエンゲージメントを高めることで、成果を改善することができる。
