Ryan MS, Khan AR, Park YS, Chastain C, Phillipi C, Santen SA, Barron BA, Obeso V, Yingling SL; Association of American Medical College Core EPA pilot participants. Workplace-Based Entrustment Scales for the Core EPAs: A Multisite Comparison of Validity Evidence for Two Proposed Instruments Using Structured Vignettes and Trained Raters. Acad Med. 2021 Jun 29. Epub ahead of print.
背景：卒前医学教育 (UME)において、コンピテンシーベースの医学教育は、13のCore Entrustable Professional Activities for Entering Residency (Core EPAs)を通じて運用されている。卒業生がレジデンシーに向けて準備ができているかどうかを総括的に判断するためには、厳密で有効かつ信頼性の高い手段を用いて職場を直接観察することが必要である。本研究の目的は、提案されている2つの職場ベースの委託尺度の妥当性のエビデンスを調査することである。
方法：この多施設共同ランダム化探索的研究では、2019年に、構造化されたvignetttesと経験豊富な評価者を用いて、オタワ尺度 (Ottawa scale)とUME監督ツール (チェン尺度＝Chen scale)の妥当性エビデンスを検討した。著者らは、5つのCore EPAsにおいて、任せられる前（未発達）と任せられる（より発達した）スキルレベルの学習者を描いた一連の8つのケース（6つは新規に開発）を使用した。Core EPAパイロット機関の参加者は、オタワ尺度またはチェン尺度を用いて学習者のパフォーマンスを評価した。著者らは、記述統計と分散分析を用いてデータの傾向を調べ評価を比較し、評価者間信頼性と一般化可能性の研究を行って参加者間の一貫性を評価し、ナラティブ・コメントの内容分析を行った。
結果：10施設から50名の臨床家・教育者が参加し、579件のEPA評価が行われた。オタワ尺度、チェン尺度ともに、スキルレベルが低い人と高い人で差があった (P < 0.001)。interclass correlationは、オタワスケールではすべてのEPAでgood to excellentであり（範囲＝0.68～0.91）、チェンスケールでもfair to excellentであった（範囲＝0.54～0.83）。一般化分析では、学習者とEPAの相互作用に起因する評価の変動が大きく（オタワでは59.6％、チェンでは48.9％）、評価の変動が個々のEPAのパフォーマンスと適切に関連していることが示唆された。
結論：構造化された環境において、オタワとチェンの両尺度は、信頼できる学習者と信頼できない学習者を区別したが、オタワ尺度はより望ましい特性を示した。これらの知見は、学習者がCore EPAsを任せられるようになるまでの過程を測定する、有効で信頼性の高い尺度を開発するための重要な一歩となる。
