Hamstra SJ, Cuddy MM, Jurich D, Yamazaki K, Burkhardt J, Holmboe ES, Barone MA, Santen SA. Exploring the Association Between USMLE Scores and ACGME Milestone Ratings: A Validity Study Using National Data From Emergency Medicine. Acad Med. 2021 Jun 15. Epub ahead of print.
背景:米国医師免許試験(USMLE)と医学教育認定評議会(ACGME)のマイルストーンは、卒前から卒後までの連続した医学教育における評価の2大要素である。本研究では、USMLEのステップ1およびステップ2の臨床知識(CK)スコアと、ACGMEの救急医療(EM)のマイルストーン評価との関連性を検討した。
方法:2019年2月、主題専門家(SME)が、Step試験とEMサブコンピテンシーの組み合わせごとに、予想される関連性の判定を行った。その結果、強い関連性と弱い関連性が予想されるサブコンピテンシーのセットを選択し、それぞれ収束的妥当性分析と弁別的妥当性分析を行った。2013年から2018年までの全米レベルのデータが提供され、最終的に158のトレーニングプログラムから6,618人のEM研修医がサンプルとして含まれた。マイルストーンの評価とStepのスコアとの間の経験的二変量相関を算出し、それらの相関をSMEの判定と比較した。また、選択したサブコンピテンシーについて、マイルストーン評価を従属変数、Step1スコア、Step2 CKスコア、コホート年次を独立変数とした、マルチレベル回帰分析を行った。
結果:回帰分析の結果、Step 2 CKスコアとサブコンピテンシーの間には、小さいながらも統計的に有意な正の関係が示され(回帰係数は0.02[95%信頼区間(CI): 0.01-0.03]~0.12[95% CI: 0.11-0.13]、いずれもP < 0.05)、選択された9つのサブコンピテンシーのうち7つのサブコンピテンシーについては、SMEの判断と一致する程度の関係が見られた。例えば,ステップ1をコントロールした場合、ステップ2のCKスコアが1 standard deviation増加すると,MK-01マイルストーン評価が0.12増加することが予測された.ステップ1のスコアは,MK-01サブコンピテンシーのみで小さな統計的有意な効果を示した(回帰係数 = 0.06 [95% CI: 0.05-0.07],P < 0.05)。
結論:これらの結果は、ステップ1およびステップ2のCKスコアとEMマイルストーン評価の使用を支持する追加的な妥当性の証拠となった。