医学教育研究者・総合診療医のブログ

医学教育、総合診療について気ままに綴ります。

Exploring the Association Between USMLE Scores and ACGME Milestone Ratings: A Validity Study Using National Data From Emergency Medicine (Acad Med 2021)

Hamstra SJ, Cuddy MM, Jurich D, Yamazaki K, Burkhardt J, Holmboe ES, Barone MA, Santen SA. Exploring the Association Between USMLE Scores and ACGME Milestone Ratings: A Validity Study Using National Data From Emergency Medicine. Acad Med. 2021 Jun 15. Epub ahead of print.

背景:米国医師免許試験(USMLE)と医学教育認定評議会(ACGME)のマイルストーンは、卒前から卒後までの連続した医学教育における評価の2大要素である。本研究では、USMLEのステップ1およびステップ2の臨床知識(CK)スコアと、ACGMEの救急医療(EM)のマイルストーン評価との関連性を検討した。

方法:2019年2月、主題専門家(SME)が、Step試験とEMサブコンピテンシーの組み合わせごとに、予想される関連性の判定を行った。その結果、強い関連性と弱い関連性が予想されるサブコンピテンシーのセットを選択し、それぞれ収束的妥当性分析と弁別的妥当性分析を行った。2013年から2018年までの全米レベルのデータが提供され、最終的に158のトレーニングプログラムから6,618人のEM研修医がサンプルとして含まれた。マイルストーンの評価とStepのスコアとの間の経験的二変量相関を算出し、それらの相関をSMEの判定と比較した。また、選択したサブコンピテンシーについて、マイルストーン評価を従属変数、Step1スコア、Step2 CKスコア、コホート年次を独立変数とした、マルチレベル回帰分析を行った。

結果:回帰分析の結果、Step 2 CKスコアとサブコンピテンシーの間には、小さいながらも統計的に有意な正の関係が示され(回帰係数は0.02[95%信頼区間(CI): 0.01-0.03]~0.12[95% CI: 0.11-0.13]、いずれもP < 0.05)、選択された9つのサブコンピテンシーのうち7つのサブコンピテンシーについては、SMEの判断と一致する程度の関係が見られた。例えば,ステップ1をコントロールした場合、ステップ2のCKスコアが1 standard deviation増加すると,MK-01マイルストーン評価が0.12増加することが予測された.ステップ1のスコアは,MK-01サブコンピテンシーのみで小さな統計的有意な効果を示した(回帰係数 = 0.06 [95% CI: 0.05-0.07],P < 0.05)。

結論:これらの結果は、ステップ1およびステップ2のCKスコアとEMマイルストーン評価の使用を支持する追加的な妥当性の証拠となった。