医学教育研究者・総合診療医のブログ

医学教育、総合診療について気ままに綴ります。

Comparison of Remote vs In-Person Proctored In-Training Examination Administration for Internal Medicine (Acad Med 2024)

Ong TQ, Krumm B, Wells M, Read S, Harris L, Altomare A, Paniagua M. A Comparison of Remote vs In-Person Proctored In-Training Examination Administration for Internal Medicine. Acad Med. 2024 Jan 29. Epub ahead of print.

背景:COVID-19を受け、米国内科学会はthe 2020 Internal Medicine In-Training Examination (IM-ITE)を対面式と遠隔式の試験監督で受験できるオプションをレジデントに提供した。本研究では、両試験方法で得られたスコアがどの程度同等であるかを評価した。

方法:米国を拠点とするAccreditation Council for Graduate Medical Education公認のすべてのIM研修プログラム、および2020年にIM-ITEを修了したカナダおよび海外の参加プログラムのレジデントのデータを分析した。最終サンプルには27,115人のIM研修医が含まれた: その内訳は、卒後年次(PGY)1が9,205人、PGY-2が9,332人、PGY-3が8,578人であった。試験モダリティ、性別、PGY、評価に費やした時間、母国語を用いて、マルチレベル回帰モデルで正答率を予測した。このモデルには、すべての主効果と、試験モダリティと各レジデントレベルの人口統計学的変数との間のすべての2元交互作用が含まれており、これらの効果をコントロールすることが可能であった。

結果:調査対象となった27,115人のレジデントのうち、11,354人(42%)が遠隔で試験を受け、15,761人(58%)が直接試験を受けた。対象としたパラメータ(試験方法の主効果および2元配置の交互作用)において、統計的に有意な効果は、試験方法(交互作用効果:-0.61;95%信頼区間(CI):-1.01、-0.21)とPGY(交互作用効果:-0.54;95%CI:-0.95、-0.13)の間の交互作用効果のみであった(P = 0.002)。対面式と遠隔式の予測スコアの差は、PGY-1研修医の方がPGY-2研修医やPGY-3研修医よりもわずかに大きかったが(モデル内の他の予測因子をコントロール)、レジデント間のこれらの差の大きさは1%ポイント以下であった。これらの統計的に有意な影響は教育的に有意でないと考えられたため、この研究は、対面式と遠隔式の受験者間で成績に実質的な差はないと結論づけた。

結論:2020年IM-ITE を受験したレジデントの成績は、対面式と遠隔式の試験監督で同程度であった。本研究は、2つの試験方法におけるスコアの比較可能性を示す証拠となり、IM-ITEの遠隔試験監督を継続的に使用することを支持するものである。