Luu K, Sidhu R, Chadha NK, Eva KW. An exploration of "real time" assessments as a means to better understand preceptors' judgments of student performance. Adv Health Sci Educ Theory Pract. 2022 Nov 28. doi: 10.1007/s10459-022-10189-5. Epub ahead of print. PMID: 36441287.
背景:臨床監督者は研修生のパフォーマンスを特異に評価することが知られており、その評価の妥当性が懸念される。この問題に関する文献は、レトロスペクティブな判断の収集に大きく依存しており、その結果、何が評価者の認識を実際に動かしているのかに関する情報が不正確になる危険性がある。監督者の印象に関する情報をその場で把握することで、どのように介入すべきかについて、よりよい知見が得られる可能性がある。そこで、本研究の目的は、プリセプターが学生のパフォーマンスについてどのような判断を下すのかを探るために、「リアルタイム」の判断を収集することであった。
方法:本研究では、2つのビデオ録画された研修生の臨床パフォーマンスを見ながら、リアルタイムで評価スケールを調整するよう医師に依頼する前向き研究を行った。評価尺度は1秒刻みで記録し、調整の頻度、方向、大きさを調べ、修正オタワ・クリニック・アセスメント・ツールで測定した評価者の最終的な委託可能性判断と比較した。評価者の判断の標準偏差を時間の関数として調べ、印象が変化し始めるまでの時間を明らかにした。
結果:20名の参加者が2つの臨床ビネットを閲覧した。評価者によって尺度の調整が必要な行動が異なるため、評価にはかなりのばらつきが観察された。この特異性は非常に早く発生し、症例開始後30秒以内に評価者の判断の標準偏差は急速に増加した。特定の瞬間が概して影響を与えるようであるが、その程度はやはり様々であった。最終評価と(a)初回調整時の得点、(b)最終調整時の得点、(c)平均得点との相関は、一方のビデオでr=0.13、0.32、0.57、他方でr=0.30、0.50、0.52であり、瞬間ごとの評価者の特異な観察が全体の印象にどの程度蓄積されているかということが示された。
結論:この結果は、評価者の印象のばらつきは、症例提示のごく初期に始まり、評価者ごとに異なる行動が異なる影響を与えることに関連していることを示している。さらに、本研究は、評価者の判断に影響を与える要因について洞察を得るための新しい方法論を概説するものである。