Ryan MS, Gielissen KA, Shin D, Perera RA, Gusic M, Ferenchick G, Ownby A, Cutrer WB, Obeso V, Santen SA. How well do workplace-based assessments support summative entrustment decisions? A multi-institutional generalisability study. Med Educ. 2024 Jan 2. Epub ahead of print.
背景：研修医になるための中核となる委託可能な専門的活動の評価には、職場ベースの評価（WBAs）による直接観察が必要である。委託に向けた学生の進歩を測定するために開発されたWBAsの信頼性に関して、単一機関の研究ではさまざまな結果が示されている。信頼性を向上させる要因として、教員の育成、評価者の関与、尺度の選択などが示唆されている。本調査の目的は、特定の要因がWBAsの信頼性に及ぼす影響を明らかにするために、複数機関による一般化可能性調査を実施することである。
方法：著者らは、2018年から2020年にかけて7つの機関でクラークシップレベルの学生に対して得られたWBAデータを分析した。教育機関は、指定評価者の選択、尺度の変更、異なるEPAsなど、様々な戦略を実施した。データはこれらの要因別に集計された。次に、一般化可能性理論を用いて、データの内部構造妥当性のエビデンスを検証した。分散成分を分解するために、不均衡交差分類ランダム効果モデルが用いられた。0.7を超えるファイ係数が許容できる信頼性の閾値として用いられた。
結果：53,565のWBAsのデータが分析され、合計77の一般化可能性研究が実施された。ほとんどのデータはEPA1（n = 17 118, 32%）、2（n = 10 237, 19.1%）、6（n = 6000, 18.5%）から得られた。ほとんどの分析（59/77, 76%）で学習者に起因する分散は低く（10%未満）、その結果、妥当な信頼性を得るために必要なオブザベーションの数は比較的多かった（範囲=3～>560、中央値=60）。DA、スケール、EPAなどの因子は、一貫して信頼性の向上とは関連していなかった。
結論：本研究の結果から、7つの施設で得られたWBAsの信頼性は比較的低いことが示された。これらの尺度の一般化可能性は、教員の能力開発、評価者の関与、尺度の選択などの要因にあまり左右されない可能性がある。形成的フィードバックに使用される場合、これらの尺度から得られるデータは有用であろう。しかし、このような評価尺度は、常に合理的な信頼性を提供するものではなく、評価の高い総括的な委託の決定に使用することを正当化するものではない。
