Eltayar AN, Aref SR, Khalifa HM, Hammad AS. Do entrustment scales make a difference in the inter-rater reliability of the workplace-based assessment? Med Educ Online. 2022;27:2053401.
背景：職場ベース評価 (workplace-based assessment; WBA)は、学習者の職場でのコンピテンシーを評価するために用いられる。多くの職場アセスメントツールがあり、様々な構成要素を評価するために検証されている。職場に根ざした評価を実施するには、スタッフの適切なトレーニングが必要である。本研究は、スタッフトレーニングがWBAの実施に与える影響を探り、委託尺度、パフォーマンス記述子、個人判定を用いながら、その評価者間信頼性を評価することを目的とした。
方法：整形外科のスタッフを対象に、WBAツール内の委託尺度や評価記述子の使用に関する研修プログラムを実施した準実験的研究である。研修の対応として、整形外科が提供する外傷コースにおいて、主観的判断を委託尺度とパフォーマンス記述子に置き換えることが行われた。WBAの評価者間信頼性を様々な評価尺度を用いて評価した。
結果：評価ツールの評価者間信頼性は、委託尺度がパフォーマンス記述子や個人判断よりも高かった。
結論：WBAに委託尺度を用いた場合、評価者間信頼性が最も高かったことから、委託尺度は異なる評価者間の一貫性に関して良好な心理測定特性を達成していることが示唆された。このことは、委託尺度が評価者の違いによる交絡効果を減少させることを示している。また、学習者の実際の学力レベルをより明確に把握することができる可能性がある。
