Dewhirst S, Wood TJ, Cheung WJ, Frank JR. Assessing the utility of a novel entrustment-supervision assessment tool. Med Educ. 2023 Jun 30. Epub ahead of print.
背景：研修生の進級を決定する際に、業務に基づく評価（Work-based assessments; WBAs）が用いられることが多くなっている。残念ながら、WBAsは能力の異なる訓練生を識別できないことが多く、信頼性も低い。委託監督尺度 (Entrustment-supervision scales)はWBAのパフォーマンスを改善する可能性があるが、従来のWBAツールと直接比較した文献は少ない。
方法：Ottawa Emergency Department Shift Observation Tool（O-EDShOT）は、強い妥当性のエビデンスがある委託監督尺度を採用したWBAツールとして以前に発表されている。この実施前後の研究では、O-EDShOTの性能を、norm-basedのアンカーを用いた従来のWBAツールの性能と比較した。O-EDShOTの導入前と導入後の12ヶ月間に完了したすべての評価を収集し、研修年、研修年内の研修生、研修生内のフォームを入れ子因子として一般性分析を行った。二次分析では、評価者を因子とした。
結果：実施前と実施後のフェーズにおいて、それぞれ152名と138名の研修生に対して、99名と116名の評価者によって、合計3908件と3679件の評価が完了した。O-EDShOTは、従来のWBAよりも幅広い得点範囲を示し、平均得点は訓練レベルが上がるにつれて増加した（1年あたり0.32点対0.14点、p = 0.01）。全体的な得点のばらつきのうち、O-EDShOTを使用した訓練生に起因するものは、従来のツール（21％、p＜0.001）に比べて有意に大きかった（59％）。O-EDShOTでは、従来のWBAと比較して、評価者によるスコアの変動が少なかった（16％対37％）。さらに、O-EDShOTは従来のツール（27対51）よりも少ない評価回数で済み、信頼性は0.8であった。
結論：O-EDShotは、訓練生間の識別において従来のnorm-referenced WBAを上回り、訓練生のパフォーマンスの信頼できる推定値を生成するために必要な評価回数も少なくて済んだ。より広義には、本研究は、様々な臨床場面において、委託監督尺度がより有用で信頼性の高い評価を生み出すことを示唆する文献を追加するものである。
