Sam AH, Reid MD, Thakerar V, Gurnell M, Westacott R, Reed MWR, Brown CA. National inter-rater agreement of standardised simulated-patient-based assessments. Med Teach. 2020 Nov 16. Epub ahead of print.
背景：来る英国医療ライセンス評価では，英国の全てのメディカルスクールは，卒業して医師免許を取得する前に，適切に設計された臨床・専門技能評価 (Clinical and Professional Skills Assessment; CPSA)に合格することを確実にすることが求められている．CPSAの要件はGeneral Medical Councilによって設定されるだろうが，ここのメディカルスクールが，独自の評価を実施する責任を負うことになる．ゆえに，英国内の異なるメディカルスクールの評価者が，どのような基準で不合格，合格，または良い成績とするかについて合意することが重要である．
方法：実験的ビデオベース，一重盲検，ランダム化，インターネットベースデザインを使用した．明らかに不合格 (CF)，ボーダーライン (BD)，明らかに合格 (CPX)，良い (GD)の4つの基準で作成した，シミュレーションの学生の臨床の試験のパフォーマンスのビデオを作成した．全英の10個の地域の評価者をランダムに割り付け，5つのビデオを12種類の組み合わせで視聴し，シミュレーションの候補者ごとに能力領域のスコアと総合的なグローバル評点をつけるよう，求められた．絶対一致のための二元ランダム効果モデルに基づきクラス内相関係数 (ICC)で測定された評価者間一致が，全領域のスコアについて，計算された．
結果：120人の評価者が研究に参加し，98人が解析対象になった．ICCは0.93 (0.81–0.99)だった．スクリプト化されたグローバル評点との平均一致率は74.4% (40.8%-96.9%)だった．
結論：スクリプトレベルで実施したシミュレーション候補者の評価時の，英国の評価者における評価者間一致は素晴らしかった．シミュレーション候補者の総合的なグローバル評点の一致具合もまた高かった．本研究のち県は，同じシミュレーションパフォーマンスを見る英国の評価者が，学生を「明らかに不合格」「ボーダーライン」「明らかに合格」「良い」レベルの学生に期待される基準に，高いレベルの一致を示していることを示唆している．
