医学教育研究者・総合診療医のブログ

医学教育、総合診療について気ままに綴ります。

ChatGPT to generate clinical vignettes for teaching and multiple-choice questions for assessment: A randomized controlled experiment (Med Teach 2024)

Coşkun Ö, Kıyak YS, Budakoğlu Iİ. ChatGPT to generate clinical vignettes for teaching and multiple-choice questions for assessment: A randomized controlled experiment. Med Teach. 2024 Mar 13:1-7. Epub ahead of print. PMID: 38478902.

背景:本研究は、ChatGPTを用いて生成された臨床ビネットと多肢選択問題の実際のパフォーマンスを評価することを目的とした。

方法:本研究は、エビデンスに基づく医療研修プログラムにおけるランダム化比較試験である。74名の医学生を2つのグループにランダムに割り付けた。ChatGPT群にはChatGPTによって生成された非定義症例を、対照群には人間が書いた症例を配布した。トレーニングの最後に、彼らは10個のステートメントをリッカート尺度を用いて評価することによってケースを評価した。また、ChatGPTによって生成された15の多肢選択問題(MCQs)にも回答した。2つのグループの症例評価を比較した。また、テストのいくつかの心理測定的特徴(項目の難易度と点双対相関)も報告された。

結果:ChatGPT群と対照群との間で、事例に関する10項目の得点に有意差は認められなかった(p > .05)。テストでは、点-双列相関が許容レベル(0.30以上)であったのは6つのMCQのみであり、5つの項目は教室の環境でも許容できると考えられた。

結論:結果、ビネットの質は、人間の著者が作成したものと同等であり、いくつかの複数問題は、許容可能な心理測定特性を有していることが示された。ChatGPTは、医学教育における教育用臨床ビネットや評価用MCQの作成に利用できる可能性がある。