Tong L, Wang J, Rapaka S, Garg PS. Can ChatGPT generate practice question explanations for medical students, a new faculty teaching tool? Med Teach. 2024 Jun 20:1-5. Epub ahead of print.
背景：医学部では、多肢選択問題（MCQs）が形成的評価に頻繁に使用されるが、教員の時間的制約から、十分な解答解説が得られないことが多い。Chat Generated Pre-trained Transformer (ChatGPT)は、学生の学習支援や教員の教育ツールとして注目されている。本研究では、ChatGPTがMCQsの解答と解説を提供する際の性能を評価することを目的とする。
方法：米国の医学部で行われたクラークシップ前のカリキュラムから、教授陣が作成した94のMCQを収集した。ChatGPTのMCQ解答精度は、解答プロンプトなしの初回受験時（Pass 1）と正解プロンプトを与えられた後（Pass 2）で追跡された。ChatGPTが提供した説明は、教員が作成した説明と比較され、教員が作成した解答と比較して、正確さと綿密さを評価するために3段階の評価尺度が使用された。
結果：ChatGPTは、初回において、教員が作成したMCQsに75％の精度で正答した。正解した問題のうち、ChatGPTの説明の66.4%は教員の説明と一致し、89.1%は不正確な情報を提供することなく、いくつかの重要な側面を捉えていた。不正確に生成された説明の量は、問題が最初のパスで正しく回答されなかった場合に有意に増加する（最初のパスで正解の場合は2.7％、最初のパスで不正解の場合は34.6％、p < 0.001）。
結論：ChatGPTは、MCQの練習問題を解説することで、教員と学生を支援することが期待できるが、使用には注意が必要である。教員は、学習目標を確実にカバーするために、解説を見直し、補足する必要がある。ChatGPTが最初のトライで問題を正解した場合、学生はChatGPTの解説による即時フィードバックの恩恵を受けることができる。問題が不正解だった場合、学生は解説に注意し、講師に説明を求める必要がある。
