新华社北京2月10日电美国执业医师资格考试以难度大著称,而美国研究人员发现,聊天机器人ChatGPT无需经过专门训练或加强学习就能通过或接近通过这一考试。对此,有人对人工智能在临床医学的应用充满期待,有人则开始反思美国医学教育及相关考试的不足。
参与这项研究的人主要来自美国医疗保健初创企业安西布尔健康公司(AnsibleHealth)。他们在美国《科学公共图书馆·数字健康》杂志9日刊载的论文中说,他们从美国执业医师资格考试官网2022年6月发布的376个考题中筛除基于图像的问题,让ChatGPT回答剩余350道题。这些题类型多样,既有要求考生依据已有信息给患者下诊断这样的开放式问题,也有诸如判断病因之类的选择题。两名评审人员负责阅卷打分。
2022年1月25日,医务人员在意大利博洛尼亚一家医院的新冠重症监护室工作。新华社发
结果显示,在三个考试部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之间,而得分率60%左右即可视为通过考试。值得注意的是,ChatGPT有88.9%的主观回答包括“至少一个重要的见解”,即见解较新颖、临床上有效果且并非人人能看出来。相比之下,专门针对生物医学领域文献训练出来的一款大型语言模型PubMedGPT在类似测试中得分率刚过50%。
研究人员说,“在这个出了名难考的专业考试中达到及格分数,且在没有任何人为强化(训练)的前提下做到这一点”,这是人工智能在临床医学应用方面“值得注意的一件大事”,显示“大型语言模型可能有辅助医学教育、甚至临床决策的潜力”。
实际上,在这篇论文初稿写作过程中,ChatGPT就做出了“较大贡献”,与研究人员关系如同事般,而安西布尔健康公司的临床医生们也已在使用ChatGPT改写一些术语繁多的报告,以便患者理解。