医生目前花了很多时间写关于病人的笔记，并将其插入电子健康记录（EHR）系统。根据2016年的一项研究，医生花大约两个小时在行政工作上，每花一个小时与病人在一起。多亏了尖端的人工智能工具，这种写笔记的过程很快就会自动化，帮助医生更好地管理他们的轮班，让他们摆脱这项繁琐的任务。
Google Brain的研究员Peter Liu最近开发了一项新的语言建模任务，它可以通过分析病人病历来预测新笔记的内容，其中包括人口统计、实验室测量、药物和过去笔记等数据。在他的研究中，预先发表在ar Xiv上，他使用MIMIC-III（医学信息集市用于重症监护）EHR数据集训练生成模型，然后将模型生成的注释与数据集的真实注释进行比较。
通常采用的减少临床医生在笔记上花费时间的方法包括使用听写服务和雇用可以为他们写笔记的助手。人工智能工具可以帮助解决这一问题，减少额外工作人员和资源的费用。
刘在他的论文中写道：“辅助写笔记的功能，如自动完成或错误检查，受益于语言模型。“这种模式越强，这种功能可能就越有效。因此，本文的重点是为临床笔记建立语言模型。
刘采用了两种语言模型：第一种称为变压器体系结构，并在去年发表在“神经信息处理系统进展”杂志上的一项研究中介绍。由于该模型在较短的文本（如单个句子）中表现更好，他还测试了最近引入的基于变压器的模型，称为具有记忆压缩注意（T-DMCA）的变压器，该模型对于较长的序列更有效。
他在MIMIC-III数据集上培训了这些模型，其中包括来自一家三级护理医院重症监护室的39597名患者的身份不明的EHR。这是目前最全面的EHR数据集，是公开提供的，可以很容易地在线访问。
“我们引入了一个新的基于HER数据的临床笔记语言建模任务，并展示了如何将多模态数据上下文表示到模型中，”刘在他的论文中解释道。“我们提出了这项任务的评估指标，并提出了令人鼓舞的结果，显示了这些模型的预测能力。”
这些模型能够有效地预测医生笔记的许多内容。将来，它们可以帮助开发更复杂的拼写检查和自动完成功能。然后，这些功能可以集成到帮助临床医生完成行政工作的工具中。虽然这项研究的结果是有希望的，但在模型可以更大规模地使用之前，仍然需要克服一些挑战。
“在许多情况下，《欧洲人权宣言》所提供的最大上下文不足以完全预测该说明，”刘在其论文中解释道。“最明显的例子是MIMIC-III中缺乏影像学数据进行放射学报告。对于非成像笔记，我们也缺乏关于最新的病人-提供者相互作用的信息。今后的工作可设法用超越《欧洲人权宣言》的数据来扩大说明的范围，例如。影像学数据，或病人-医生相互作用的转录本。虽然我们在EHR软件中讨论了纠错和自动完成特性，但它们对用户生产力的影响并没有在临床背景下进行测量，我们将其作为未来的工作。
