《利用生成式AI从自由文本病理报告中提取结构化信息》

推荐语

AI助力医疗：GPT-3.5如何高效解析复杂病理报告，准确率高达99.6%。

核心内容：
1. 生成式AI在乳腺癌病理报告结构化提取中的突破性应用
2. 基于GPT-3.5和Streamlit的智能分析系统设计原理
3. 四大类关键医疗信息的自动化提取与验证机制

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

病理报告在医学诊断过程中起着至关重要的作用，特别是在肿瘤学领域，它们为疾病诊断和治疗提供了关键见解。然而，这些报告通常以自由文本格式编写，其可变性和复杂性给数据提取和分析带来了重大挑战。传统上，从病理报告中提取和结构化数据主要依赖手工方法，这不仅耗时而且容易出错。随着自然语言处理（NLP）和深度学习（DL）技术的发展，自动化提取病理报告中的结构化信息成为可能。

研究背景与目的

本研究旨在探讨生成式人工智能（Gen AI）在自动化分析自由文本病理报告中的潜力。具体而言，研究团队利用ChatGPT大语言模型（LLM）结合Streamlit网络应用程序，从台北医科大学医院的33份非结构化乳腺癌病理报告中自动提取和结构化信息。研究的主要目的是验证生成式AI在将自由文本医学文本转换为结构化数据方面的有效性，并评估其对医学文本分析效率和可靠性的提升。

研究方法

数据收集

研究团队从台北医科大学医院收集了33份匿名的乳腺癌自由文本病理报告。这些报告代表了广泛的乳腺癌病例，旨在确保综合分析适用于现实世界的临床场景。

原型设计与算法集成

研究采用结构化方法，利用大语言模型自动化提取和结构化病理报告中的信息。主要算法是生成式预训练转换器模型（GPT），集成到一个定制的Streamlit网络应用程序中。Streamlit是一个开源平台，因其能够快速开发生成式AI应用程序而被选中。

API集成与数据处理

研究团队选择GPT-3.5而非其他的大语言模型（如BERT或BioBERT），因为GPT-3.5在理解和生成复杂语言模式方面表现优越，这对于处理医学病理报告中的细微语言至关重要。通过与OpenAI API集成，使用环境变量和安全API密钥处理来管理GPT-3.5模型。

提示词工程与数据提取

研究通过细致的提示词工程显著增强了GPT-3.5在应用程序中的有效性。这一过程涉及战略性制定输入提示词，以优化信息检索过程中的清晰度和特异性。每个提示词都经过精心设计，并根据性能反馈进行迭代优化，确保提取的信息既精确又全面。

用户界面与输出验证

Streamlit应用程序作为用户界面，用户可以在此上传病理报告、查看提取的数据并进行验证。验证后的数据可以Excel格式下载，以便进行进一步的分析或存档。

结果

信息提取类型

研究成功地从自由文本病理报告中提取了四大类信息：宏观信息、微观信息、辅助研究和病理分期信息。

●宏观信息：包括标本侧向性和肿瘤部位的分析。

●微观信息：提供了关于肿瘤焦点、尺寸、组织学类型和等级的见解。

●辅助研究：重点关注激素和蛋白质受体状态，这对于治疗方案至关重要。

●病理分期信息：包括原发肿瘤、区域淋巴结和远处转移的全面病理分期信息。

准确性评估

通过乳腺癌病理学专家的手动审查过程，对AI提取的数据进行了严格的准确性评估。AI原型达到了99.61%的准确率，证明了其在处理和结构化复杂病理数据方面的有效性。

讨论

本研究强调了生成式AI在解析和结构化复杂自由文本病理报告方面的巨大潜力。通过将GPT模型与Streamlit网络应用程序集成，研究不仅提高了数据提取的精度，还展示了处理多样化病理数据类型的稳健方法。然而，研究也指出了当前系统的局限性，如对外部机构数据的验证不足、对其他类型癌症或医疗条件的适用性限制以及小误差可能带来的临床显著性。

未来研究方向

●扩展数据集：未来研究应探索将此AI模型与其他类型的电子病历集成，以评估其在不同临床背景下的适应性和有效性。

●外部验证：纳入多机构数据可以增强模型的稳健性和普遍性，提供对其效用的更全面验证。

●标准化数据格式：采用国际标准（如CDM、HL7和SNOMED）对于确保数据互操作并促进进一步研究至关重要。

结论

本研究展示了生成式AI在从自由文本乳腺癌病理报告中提取和结构化数据方面的潜力。通过将GPT模型与Streamlit网络应用程序集成，研究实现了99.61%的数据处理准确率，显著优于传统的自然语言处理方法。未来研究应扩展数据集以涵盖更广泛的医疗条件，并探索整合多模态AI模型以进一步验证和完善该方法。