关于自然语言处理:医疗大模型数据知识双轮驱动实现医学推理医患问答病历自动生成临床决策为未来医疗服务提供全新可能性

医疗大模型：数据 + 常识双轮驱动实现医学推理、医患问答、病历主动生成、临床决策，为将来医疗服务提供全新可能性

1. 指令数据集构建

目前大多数开源的 ChatLLM 我的项目应用的是其余模型（如：ChatGPT）生成的指令数据，其不可避免的存在数据空想的问题，数据空想问题将重大影响 LLM 在理论场景中的利用和拓展。因而，本我的项目为了进步医疗畛域的常识问答的准确性，应用如下形式结构指令数据集：

1. 启真医学知识库收录的实在医患常识问答数据（疾病、药品、查看测验、手术、预后、食物等），共计 560K 条指令数据；
2. 药品常识数据：在启真医学知识库的药品文本常识根底上，通过对半结构化数据设置特定的问题模板（如：“{药品}的适应病症是什么？”）结构指令数据集，共计 180K 条指令数据；
3. 疾病常识数据：在启真医学知识库的疾病文本常识根底上，通过对半结构化数据设置特定的问题模板（如：“{疾病}的典型症状是什么？”）结构指令数据集，共计 298K 条指令数据；

1.1 训练细节

1. QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：本我的项目基于 Chinese-LLaMA-Plus-7B 进行指令微调，该我的项目在 7 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第3500 steps（训练 23h50min）；
2. QiZhen-Chinese-LLaMA-7B- Checkpoint-6000：本我的项目基于 Chinese-LLaMA-Plus-7B 进行指令微调，该我的项目在 7 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第6000 steps（训练 40h56min）；
3. QiZhen-ChatGLM-6B- Checkpoint-2500：本我的项目基于 ChatGLM-6B 进行指令微调，该我的项目在 7 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第2500 steps（训练 16h20min）；
4. QiZhen-CaMA-13B-Checkpoint-3600：本我的项目基于 CaMA-13B 进行指令微调，该我的项目在 7 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第3600 steps（训练 37h37min）。
5. QiZhen-CaMA-13B-Checkpoint-6000：本我的项目基于 CaMA-13B 进行指令微调，该我的项目在 7 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第6000 steps（训练 54h30min）。
6. QiZhen-CaMA-13B-Checkpoint-12400：本我的项目基于 CaMA-13B 进行指令微调，该我的项目在 6 张 A800(80G)上进行训练，本次开源的是 LoRA 权重为训练过程中的第12400 steps（训练 114h46min）。

1.2 模型下载

2. 模型疾速应用

2.2 QiZhen-Chinese-LLaMA-7B

1. 环境装置；

pip install -r requirements.txt

2. 获取 Chinese-LLaMA-Plus-7B，详情见这里；
3. 下载 LoRA，将模型下载并放在 lora 目录下；
4. 执行 scripts/merge_llama_plus.sh 脚本；

sh scripts/merge_llama_plus.sh

5. 批改 gradio_chinese-llama_demo.py 里的模型地位参数；
6. 启动 demo；

python gradio_chinese-llama_demo.py

2.2QiZhen-ChatGLM-6B

1. 环境装置；

pip install -r requirements.txt

2. 获取 ChatGLM-6B，详情见这里；
3. 下载 LoRA，将模型下载并放在 lora 目录下；
4. 批改 gradio_chatglm_demo.py 里的模型地位参数；
5. 启动 demo；

python gradio_chatglm_demo.py

2.3 QiZhen-CaMA-13B-Checkpoint-3600

1. 环境装置；

pip install -r requirements.txt

2. 获取 CaMA，详情见这里；
3. 下载 LoRA，将模型下载并放在 lora 目录下；
4. 批改 gradio_cama_demo.py 里的模型地位参数；

5. 启动 demo；

   python gradio_cama_demo.py

3. 成果展现

启真医学大模型保持“数据 + 常识双轮驱动”的技术路线，通过大模型技术和医学知识库的紧密结合，交融医疗利用场景中的理论需要，从医学数据治理、医学推理、医患问答、病历主动生成、临床决策辅助支持系统等方面发展迭代研发，助力大模型技术在医疗行业的落地和利用实际。下图是“启真医学知识库辅助大模型生成答案”的案例，该项技术在测试后择机公布。

3.1 模型成果比照

测试 1

• input：非布司他能医治什么疾病
• ChatGLM：非布司他是一种用于医治哮喘的新药, 属于 β2 受体激动剂。它曾经被批准用于医治以下疾病: 1. 哮喘: 非布司他是一种 β2 受体激动剂, 能够刺激 β2 受体, 从而缓解哮喘症状, 包含呼吸困难、气促和胸闷。2. 慢阻肺: 非布司他也能够用于缓解慢阻肺引起的症状, 包含呼吸短促、气促和咳嗽。3. 过敏性鼻炎: 非布司他能够加重过敏性鼻炎引起的症状, 包含鼻塞、流涕和打喷嚏。4. 其余疾病: 非布司他也被用于医治其余疾病, 如胡萝卜素血症和皮肤划痕症等。须要留神的是, 非布司他是一种药物, 其医治成果和安全性因人而异, 最好在医生的领导下应用。
• ChatGPT：非布司他（Fubuxitam）是一种药物，目前我的常识截至于 2021 年，不包含最新的医学钻研和药物停顿。依据我理解到的信息，非布司他是一种血小板凝集抑制剂，通常用于预防和医治血栓性疾病。它可用于预防心脏病、脑血管疾病（例如中风）、静脉血栓栓塞（例如深静脉血栓造成和肺栓塞）以及其余与血栓造成无关的状况。<br/><br/> 然而，因为我无奈提供最新的医学信息，我建议您征询医疗专业人士或药剂师以获取对于非布司他的最新信息，并确切理解它在医治特定疾病方面的适应症和有效性。
• QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：本品用于痛风患者高尿酸血症的长期医治。
  本品为处方药，必须由医生依据病情开处方拿药，并遵医嘱用药，包含用法、用量、用药工夫等。不得擅自依照药物说明书自行用药。
• QiZhen-CaMA-13B-Checkpoint-3600：本品用于痛风患者高尿酸血症的长期医治。

测试 2

• Input：氟奋乃静癸酸酯注射液的适应症
• ChatGLM：氟奋乃静癸酸酯注射液是一种药物, 适应症如下: 1. 用于医治抑郁症、焦虑症和失眠等神经精力症状; 2. 用于医治癫痫、脑外伤和脑动脉硬化等神经系统疾病; 3. 用于缓解慢性疼痛, 如痛经、关节炎等疼痛性疾病; 4. 用于改善学习能力和记忆能力, 可用于儿童和青少年的智力开发和改善学习效果; 5. 用于预防艾滋病病毒感染和医治艾滋病。氟奋乃静癸酸酯注射液是一种口服用药, 通常用于医治抑郁症、焦虑症和失眠等疾病。须要依据医生的倡议来制订医治计划。应用氟奋乃静癸酸酯注射液时, 应遵循医生的倡议和药品说明书中的用药办法和剂量。
• ChatGPT：氟奋乃静癸酸酯注射液（Flumazenil Injection）是一种用于医治苯二氮䓬类药物（如安宁类药物）适量或适度应用所引起的慌张或催眠状态的药物。它作为一种苯二氮䓬类受体拮抗剂，可能逆转苯二氮䓬类药物的中枢神经零碎抑制作用。< 氟奋乃静癸酸酯注射液次要用于以下适应症：<br/><br/>1. 苯二氮䓬类药物适量：当患者因安宁类药物适量或适度应用而呈现昏迷、嗜睡、呼吸克制等症状时，氟奋乃静癸酸酯注射液可用于逆转这些症状。<br/><br/>2. 麻醉中逆转：氟奋乃静癸酸酯注射液可用于在手术或其余麻醉操作完结后逆转苯二氮䓬类药物的慌张成果，帮忙患者复原苏醒状态。<br/><br/>3. 诊断用处：氟奋乃静癸酸酯注射液还可用于辅助诊断苯二氮䓬类药物中毒或适量状况。<br/><br/> 请留神，氟奋乃静癸酸酯注射液应由业余医生依据具体情况进行正当的应用和监控。在应用该药物之前，应仔细阅读并遵循药物说明书，并遵循医生的领导和倡议。
• QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：本品用于精神分裂症、躁狂症等。也可用于肌紧张性疼痛。
• QiZhen-CaMA-13B-Checkpoint-3600：本品用于精神分裂症的各种体现。

测试 3

• input：藏青果茶有哪些次要作用？
• ChatGLM：藏青果茶是一种人造的饮品, 次要由青果、茶叶、蜂蜜等多种资料制成。它的次要作用包含: 1. 进步免疫力: 藏青果茶中含有丰盛的营养成分, 如维生素 C、维生素 E 等, 能够加强人体的免疫力, 进步身材的抵抗力, 预防疾病的产生。2. 促成消化: 藏青果茶中含有丰盛的纤维素, 能够促成肠胃蠕动, 帮忙消化, 预防便秘的产生。3. 抗氧化作用: 藏青果茶中的青果提取物具备较强的抗氧化作用, 能够革除体内自由基, 延缓苍老, 预防疾病。4. 升高血脂: 藏青果茶中的茶叶提取物具备肯定的升高血脂的作用, 能够预防和医治高血脂症。5. 改善睡眠: 藏青果茶中的蜂蜜具备肯定的慌张作用, 能够帮忙缓解压力, 改善睡眠品质, 进步身材的自我修复能力。
• ChatGPT：藏青果茶是一种以藏青果为次要原料制作的茶饮品，据我所知，它具备以下次要作用：<br/><br/>1. 抗氧化作用：藏青果富含多种人造抗氧化剂，如多酚类化合物和维生素 C，可帮忙革除体内自由基，减缓细胞老化，加强免疫力。<br/><br/>2. 促成消化：藏青果茶具备良好的消化刺激作用，有助于促成胃肠道蠕动，改善消化性能，缓解胃部不适和消化不良。<br/><br/>3. 提供养分：藏青果富含维生素 C、维生素 E、维生素 B 群、矿物质等营养物质，饮用藏青果茶能够为身材提供所需的营养元素。<br/><br/>4. 减肥瘦身：藏青果茶被认为具备减肥的成果，它能够促成推陈出新，减速脂肪合成和焚烧，帮忙缩小体重和脂肪积攒。<br/><br/>5. 抗炎镇痛：藏青果茶含有一些具备抗炎和镇痛作用的成分，能够缓解关节疼痛、肌肉酸痛和头痛等不适。<br/><br/>6. 改善睡眠：藏青果茶有助于放松神经系统，具备慌张和安抚作用，能够改善睡眠品质，缓解失眠问题。<br/><br/> 须要留神的是，以上作用次要是基于藏青果茶的传统用处和某些钻研后果，具体成果因人而异，且可能受到个体差异和应用形式的影响。如果您有特定的衰弱问题或须要服用药物，倡议征询医生或业余保健人员的倡议。
• QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：清热解毒、生津止渴。可缓解发热、口渴、咽喉肿痛等症状。

• QiZhen-CaMA-13B-Checkpoint-3600：藏青果茶具备清热利咽、消肿止痛的效用。

  藏青果茶能够用于缓解咽喉红肿疼痛、咽干灼热、声音沙哑等症状。

测试 4

• input：赖特综合征临床表现有哪些？

• ChatGLM：赖特综合征 (赖特综合征 I 型) 是一种先天性心脏杂音, 其临床表现包含:

  1. 心脏杂音: 赖特综合征 I 型的特征性心脏杂音是卵圆孔未闭引起的右向左分流杂音, 通常体现为杂音强度、地位和频率的变异性。
  2. 肺动脉低压: 赖特综合征 I 型患者通常患有肺动脉低压, 这可能导致呼吸衰竭和心脏性能衰竭。
  3. 生长发育异样: 大多数赖特综合征 I 型患者在儿童和青少年期间会体现出生长发育异样, 如身材矮小、营养不良和巨人症。
  4. 心脏构造异样: 只管杂音是赖特综合征 I 型的次要临床表现, 但局部患者也可能患有其余心脏构造异样, 如心脏瓣膜疾病和心律失常。

  5. 其余症状: 赖特综合征 I 型患者可能还具备其余症状, 如疲劳、呼吸困难、胸痛、咳嗽、腹胀和便秘等。这些症状可能与其心脏杂音和肺动脉低压无关, 但也可能与其余因素无关。

     须要留神的是, 赖特综合征 I 型是一种常见的疾病, 其临床表现可能因个体差异而有所不同。如果狐疑本人患有赖特综合征 I 型, 请及时征询医生进行诊断和医治。

• ChatGPT：赖特综合征是指胃食管反流病（GERD）引起的下食管括约肌失和缓和食管蠕动削弱所导致的一种疾病。它的次要临床表现包含：

  1. 吞咽困难：患者在吞咽时有被卡住的感觉，须要屡次咽喉能力将食物吞咽上来。
  2. 胸痛：赖特综合征的患者经常呈现胸痛，特地是在吃饭或者躺下之后容易减轻。
  3. 嗳气和反酸：患者常感到嗳气和反酸，特地是在吃完饭或者躺下之后。
  4. 声音沙哑：因为口腔和喉咙区域受到反流物的刺激，患者的声音可能变得沙哑。

  5. 喉咙痛：反流物刺激喉咙黏膜所致。

     须要留神的是，赖特综合征的症状与其余疾病类似，因而须要通过相关检查和诊断办法确定诊断。

• QiZhen-CaMA-13B-Checkpoint-12400：赖特综合征的次要临床表现为急性或慢性关节炎、尿道炎、结膜炎及皮肤黏膜病变等。

  赖特综合征是一种病因不明的慢性非特异性炎症性疾病，属于血清阴性脊柱关节炎的一种，其特色是重复发生性、游走性、不对称性的多关节炎，可伴有尿道炎、结膜炎、皮肤黏膜及眼部病变。

  赖特综合征的次要临床表现为急性或慢性关节炎、尿道炎、结膜炎及皮肤黏膜病变等。

  1. 关节炎：最常见，任何关节均可受累，以膝、踝和足部小关节多见，部分可有红、肿、热、痛和功能障碍。

  2. 尿道炎：体现为尿频、尿急、尿痛、尿道口红肿、尿道分泌物增多等。

  3. 结膜炎：体现为单侧或双侧结膜炎症，可有结膜充血、水肿、眼睑浮肿、分泌物增多等。

  4. 皮肤黏膜病变：体现为皮肤脂溢性红斑、生殖器红斑、脓疱疹、皮肤脓疱疹、皮肤溃疡。

3.2 试验评测

3.2.1 药品适应症评测

评测规范：随机抉择 94 种药品数据，依照“{药品}的适应病症”组成指令，别离让 ChatGPT（gpt3.5）、ChatGLM、QiZhe 做出答复，而后请业余的医学人员对三个 模型的答案 与该药品的药品说明书 进行比对评分，以下是三个评分标准：

• 规范 1：模型答案命中一个适应症则答复正确；
• 规范 2：模型答案命中的适应症数目大于等于药品说明书适应症数目的 1 / 2 则答复正确；
• 规范 3：模型答案命中的适应症数目大于等于药品说明书适应症数目的 2 / 3 则答复正确；

备注：

• 若 QiZhen-Chinese-LLaMA-7B-Checkpoint-6000：回复有“复读景象”（咱们正在继续修复这个问题），请将 repetition_penalty 参数调大；
• QiZhen-ChatGLM-6B-Checkpoint-2500 没有进行评测，因为咱们在试验过程中发现 ChatGLM 在指令微调的过程中不能很好的满足医疗常识事实问答的要求：当要求其回复比拟精准时，模型“复读”的景象比较严重；在解决“复读”的问题时，其答复的事实性很差（数据空想重大）；
• QiZhen-CaMA-13B-Checkpoint-3600：该版本回复内容根本没有“复读”景象；
• QiZhen-CaMA-13B-Checkpoint-6000：相较于 QiZhen-CaMA-13B-Checkpoint-3600 咱们增大了 LoRA 的参数量，成果失去了无效的晋升；

3.2.2 疾病评测

评测规范：随机抉择 100 种疾病数据，依照“哪些药物能医治 {疾病}？”、“{疾病} 须要做哪些查看？”、“{疾病}的临床表现有哪些？”组成“医治药物”、“查看测验”、“临床表现”指令，别离让 ChatGPT（gpt3.5）、ChatGLM、QiZhen0 做出答复，而后请业余的医学人员对三个 模型的答案 与启真医学知识库疾病常识 进行比对评分，以下是三个评分标准：

• 规范 1：模型答案命中一个“医治药物”（“查看测验”、“临床表现”）则答复正确；
• 规范 2：模型答案命中的“医治药物”（“查看测验”、“临床表现”）数目大于等于药品说明书适应症数目的 1 / 2 则答复正确；
• 规范 3：模型答案命中的“医治药物”（“查看测验”、“临床表现”）数目大于等于药品说明书适应症数目的 2 / 3 则答复正确；

更多优质内容请关注公号：汀丶人工智能；会提供一些相干的资源和优质文章，收费获取浏览。

• 更多码源模型材料跳转链接
  https://blog.csdn.net/sinat_39620217/article/details/136256129

• 参考链接

  • LLaMA
  • Standford Alpaca
  • CaMA
  • 中文 LLaMA & Alpaca 大模型