HealthGPT 是浙江大学、电子科技大学、阿里巴巴等多家机构联合开发的先进的医学视觉语言模型(Med-LVLM),通过异构知识适应技术实现医学视觉理解和生成任务的统一框架。采用创新的异构低秩适应(H-LoRA)技术,将视觉理解与生成任务的知识存储在独立的“插件”中,避免任务间的冲突。HealthGPT 提供两种版本:HealthGPT-M3(38亿参数)和 HealthGPT-L14(140亿参数),分别基于 Phi-3-mini 和 预训练语言模型。模型引入了分层视觉感知(HVP)和三阶段学习策略(TLS),优化视觉特征的学习和任务适应能力。

HealthGPT – 浙大联合阿里等机构推出的医学视觉语言模型  第1张
(图片来源网络,侵删)
HealthGPT – 浙大联合阿里等机构推出的医学视觉语言模型  第2张
(图片来源网络,侵删)