【华为开发者大赛优秀作品技术分享 Vol.2】 基于Ascend加速的眼底医学影像分析全栈系统——南开大学
一、项目介绍
眼底影像是糖尿病视网膜病变、黄斑病变、青光眼等疾病早筛的重要依据,但临床与基层医疗场景长期面临:高质量医疗数据缺乏;诊疗流程割裂,影像分析、报告生成、随访管理与问诊难以协同等痛点。项目以医院临床与科研团队、基层筛查机构、个人健康管理用户为目标人群,覆盖门诊辅助诊断、病种筛查、随访管理、科研标注与数据治理等典型场景,提出整体解决方案架构:
1. 数据层:构建临床级数据采集、脱敏、质检、标注与版本管理链路;
2. 模型层:小模型用于端侧实时筛查,大模型/多模态模型用于云侧理解、问答与报告生成;
3. 算力与工程层:以昇腾训练与推理为核心,形成可复用的部署与运维范式;
4. 应用层:基于Gradio搭建统一入口,提供推理、标注、医学问答及云边端协同能力。
二、技术突破与价值创新
本项目围绕“云-边-端协同”的临床场景需求,构建了基于昇腾生态的端到端工程化路径:通过 ascend-deploy 实现多场景批量部署训练环境,采用搭载昇腾910的Atlas 800训练服务器,基于 CANN异构计算架构完成高效训练,训练框架使用 MindSpore。模型产出后借助 MindSpore Lite 的模型转换工具生成 ms模型,端侧部署在昇腾310上并通过 mindspore_lite Python推理接口完成低时延推理;云侧利用 vLLM-Ascend 上完成VLM模型的适配与部署,提供 OpenAI API格式的推理接口,显著降低多模态能力接入门槛,形成可复用、可迁移的算力与模型交付范式。

在算法与数据层面,项目突破了眼底智能应用长期受限于“数据稀缺与本土评测标准不足”的关键瓶颈:项目团队首次面向学术界发布基于临床环境的高质量眼底数据集 OIA-DDR 与 OIA-ODIR,以足够的样本规模和真实病种分布填补中国眼底图像数据领域空白,为行业提供了可持续迭代的训练与评测底座。同时提出轻量化高性能眼底分割模型 Lighteyes 及对应训练策略,模型体积小于200KB,兼顾精度与部署友好性,使端侧设备也能实现稳定可靠的实时分析,为基层医疗筛查等隐私敏感场景提供关键支撑。
在应用创新与产业价值方面,项目基于 Gradio 搭建统一应用平台,集成模型推理、数据标注、医学问答与云边端协同计算能力,引入大模型增强标注效率与医学分析体验,打通从数据生产到临床使用的闭环工作流。通过与企业及医院的产学研合作推进应用验证与推广,形成“一核多应用”的生态化扩展路径,既能支撑眼底图像智能报告生成、智能问诊等临床场景,也能沉淀可复制的行业级解决方案,加速智能眼科技术从竞赛成果走向规模化落地。
三、项目最新落地应用
项目已从验证走向多形态应用落地,形成“一核多应用”的产品化路径:
3.1 一核多应用智能眼科解决方案
以高度集成的端侧智能信创核为基础,融合大模型泛化能力与小模型高效部署特性,通过协同推理、任务编排与多模态理解实现稳定、低时延、隐私友好的终端智能。面向眼科场景,与南开大学眼科学研究院联合研发眼底图像智能报告生成、智能眼科问诊等应用,支持数字人/机器人交互,并已在天津市眼科医院开展验证测试,显著提升眼科流程效率与智能化水平。方案具备良好扩展性,可面向不同终端形态快速适配更多细分场景。项目孵化成立数以(天津)创新科技有限公司,落地南开大学科技园,已达成天使投资意向。

3.2 Label-Mind 高效数据标注平台
支持多类型数据与多人协同,面向医疗与金融等高合规需求行业。通过智能辅助与AI策略有效降低标注成本、提升质检效率,并已依托实验室自助立项机制,与多家医疗机构开展数据预处理与标注合作,帮助企业更快构建高质量数据资产。

3.3“明眸未来”个人眼底健康管理软件
聚焦个人全周期眼底健康管理,具备图像采集、AI分析、健康建议等六大功能。依托大模型构建风险识别与慢病管理体系,支持智能问诊与趋势跟踪。项目孵化成立天海君康(天津)科技有限公司,落地天开西青园,入选“西翼金种子计划”,推动技术从实验室走向规模化服务。

四、案例总结
本项目以昇腾算力与MindSpore生态为技术底座,以高质量数据集为行业基石,以端侧轻量化模型与云侧多模态能力为“双引擎”,构建了可复制、可扩展的眼底智能全栈体系。参赛过程中,项目团队坚持“科研创新”与“工程落地”并重,依托真实临床需求持续迭代,从而加速学术成果向产业应用转化。
- 点赞
- 收藏
- 关注作者
评论(0)