写点什么

医疗 AI 落地利器:腾讯优图开源业界首个 3D 医疗影像大数据预训练模型

  • 2019-08-08
  • 本文字数:1474 字

    阅读完需:约 5 分钟

医疗AI落地利器:腾讯优图开源业界首个3D医疗影像大数据预训练模型


近日,腾讯优图首个医疗 AI 深度学习预训练模型 MedicalNet 正式对外开源。这也是全球第一个提供多种 3D 医疗影像专用预训练模型的项目,将为全球医疗 AI 发展提供基础。


许多研究表明,深度学习的发展非常依赖数据量。自然图像领域中存在着许多海量数据集,如 ImageNet,MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。不同于自然图像,医疗影像大部分都是 3D 结构形态的,同时,由于数据获取和标注难度大,数据量稀少,目前尚未存在海量数据集及对应的预训练模型。


MedicalNet 是腾讯优图首个专为 3D 医疗影像在深度学习应用上所开发的一系列预训练模型,为任何 3D 医疗影像 AI 应用起到“打地基”的作用,加快模型收敛,减轻模型对数据量的依赖,MedicalNet 具备以下特性:


  1. MedicalNet 提供的预训练网络可迁移到任何 3D 医疗影像的 AI 应用中,包括但不限于分割、检测、分类等任务;

  2. 尤其适用小数据医疗影像 AI 场景,能加快网络收敛,提升网络性能;

  3. 通过简单配置少量接口参数值,即可进行微调训练;

  4. 项目提供多卡训练以及测试评估代码,接口丰富,扩展性强;

  5. 提供不同深度 3D ResNet 预训练模型,可供不同数据量级应用使用。


为了产生 3D 医疗影像的预训练模型,MedicalNet 聚集多个来自不同 3D 医疗领域的语义分割小规模数据集,并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。我们的预训练模型可以迁移到任何 3D 医疗影像应用的深度学习模型中。整个系统的工作流程如下图所示:



我们将 MedicalNet 模型迁移到预训练时未接触过的 Visceral 和 LIDC 数据集中,完成全新的肺部分割和肺结节分类任务,并与目前常用的从零训练(train from scratch)以及 Kinetics 视频 3D 预训练模型在性能以及收敛速度上做了比较。在肺部分割应用上,相比于 Train from Scratch,MedicalNet 在 Dice 上有 16%到 33%幅度的提升,相比于 Kinetics 有 4%到 7%幅度的提升。在肺结节良恶性分类应用上,相比于 Train from Scratch,MedicalNet 有 6%到 23%幅度的预测正确率(Acc)提升,相比于 Kinetics 有 7%到 20%幅度的提升。


在收敛速度上,实验证明,无论是在肺分割任务还是肺结节分类任务上,MedicalNet 均能为模型提供一个较低的初始化损失值,明显加快损失下降速度,下图为 MedicalNet 性能的一个简单示例,展示了在全器官分割应用中,不同预训练方式在一定训练迭代次数下的测试结果。可以看出,基于我们的预训练模型(MedicalNet)的结果最接近标签(ground truth),且远优于从零训练(train from scratch)的结果,更多细节请参考论文[footnoteRef:1]。



随着人工智能的火热化,医疗影像 AI 也成为了当前各应用领域中最热门的版块。区别于其他人工智能应用,人工智能在医疗领域的应用门槛最高,最大的原因在于标注数据的匮乏。医疗影像数据的获取通常需要经历重重关卡,同时,由于领域的专一性,数据通常需要资深医师标注,而每个 3D 数据的标注耗时耗力。在当前紧张的医护资源下,医疗影像数据的获取战线将非常漫长,大大阻碍了应用落地的进程。再者,标注数据量相当有限,大部分医疗部门都需要面临数据量稀少和深度学习之间的鸿沟


专有领域专有模型,MedicalNet 相当于为各个 3D 医疗影像应用准备了具备临床通用知识的数据库。即使在小数据量中,该数据库的有效特征也能帮助落地应用取得较好的医疗检测性能,这大大减轻医疗影像 AI 应用对数据量的依赖,进而实现落地需求并加快落地速度


腾讯优图表示,MedicalNet 是腾讯在医疗 AI 领域的首个开源项目,后续将继续提供更多类型的模型,为全球医疗 AI 的基础建设助力。


2019-08-08 17:1910003

评论

发布
暂无评论
发现更多内容

参加人气创作者的一些感悟

石云升

28天写作 4月日更 1 周年盛典

极光开发者周刊【No.0430】

极光GPTBots-极光推送

​太厉害了,终于有人把Spring条件注解讲明白了,送你上岸!

飞飞JAva

spring

SpringCloud-技术专题-Feign组件基本使用(2)

码界西柚

springmvc SpringCloud Hystrix Fegin

博睿数据DataView标准化指标管理,助力企业快速制定SLO

博睿数据

数据中台 博睿数据 dataview

我与写作平台的初次接触

Aldeo

1 周年盛典 我和写作平台的故事

面试:某云面试题目整理

程序员架构进阶

Java 面试 自我提升 28天写作 4月日更

带你温习一下webpack配置

IT皮皮蟹

npm nodejs webpack

5月日更,InfoQ 高定T-恤,达标来领~

InfoQ写作社区官方

5月日更 热门活动

高校软件IT专业大学生课外培训调查问卷

穿过生命散发芬芳

行业分析能力考核

聆听极致 ——声网 Agora

cv君

算法 音视频 科技 声网 引航计划

引入:从云计算到Serverless

刘宇

Serverless的定义

刘宇

已跪!Java全能笔记爆火,Java教程/Java包/Eclipse安装指南全有

牛哄哄的java大师

Java

软件 IT专业的高校大学生是否写文调查问卷

Bob

问卷调查 行业分析能力考核 高校大学生 写文

云原生除了K8S、微服务,还有...?

云计算

IT 专业大学生被培训机构“渗透”情况调查

梦想橡皮擦

签约计划

新人小白福利来啦!精简版java知识总结,阿里P8大牛看完都说绝了

牛哄哄的java大师

Java

科技赋能 博睿数据引领教育行业走入“服务可达”时代

博睿数据

在线教育 博睿数据 服务可达

【得物技术】网络优化——域名解析原理&实践

得物技术

网络 域名解析 域名 得物技术 实践

SpringCloud-技术专题-Feign组件基本使用(1)

码界西柚

Configuration Hystrix spring-cloud Fegin Ribbon

什么,你管这叫“线程安全”?

Java大蜗牛

Java 程序员 编程语言 后端 线程安全

聪明人的训练(三十)

Changing Lin

4月日更

本文标题不能描述本文内容

小天同学

读书 哲学 读后感 4月日更

对于即将工作的IT大学生,该如何变强?

cv君

程序人生 IT 科技 问卷 有意义

万字长文讲述我是怎样保送清华的|寒门学子的奋斗史(四)

程序猿石头

程序员 码农 逆袭 大学总结 读书总结

群英荟萃 | UINO优锘科技ThingJS平台亮相华为开发者大会

ThingJS数字孪生引擎

物联网 3D可视化 数字孪生

2.8W字Java基础学习和书籍推荐,真正意义上的从0到1学Java,才不是培训机构那种大纲文

北游学Java

面向对象 线程 集合 java基础 IO流

弱密码会毁灭物联网(IoT)吗?

龙归科技

密码管理

音频变速变调原理及soundtouch代码分析

floer rivor

音视频

又一个免费良心的下载站,答应我:别再下到流氓软件了。

彭宏豪95

ios 效率 工具 下载 4月日更

医疗AI落地利器:腾讯优图开源业界首个3D医疗影像大数据预训练模型_AI&大模型_云加社区_InfoQ精选文章