腾讯医典AI医学图像讲述自动天生模子获CVPR任命

2021-03-17 网络
浏览
[科技新闻]腾讯医典AI医学图像讲述自动天生模子获CVPR任命

原问题:腾讯医典AI医学图像讲述自动天生模子获CVPR任命

克日,全球盘算机视觉三大顶会之一的CVPR(IEEE国际盘算机视觉与模式识别聚会)宣布了2021年度的论文任命效果。腾讯医典AI与北京大学配合相助的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》,依附在医学图像讲述自动天生领域的研究突破乐成入选。CVPR在2020年谷歌学术排行榜人工智能领域中排名第一,本次大会共收到来自全球超7000份论文投稿,最终1663篇论文获得任命,任命率仅为23.7%。

医学图像被普遍应用于诊断参考,基于肺部CT的新冠肺炎诊断也在疫情时代成为防控的要害。在医疗实践中,医生需要针对医学图像按尺度撰写和输出医学讲述。面临重大的患者数目,为所有的图像逐一撰写讲述占有了医生大量事情时间,差异医生的履历差异也使得部门图像中的异常被忽略,无法体现在讲述中。若何借助人工智能快速、准确地自动天生讲述,对于提升医生事情效率和服务质量具有主要的适用价值,也成为了近年医学图像研究领域中的一个主要课题。

然而,先进的医学图像讲述自动天生系统也很容易受医学图像讲述中的数据误差误导。本次腾讯医典AI入选的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》,创新地提出了后验-先验知识探索及蒸馏(PPKED)框架,模拟人类医生的判读方式,连系先验和后验知识来天生讲述,以提高最终天生的医学讲述质量,针对性填补了这一不足。

ai.com/upload/2021/3/VbEF7v.png" class="aligncenter">

,科技日报,

模子中的先验探索(PrKE)模块,可以通过预构建包罗心脏肥大、脊柱侧弯、钙化点、肺炎等常见异常特征信息的知识图谱,模拟医生学习过的医学知识,以更好地识别出种种图像中的异常。另一方面,通过在训练集中匹配、提取已知的相似图像和讲述,可以与病人的历史讲述做比对参考,模子亦在一定水平上模拟了医生凭证自身厚实的履向来做决议的历程,实现行使先验知识来指导讲述的天生。

ai.com/upload/2021/3/aE3Ezy.png" class="aligncenter">

在后验探索(PoKE)模块中,模子可实现将当前图像举行标签分类,模拟医生找寻图像异常的历程,大致框定异常的区域,提醒医生针对该区域做进一步识别处置。先验和后验知识在经由多领域知识蒸馏(MKD)模块的综合过滤后,将天生最终的讲述。

ai.com/upload/2021/3/neUVFf.png" class="aligncenter">

这一创新模子在IU-Xray和MIMIC两个国际公认的果然数据集上,取得了比以往所有同类模子更好的效果,可以有用地天生更高质量的讲述。

CVPR 2021 | 创新奇智首次提出零样本实例分割,助力解决工业场景数据瓶颈难题

对于一张输入图像来讲,首先要使用骨干网络(backbone),BA-RPN和ROI Align来提取视觉特征和背景的词向量,然后经过Sync-bg模块后分别送入零样本检测器和语义分割头,从而得到实例分割的结果…