北京和睦家医院放射科陆菁菁医生在医学影像AI研发中需要扮演什么样的角色

雷锋网消息,近日,第四届图像计算与数字医学国际研讨会(ISICDM 2020)在中国辽宁省沈阳市召开。

研讨会围绕图像计算和数字医学中的一些重要的理论、算法与应用问题进行学术讨论,旨在促进电子信息(包括计算机、自动化与生物医学工程)、数学和医学等领域学者的交流与合作。

这是一次重要的文化传播。联合国教科文组织认为,非物质文化遗产既维系着相关社区、群体和个人的认同感和持续感,也是确保世界文化多样性与人类创造力的重要资源。天下太极出河洛,从历史长河中走来的太极拳,正在成为21世纪最具世界影响力的中华优秀文化之一,是很具代表性的东方文化精粹。全面系统地展现太极拳及太极文化,让这一优秀文化走向世界、造福人类,是我们义不容辞的历史担当,也正是申遗的初心与使命所在。

我的工作就是没日没夜的勾画边界。当时我就认为,这个项目可以通过AI对血肿密度高低的边界加以区别。现在,已经诞生了这样的软件。

在过去的两年里,我们发现人工智能确实能做不少事情,比如对骨龄的测试、小结节的诊断,对血肿大小的判断,还有对糖尿病视网膜病变筛查以及前列腺的分割都可以做得很好。

最后,我想给大家提出一些建议,理工研发人员和医生合作时,怎么样才能成为医生的好朋友,让医生成为对项目更有建设性的人。

在拍胸片时,我们会在图像上看到肋骨和肩胛骨,尤其是肋骨,如果重叠在肺纹理上,将会对病灶进行干扰,影响对病灶的观察。我们希望在胸片上去掉肋骨,但一般是没有双能量的胸片,如果有双能胸片,通过能量减影将其减掉。

新兵拉练穿越丛林 章朝晖 摄

关注公众号《医健AI掘金志》,聊天框回复“报告”,获取陆菁菁教授全文演讲PPT。

做这些项目时,CRA公司需要招募具有相应资质的医生。比如看妇科肿瘤的医生就只招收妇科肿瘤专业的,而且还要能证明在这个领域具有相当的造诣,发表过相应文章或者在学组担任委员。而医生的具体的工作就是找肿瘤、画大小,然后象征性地得到一定的劳务费。

听到这个消息时,我真的感到了一丝恐慌,怀疑医生是否真的不如神经网络。因为我记不住那么多文献知识,也没有看过神经网络训练那么多的医学图像,也许神经网络真的可以取代我的工作。

申遗成功,是文化保护新起点。世界遗产的名号,意味着更大的责任。令人欣慰的是,得知入选的好消息,全省各地在喜悦的同时,也表达着对保护责任的清醒与担当。在焦作,巡回举行的各类太极拳比赛精彩不断,主要门派知名人士的传承体系建起来了,裁判员、教练员和运动员培训计划有序推进。在规划、人才、科研、产业和资本方面做好有力支撑,算好文化账、算清社会效益账,应该是我们面对先人文化财富的最基本立场。

我就以参加的这些项目,跟大家讲四个故事。

对于此种言论,医生小小不屑的同时,也很好奇正在发生什么。

医生的工作就是比较不同的算法,比较低分辨率和高分辨率图像,去骨的图像和不去骨的图像,以及不同算法效果下呈现的图像。

从2016年开始,以AlphaGo为代表的深度学习技术,在一部分领域产生了摧枯拉朽的改变。从机器远不及人,到逐渐完全打败人类的成就来看,一些技术狂人认为深度学习将很快取代放射科医生的工作。

文化遗产是跨越地域、种族和民族,联系人类心灵的纽带,是一种和平的力量。继承了世界遗产精神的太极拳,从文化认同中引出的新“拳法”,更需要带着跨文化交流、沟通的使命,用文化带动经济贸易,用文化构建国家形象,用文化连通世界万物。

医工结合的四个小故事

从这张图,可以很清楚地看到医生态度的转变。

现在医学影像AI的研发方兴未艾,许多产品逐步被打磨以进入临床。同时,一些新的临床问题被提出,亟待进一步研究。

在12月5日下午举行的“智能辅助诊疗论坛”专场,北京和睦家医院陆菁菁教授向与会者分享了题为《医学影像人工智能研发之管窥:医生的角色》的精彩专题报告。

算法团队请我们比较图像并进行评价,用的是Excel表,双盲的设计非常好,对伪影去得好坏与否进行打分。

以下为陆菁菁教授的演讲内容,雷锋网作了不改变原意的编辑:

第一个故事:3D打印

为家乡振兴赋能,为个人梦想打拼。从“外出务工潮”逐步转变为“返乡创业潮”的背后,是更多人对美好生活的向往逐步实现。“方便照顾家庭”“发展潜力巨大”“政策扶持给力”——从各方面情况来看,“城归”成为时代的现象,背后不乏实质性的推动。从经济发展的辩证角度看,东部沿海地区、特大城市的产业更新换代,需要腾挪出更多高端供给侧发展的空间,而城镇化的方兴未艾,更催生了中西部地区、中小城镇的风生水起。释放了契机,带动了需求,看到了愿景。作为与时代同频共振的“城归”一族,自然是“春江水暖鸭先知”。

第二个,数字人薄层图像,比如2019年重庆的数字人项目。解剖学的老师就希望,建立一个真正的人体断层及其CT图像的关联,我们要帮助他画出这个结构,在CT图上也画起来,然后做成一个网页,作为教学网站或者是科研的基础。这个事情说起来很有价值,但是做的工作还是相当琐碎。

正常的人体解剖都是一样的,死记硬背就好了。机器学习或者深度学习应该在这些方面发挥相应的作用。

但是,AI往往在单任务上表现得非常出色,但能做的多任务范畴的工作非常有限,而且有时候会犯一些很低级的错误。因为人具有抽象和直观的两种判断,看到一个图像感觉不对劲,就会通过仔细研判、结合病史,给出一个有经验的、综合推理后的分析。

得到的结果还是令人满意的,对比原来的图像,一个是ground truth,一个是对照的FCN的网络,我们所做的APNet网络得到的结构分割,包括臀大肌、臀小肌、股中间肌和内收肌,都比FCN网络要好得多。

提出这个想法后,我和我的学生一起去勾画结构,这很费时。因为,一个病人有20层图像,每层图像上有五六十个结构。

更多相关资讯请关注:荒野大镖客:救赎2专区

稍微高级别的医工合作,包含了3D打印、盆腔核磁结构的自动识别,相对基础的减影图像比较等等,这也是我们医生可以完成的。另外,还有像田捷教授他们所做的影像组学和影像基因组学。

上面这一张是经过双侧股骨头层面的盆腔磁共振图像,里面有膀胱及周围各种骨骼和肌肉。如果不是经常看肌肉、关节的医生,常常会对这些结构搞不清楚,比如哪些是缝匠肌,哪块是内收肌,还是长收肌、短收肌;臀大肌、臀中肌、臀小肌区别还好记,其他肌肉时间一长就糊涂了。

对世界遗产,要做好创造性转化和创新性发展。在建业电影小镇,感受实景大秀《战太极》,仿佛亲临太极村陈家沟掌门嫁女现场,其间倡导的“和”“包容”“接受”等理念发人深省。文旅融合的生动实践启示我们,对中华优秀传统文化必须下一番创新发展的功夫,把传统、现在与未来连接起来,让文化遗产融入现代生活,具备生活气息和更鲜活长久的生命力,以满足人民群众日益增长的对精神文化产品的需求。

另外一个案例是去伪影的算法。

这个想法很有创意,产品也有一定实用价值,我们很容易的申请了这个专利。

在定量的mIoU的参数上,加入三重的注意力机制的分割会达到最好的效果。我们还比较了手动分割ground truth和机器分割出来的差异。

但是对我们医生来说,这个研究由于没有后续的算法创新,我们在此基础上做的临床应用的文章比较难发表,这是我们觉得有点儿遗憾的方面。

医生在医疗AI产品研发中的角色非常多样,可以做最基础的的数据标注,也可以做临床架构的建议,医生还可以是使用者、建设者,甚至是执行者,同时也可以做PI(principal investigator,主要研究者)。

我们对于AI秉持着拥抱的态度。在去年的RSNA上,大家一致的观点就是,掌握AI的医生比不掌握AI的医生更加厉害,这是我们医生态度上的转变。

首先,我想分享一下对于近5、6年AI研发的进展,医生秉持着什么样的态度。我觉得医生是有一种微妙的情感变化的。其次,对于医生扮演的角色,我会通过本人以及团队参与的所有AI项目,分享其中的一些体悟。

在打分时我们发现一些问题:有的算法虽然将伪影去得好,但是把重要的结构也去掉了,比如想看小关节或者想看脊柱里的脊髓,虽然伪影去得很漂亮,但是其中一些重要结构也看不清楚了,但是在我们反馈意见的时候,没有很多人注意到我们的想法和需求。

此前,协和医学院解剖学系的主任找到我想做一个3D打印的颅骨模型,给每个学生课余时间进行学习和熟悉。在以前,这样的模型是很难获取的。

另外,我们还有一些参与临床实验的工作。比如,病人在接受靶向药或者免疫治疗三个月以后,医生需要观察病人身上的肿瘤变化,包括多范围肿瘤的大小以及淋巴结的变化。

如果是手动将结构分割出来,每一套图像就要花费一星期的时间。当时,我们的逻辑是数据越多越好,训练出来的神经网络性能就会更好。

任何事务要有可持续的发展,形成合力是秉轴持钧的关键。“城归”回得来、留得住都在情理之中,但如何“干得好”,就不仅仅是“一个人在战斗”的维度。虽然是生于斯长于斯,不过一些“城归”返乡创业难免会“水土不服”,包括资金、服务和资源等方面,还需要更多的补齐和加强。对此,《关于推动返乡入乡创业高质量发展的意见》就从加大财税政策支持、创新金融服务、健全用地支持政策、优化人力资源、完善配套设施和服务等方面给出实打实的支持措施。有覆盖面,也有针对性。这样的政策礼包,让“城归”大喊解渴。

陆菁菁:感谢大会的邀请,我今天分享的题目是《医学影像人工智能研发之管窥:医生的角色》。

而新兵拉练总是与苦味相伴。旗手王福恩说,“行军拉练是突破极限的过程,吃苦就是‘吃补’,有了苦的体会,才能加速成长。”

“你看,我的衣服上折出盐渍了!”野战文艺小分队成员郑博文指着迷彩服如是说。在拉练中,许多新兵已经习惯了抬起胳膊抹汗,然后继续前行,他们说,“汗味就是兵味,谁说‘00后’不行。”(完)

这就是经验良好的医生和缺乏经验的医生可能存在的一些区别。我认为,人类智能和机器智能目前仍然存在一定的鸿沟。

从传统的图像上,可以看见肺纹理和肋骨是重叠在一起的,经过去骨以后,我们只看到了肺纹理。

那么,医生对于目前AI的产品研究有什么样的评价?作为医生,怎样才能参与到AI的研究中,如何实现双赢的长期合作关系?医生如何看待医学影像的未来?

此外,我们参与的其他合作还包括对肺叶、肺段的解剖。

航拍新兵拉练 章朝晖 摄

在我详细了解了比赛以及评分规则后,发现比赛规则既不成熟,也不透明,更像是一个商业广告的炒作。

诚然,不少“00后”新兵仍显稚嫩与腼腆,但他们都有一颗勇敢的心。从未走过这么多路的新兵们,将鞋子脱掉后,脚上血泡清晰可见,简单处理后,他们选择不上车,在战友陪伴下继续前行。

在新兵罗洪天、张茂鑫、翟成玉看来,“挑破水泡时,火辣辣疼痛瞬间传遍全身,感觉脚已经挪不动了,但看看班长骨干和其他战友都在坚持,就没有理由放弃。”他们认为,小小伤痛是他们在拉练途中赢得的小小勋章。

另外,我们还拿结核病灶进行了演示。当胸片有骨头挡着的时候,结核灶是什么样的?经过一些不好的减影之后,结核灶显示不太清楚,但是在我们的算法上,骨头被抑制下去,结核灶显示更清楚。

“洼地效应”,是“城归”返乡创业带来的最直接效应。带动就地就近转移就业、活跃县域经济、推动产业承接和梯度转移……人才是产业的第一要素,它代表着经济发展的深层价值取向。随着“城归”带来的人才流、资金流、技术流成为源头活水,必将滋润出一域经济的生动局面。“富民,不止富一地之民;兴业,着力兴贫地之业。”值得期待的是,有着反哺情节的“城归”,将主动承担起当地经济循环造血的一部分责任,更可乐见的是脱贫攻坚、乡村振兴等国家战略在基层实施的落脚。这样的“以点带面”,珠玉着实是不少。

新兵拉练补给 章朝晖 摄

我和我的团队参与了很多合作项目,从基础的数据标注、审核,到解剖病灶的勾画。十几年前,我在麻省总医院参加神经影像项目,进行CT图像上的脑血肿勾画,这个项目是想证明血肿扩大速度快的人预后较差。

因此,我们用了一个比较巧妙的方法,用非配对的CT结构的prior,算出骨骼的影子,在低分辨率上先做减影,进行上采样以后,在高分辨率上又进行减影,达到一个非常好的效果。

人类这边,由25名全球神经影像领域顶尖专家、学者和优秀临床医生组成,在两轮比赛中,BioMind分别以87%、83%的准确率,战胜医生战队66%、63%的准确率,人类完败。

新兵拉练 章朝晖 摄

政策助力,让“城归”干劲十足。经济蓬勃发展是大势所趋,政策利好同样是一种因势利导,这是从“知”到“行”的关键一跃。在家乡希望的田野上,“城归”把返乡创业的种子撒在一起发展、一起致富的土壤上。给予它润物无声,它就能开花结果、更能硕果累累。(南方网谢伟锋)

当时,我们找了有两年工作经验的研究生和十二年工作经验的进修生,分别对这些图像进行了判别。虽然看起来只有99幅图和300幅图像,但是通过不同的组合产生了无数的图像,每个片子大概要花4~5秒,让这些医生进行打分。

现在CT的图像能扫得特别薄,再加上3D打印技术的出现,这使得打印一个颅骨成为一件理论上很容易的事情。

弘扬太极文化,推进全民健身,亦是太极拳申遗的题中之义。犹记得疫情期间,武汉方舱医院里,来自河南的医护人员变身教练,带着患者积极“解锁”太极拳技能,帮助疏导患者情绪,优化治疗效果。如今,全民健身意识增强、热情高涨、参与积极,这就特别需要相关部门的服务和引导、相关专家的点播和指引,提供相当的环境、场地、设施,让人们科学锻炼、享受运动、纵情山水,在认识宇宙万象、对立统一、天人合一中,感悟黄河文明与太极文化之精髓。

我们和吕乐博士的团队每周都会花3个小时,在云端会议上讨论目前合作进程中存在的一些问题。比如我会分享放射科医生如何看图像,为什么放射科医生觉得,AI不能像医生一样进行疾病的诊断。

这位网友无可奈何的表示:“又发现了游戏中的一个bug,但至少这一个是有趣的。”

在钙化的显示上,我们算法的钙化显示就相对清晰,而且骨头抑制的也非常好,但是其他算法的效果就差强人意。

如图所示,上面一行是胸片图像,第二行和第三行是U-Net的结果,最下面是我们算法的结果:

第三个故事:与中科院计算所周少华博士的合作。

“每天一起床,感觉腿都不是自己的了。”扛了一天的队旗后,旗手张一博感叹道。对于每天行进30多公里的新兵们来说,第二天一起床,最直接的感受就是一个字——酸。

这是我们源于临床的问题。在协和的时候,我们每天会签100多份CT和核磁的报告,各个专业(头部、胸部、盆腔、骨关节)的都有。

最后,我们完成了16个病例,分成了训练集、验证集和测试集,再进行网络训练。

这是未来医工合作还需要进一步提高的地方。如果双方能够更好、更深入的交流,并且将医生的建议放在方法设计的过程中,相信会对文章将来的高度有所帮助,更贴近临床的需求。

实际上,这个脑壳里面的脑子的三维模型不是从CT图像得出来的,而是同一个人的核磁图像,通过脑分割的方法做了个STL的文件,同时合成起来。

训练采用的是注意力金字塔网络,就是数据增广,然后进行卷积、上采样,之后又引入注意力机制。

最后,负责算法的老师投递了大会摘要,并且得到了发表。在2018年第二届ISICDM大会上进行了汇报,并且将数据集贡献给第三届大会作为比赛用数据,我们也因此结识了更多的合作伙伴。

第二个故事:基于深度学习的盆腔结构语义分割。

这一“拳”,打出了自信与豪迈,打开了世界与未来!从2000年洛阳龙门石窟申报世界文化遗产成功算起,河南的“申遗之路”已走过20年,从中央到地方、从政府到社会为文化遗产倾注的努力,是赓续文脉、珍视文化的普遍共识。与改革开放的时代潮流相伴,被五千年中华文明源源不断滋养的黄河儿女,在走向现代化的路上,对这片土地上的文化遗产,不断加深着认识和理解,加大着保护与传承的力度,坚定着我们的文化自信,这是一种更基础、更广泛、更深厚的自信,这是一股更基本、更深沉、更持久的力量。

“苦不苦,想想长征两万五。”班长魏雨来不断在野营拉练沿途中鼓励新兵们。他说,这次拉练就是培养大家能吃苦、能战斗的意志。不管多苦、多累,大家都要咬牙坚持下去。

作为AI技术的前沿观察者与参与者,陆菁菁教授毕业于北京协和医学院,后进入北京协和医院放射科工作,历经住院医、住院总、主治医、副主任医,现为主任医师、硕士生导师,2010年5月至2011年5月为哈佛医学院麻省总医院访问学者。目前,陆菁菁教授担任北京和睦家医院放射科主任。

之后,我们就开始做脊柱的3D打印模型,继续申请专利。我觉得合作的这个项目非常简单,且容易上手、有趣。

到现在2020年了,医生发现自己能从AI技术中受益良多,比如利用影像组学可以发表很多文章,将AI软件应用在临床当中,例如肺小结节的检测、前列腺的勾画,可以帮助我们减少很多的工作量。

当然,我们并不想靠非法手段获取数据。解剖学系主任对自己进行了一次CT扫描,图像处理专家拿到之后进行分割。因为骨骼的密度和周围组织相差很大,所以分割起来比较容易。但是颅底有很多的血管孔、神经走向,需要人来一点点抠细节。

2018年,由国家神经系统疾病临床医学研究中心宣布举行了全球首场神经影像人工智能人机大赛举行。

然而,看到一起野营拉练的班长们的步伐依然矫健,新兵们“疑上心头”。一位班长对此谈及,“这酸痛是军旅成长的必经过程,有了这次经历,下次长途行军就能健步如飞了。”

本次研讨会由国际数字医学会主办,东北大学和中国医科大学联合承办。

新兵拉练穿越丛林 章朝晖 摄

而最高层级合作,就是研究者PI(算法PI和临床PI)的合作。

酸只是野营拉练的开始,在拉练过程中也有甜味。“00后”新兵陈成感受到了苦中的乐趣与寒冬的暖意。他说:“别看拉练才进行了两天,战友们互相调整背包,相互鼓励、并肩向前的场景我能记一辈子。还有遇到行人时,大家纷纷为我们加油点赞。”

最后一个故事,是与平安北美研究院吕乐博士进行的长期合作。