AI 医疗更进一步，单张 X 光平片生成三维图像 (临床会使用正侧两张)

[coolwulf]

在很多医学领域，比如儿科或者骨科正畸科，由于需要经常性的查看图像，使用 CT 的剂量会过高，只能使用二维的 X 光平片。但这样就缺少了三维信息。我们最近的研究成果就是是否可以通过机器学习来恢复这些三维的信息。是否科学？

不多说，我们看结果吧。 先是单张图片

https://ibb.co/Vjn956w

AI 生成的三维信息:

https://ibb.co/nDjz9P1

针对骨科和正畸应用细节足够，因为骨头是刚性体

技术预览用单张没问题，实际临床使用我们考虑用两张平片，正向和侧向

临床应用使用两张图，类似 EOS 的 Flex Dose 系统, 合作伙伴已经开始准备整机方案

为了解决大家对于是否可以应用于临床的疑惑，我解释一下:

大家可以查看一下法国公司 EOS Imaging 的产品 Flex Dose, 他们使用的是基于 Atlas based registration method, 在脊椎上的单一骨节上寻找对应的 Landmark, 然后用它们作为重建三维骨节形状的依据在 Atlas 库里面使用对应骨节数据来重建。他们的这种做法可以算是一种在 Deep Learning 来到之前的人工学习。他们的产品在 2012 年就已经通过了 FDA, 并在很多家医院中使用。在儿科骨科尤其受到医生的欢迎，因为很多情况下，病人不合适使用 CT. 我们的 DL 的方法可以看成是更高阶的 Atlas feature extraction.

参考资料:

(1) EOS Imaging 公司网址: https://www.eos-imaging.com/
(2) EOS 的产品: https://www.eos-imaging.com/professionals/eos/eos
(3) 他们专利的方法论文: https://www.ncbi.nlm.nih.gov/pubmed/23177915

关于有朋友提出的 X 光片完全丢失了三维信息，这是不准确的.

X-ray image 并不是丢掉了所有三维信息，因为 X 光成像是基于 Attenuation 的, 即 I = I_0 x exp(-ut), I_0 是初始的 X ray fluence, u 是 attenuation coefficient, t 是 path length. 在投影 I 上面，重叠图像中保护了在后端被遮挡物体的 Feature 信息，这些 Contrast 和 contour 信息通过深度学习，能否通过 Feature extraction 来部分还原三维信息。

[lambdaq]

CCF 的 coolwulf 大神啊。

[1more]

膜大佬，tql

[Pho3nix]

并不科学,需要拍片的患者的影像资料大部分是畸形的,生成这种三维图像的方式大致有两种:
一种是从大量数据库中找相似度最高的
一种是用 AI 做训练
但是对于畸形患者,这两种方式都是不可靠不准确的.

[green15]

两张三张合成 3D 还可以理解，这是类似于三视图吧。单张……即使加上人体之间存在很多相似之处，实际还是脑补成 3D ？

[Pho3nix]

@green15 通俗来说脑部成 3D 是没错的

[Pho3nix]

'针对骨科和正畸应用细节足够，因为骨头是刚性体'

只针对正畸的确足够,我收回我的言论 sry

[dosmlp]

生成没问题，精度怎么样。。。

[VWWWWWWW]

病变组织靠脑补画面，怕不是有点粗略吧……
用来做 CG、游戏等娱乐行业还好

[murmur]

给你 p 一个肿瘤出来？ x 光本身信息量都不够还得去拍 CT，你这减少数据量靠 p 图给人家 p 病变？

[murmur]

我的观点很简单，医学是和生命打交道的，你 P1000 张图，999 张正确，这在算法领域几乎是完美
但是就因为 P 错的这一张图，患者出现误诊，没有发现早期病变，医生可能会因为没有按照规定做检查丢掉饭碗，甚至因为医闹还会有生命危险
还什么骨头是刚性的，学医难道不都知道患者不会按照教科书生病么，如果骨头生长都是有规律干嘛人还会生病。。

[zhihupron]

开源吗

[ty89]

医学影像资料要的就是客观真实，医生才能正确判断病情，这跟 P 个月亮不同

[sgissb1]

不是学医，不懂 AI 相关。但常年是骨科 VIP （常客）。

每个人的骨骼特征具备一些相似点，也具备一定的差异，比如关节或骨形状都会和个人基因、成长环境有关（比如裹小脚就会让骨骼生长发生变化）。

我不是很理解，为何在正畸中会够用，不是普通平面 X 光就可以了吗？

[sgissb1]

另外如果类似像骨折啥的，进行矫正后，这样的生成后的三维图够用吗？

[Mithril]

放弃吧还是。
现在在医疗领域使用 AI 大部分都是没谱的事。做研究是没问题的，作为医用产品来说，最重要的就是责任问题。
你用平片生成 3D 效果，丢失的深度信息是你补上的。依此做出的诊断和治疗如果造成了误诊或损害，这个责任你的公司承担吗？你在医院常驻个代表跟患者解释他为什么是那 5%？
AI 的效果很好，准确率能到 95%等等这都很不错。但问题就是你是诊断链上的一环，作为医疗器械的一部分。这个要求和法规是相当严格的。
所以说目前大部分想要在诊断治疗环节使用 AI 的公司基本都是面向投资人赚钱的。

[laohelmet]

神外的，表示给我一个头 x 片还不如不拍。需要各个面比对，结合周围情况综合判断。
多吃那点射线比起准确度来说真的不算什么

[Pho3nix]

@Mithril
@sgissb1
@murmur

诸位的观点和我一开始的观点一样,但是人家说了是做畸形矫正,所需要的重点信息信息是侧弯的角度类似的,具体的细节并不需要特别关注,三维只是为了观察,诊断信息更多的是在平片的角度信息上

[hst001]

救命治病的东西，用 AI 辅助识别还行，但是用 AI 来脑补信息就不好了，真真假假分不清的时候还要花钱拖时间再用非 AI 技术去确认

[murmur]

@Pho3nix 针对骨科和正畸应用细节足够
我就跟他抠骨科这俩字 这么大一个大骨科都敢吹进去 那就来接受挑刺吧

[coolwulf]

@murmur 你可以查看一下法国公司 EOS Imaging 的产品 Flex Dose, 他们使用的是基于 Atlas based registration method, 在脊椎上的单一骨节上寻找对应的 Landmark, 然后用它们作为重建三维骨节形状的依据在 Atlas 库里面使用对应骨节数据来重建。他们的这种做法可以算是一种在 Deep Learning 来到之前的人工学习。他们的产品在 2012 年就已经通过了 FDA, 并在很多家医院中使用。在儿科骨科尤其受到医生的欢迎，因为很多情况下，病人不合适使用 CT. 我们的 DL 的方法可以看成是更高阶的 Atlas feature extraction.

[coolwulf]

参考资料:

(1) EOS Imaging 公司网址: https://www.eos-imaging.com/
(2) EOS 的产品: https://www.eos-imaging.com/professionals/eos/eos
(3) 他们专利的方法论文: https://www.ncbi.nlm.nih.gov/pubmed/23177915

[i4oolish]

@murmur 医学里面有统计学东西，这也是为啥医患矛盾那么多的问题。医学没有 100%的东西。

[vigoss]

我感觉这个有风险。单张图出 3D 应该还是基于推断的。其他的行业有一点偏差无所谓。医疗诊断有一丁点偏差是不是就会有风险。当然平常的这个风险被医生承担了。不懂，随便一说

[sjqlwy]

x 线片拍出来的原始数据就丢掉了三维信息，这个脑补出来还原的不靠谱啊，特别是医疗上

[coolwulf]

@sjqlwy 并不是丢掉了所有三维信息，因为 X 光成像是基于 Attenuation 的, 即 I = I_0 x exp(-ut), I_0 是初始的 X ray fluence, u 是 attenuation coefficient, t 是 path length. 在投影 I 上面，重叠图像中保护了在后端被遮挡物体的 Feature 信息，这些 Contrast 和 contour 信息通过深度学习，能否通过 Feature extraction 来部分还原三维信息。

[StYu]

个人观点，不一定对，仅供参考。
对于医学相关的算法，可解释性非常重要，如果一个模型完全不可解释，那么就意味着在医学应用上具有“极高”风险。而且医生也不会倾向于依靠这样一个不可解释的模型。所以就目前来说，在医学相关领域应该避免使用 DL 建立的各种模型。

[melomelo]

没必要，第一外科拍 X 线片和手术时见到的实际情况区别很大，都以实际为主。依赖这个的外科医生最好别找他看病。第二正骨，片子都是辅助，看摸为主，有时不追求完好如初，自己慢慢活动修复。外行瞎整。有这技术咋不研究超声波混合 WiFi 透视？很搞笑。

[wenxiuzh]

两张图片生成三维还科学点

[luozic]

多张图片 结合多普勒玩立体成型可以理解，AI 脑补这种应该被作为参考，但是基本上有助于本来就没有高风险的医美或矫正。 用来指导复杂病变组织部分，基本没戏。