朝阳谷歌重医用AI结果：增强现实显微镜能实时分析病

大家好，这里是老上光显微镜知识课堂，在这里你可以学到所有关于显微镜知识，好的，请看下面文章： 雷锋网络出版社：这篇文章是从谷歌博客翻译的，作者是谷歌大脑团队产品经理Craig Mermel和技术总监Martin Stumpe。

深部学习在眼科、皮肤科、放射学和病理学等领域有着巨大的潜力，可以为世界各地的患者提供更准确、更优质的医疗服务。谷歌最近也发表了一份研究报告，表明卷积神经网络检测乳腺癌淋巴结转移的Y与一位训练有素的病理学家相比较，但迄今为止，用复合光学显微镜直接观察组织仍是病理学家诊断疾病的主要手段。如何对显微组织进行数字化已成为深部学习在病理学学科中大规模应用的关键性挑战。

今天，在美国癌症研究协会（AACR）的一次演讲中，我们介绍了一个增强现实显微镜（ARM）的平台原型，基于一篇题为实时增强自动检测癌症的增强现实显微镜的论文。我们相信，该产品有助于促进深度学习技术，促进和应用于全球病理学领域。

该平台由改进的光学显微镜组成，可用于实时分析图像，并直接显示机器学习算法在用户视野中的分析结果。

值得一提的是，使用低成本、现成的组件可以用来将这个增强现实显微镜转换成世界各地医院和诊所的普通光学显微镜，并组织分析，而不需要对数字系统进行全面升级。

现代计算组件和深度学习模型，如在TysFoo流平台上建立的模型，使这个增强现实显微镜平台运行大量的预训练模型。与传统的显微镜一样，用户通过目镜观察样本。将机器学习算法输出的结果实时投影到光学路径上，叠加在样本的原始图像上，帮助观察者快速定位和量化感兴趣的特征，并对平台进行计算和视觉反馈。非常快-当前速度已经达到每秒10帧，这意味着当用户的移动组织或放大率被进一步观察时，可以获得平滑、无缝的视觉体验。

左：概述了增强现实显微镜的原理。数码相机捕获与用户相同的视场（FOV），然后将图像传输到可以运行实时推理机学习模型的附加计算单元。母鸡送回一个定制的AR显示器，它用目镜内衬，并将模型的结果显示在与标本相同的平面上。右图：这张地图显示了我们的平台原型在被改造成典型的临床光学显微镜后的外观。

理论上，增强现实显微镜可以提供多种视觉反馈，包括文本、箭头、轮廓、热点地图和动画，并且可以运行各种机器学习算法来处理不同的任务，例如对象检测、量化和分类。

为了证明增强现实显微镜的功能，我们运行两种不同的癌症检测算法：一种用于淋巴结标本中的乳腺癌转移，另一种用于前列腺切除标本中的前列腺癌。这些算法可以在4-40X的放大率下运行，并且使用T。他用绿色轮廓来检测肿瘤区域。这些轮廓可以帮助病理学家注意到感兴趣的区域而不留下模糊的肿瘤细胞。

雷锋Notes：通过增强现实显微镜观察，这些图像显示在4X、10X、20X和40X的放大倍数下的淋巴结样本。

虽然这两种癌症检测模型没有被直接由增强现实显微镜捕获的图像训练，但是它们对后者执行得很好，没有额外的训练。我们相信，如果我们进一步训练图像，这些算法的性能将继续改进。由增强现实显微镜获得。

它们最初用于从完全不同的光学结构的完整的标本扫描仪中训练图像，但是它们在增强现实显微镜平台上表现良好，没有额外的训生物显微镜练。例如，淋巴结转移检测模型的曲线区域是0.98在增强现实显微镜上，前列腺癌检测模型的曲线面积达到0.96，仅略低于WSI上获得的结果。

我们相信，这种增强现实显微镜将对全球健康产生重大影响，特别是在发展中，包括结核病和疟疾的传染病诊断。此外，在即将采用数字化病理工作流程的医院，增强现实。TY显微镜也可以与数字化工作流程相结合，光学显微镜在许多行业都有其价值，但在病理方面的作用有限，我们相信增强现实显微镜可以应用于医疗、生命科学研究和医学等多个领域。材料科学。我们很高兴继续探索这个增强现实显微镜，有助于加速机器学习技术在世界各地的积极影响。

网站网友点击量更高的文献目录排行榜： 点此链接 关注页面底部公众号，开通以下权限： 一、获得问题咨询权限。 二、获得工程师维修技术指导。 三、获得软件工程师在线指导 toupview,imageview,OLD-SG等软件技术支持。 四、请使用微信扫描首页底部官主账号！