【开源方案】PYNQ-DPU框架下的人工智能医学图像方案

作者: 品客,来源: PYNQ开源社区微信公众号

感兴趣者可与 pynq_china@xilinx.com 联系,共同合作拓展项目。

近日Xilinx,AWS还有Spline.AI 联合开发了开发X射线分类深度学习模型和参考设计。团队依靠30,000张肺炎图像和500张COVID-19图像来训练深度学习模型,从而实现了高精度和高预测速度。该训练数据将提供给包括美国国家卫生院,斯坦福大学和麻省理工学院在内的公共研究和医疗机构。对于开发者而言,该参考设计已经开源,点击https://github.com/splineai-cloud/COVID-XS 即可获得。

设计使用Amazon SageMaker进行训练,并使用AWS IoT Greengrass从云部署到边缘,在边缘侧利用VITIS AI进行部署,通过PYNQ开源框架和PYNQ-DPU可以快速的实现跨平台部署。从而实现了远程模型更新,分布式推断扩展的能力。

关于PYNQ-DPU可以参见《DPU-PYNQ今天发布啦!!!》

关于AWS IoT Greengrass可以参见《周末创客|快速实现物联网应用-以Greengrass为例》

方案简介

当前,广泛用于检测COVID-19的测试方法是RT-PCR或实时聚合酶链反应。尽管RT-PCR是一种标准的诊断技术,但它也有许多缺点。RT_PCR显示出很高的假阴性率,其过程既费时又昂贵。在这次危机期间,从许多实验中发现,从影像学检查(例如CT扫描和X射线)检测肺炎和COVID-19感染非常有效。

本方案基于Vitis-AI、ZCU104验证平台和AWS-IoT GreenGrass,其中Vitis-AI用于COVID-19深度学习模型的转换、量化和编译,将模型转换为DPU可运行的.elf文件;ZCU104验证平台完成基于X-Ray图像的COVID-19 CNN在线检测或用作AWS-IoT GreenGrass的边缘计算设备,完成COVID-19的边缘实时检测。

部署流程

已经安装好Vitis-AI开发环境的Ubuntu主机,建议使用Ubuntu16.04,且具备较高的性能用于CNN等深度学习模型的训练,安装方法可参考

https://github.com/Xilinx/Vitis-AI

安装了PYNQ 2.5镜像且已完成DPU-PYNQ升级的Xilinx ZCU104验证板;

ZCU104 PYNQ 2.5镜像下载:

http://www.pynq.io/board.html

DPU-PYNQ升级方法:

https://github.com/Xilinx/DPU-PYNQ

将Xilinx ZCU104集成为AWS-IoT GreenGrass的COVID-19边缘检测设备,可参考:https://github.com/splineai-cloud/COVID-XS/blob/master/DPU_Edge

主要流程

(1)训练Keras CNN肺炎模型以生成.h5的模型文件;

(2)使用Xilinx Vitis-AI对预训练的.h5模型进行模型转换、量化和编译,以生成DPU可部署的.elf可执行文件;

(3)直接在Xilinx ZCU104验证板的PYNQ-DPU开发环境中编写应用程序,对输入的肺部X-Ray图像进行COVID-19在线实时检测;也可使用AWS-IoT GreenGrass完成Xilinx ZCU104对COVID-19的边缘端实时检测(需要将Xilinx ZCU104集成为AWS-IoT GreenGrass的边缘计算设备)。

方案已预先提供了两组深度学习模型,分别实现基于胸部X-Ray图像的肺炎和COVID-19预测:

(1)Pnem1-150x150图像尺寸的肺炎检测模型;

(2)Pnem2-224x224图像尺寸的肺炎检测模型;

(3)Pnem3-150x150图像尺寸的肺炎和COVID-19检测模型;

(4)Pnem4-224x224图像尺寸的肺炎和COVID-19检测模型;


上述提供的模型可直接用于部署,开发者可以快速体验COVID-XS带来的好处。

后记

在本参考设计中,通过PYNQ开源框架,用户可以:

方便的安装AWS IoTGreengrass等第三方服务,加快原型验证开发

无缝跨平台移植,用户如果有Ultra96等其他支持PYNQ-DPU框架的平台,不妨尝试部署。

最新文章

最新文章