作者：老石，原文转载自《老石谈芯》公众号
去年我们玩KV260的时候用的是官方示例，在很短时间之内就完成了一个视觉加速器的开发。那么这次用KR260，我们挑战了一下更高难度，想尝试一下实际开发起来是一种怎样的体验，也想体验一下ROS系统的使用，以及这种开发方式带来的好处。—— 老石
Kria 系列是AMD Xilinx 专门针对边缘部署而精心设计的 SOM 产品组合，从入门套件到量产型 SOM，可简化系统开发，助力加速产品上市进程。Kria 系列产品的发布引发了业界广泛的关注，也产生了很多基于该系列板卡的设计案例，今天要向大家推荐的是来自业界知名开发者“老石”的一个视频项目：点击查看视频
关于Kria KR260的学习资料，还有这个基于KR260的机械臂控制项目的具体细节、步骤和代码，我们都总结成了详细的文档。大家可以点击这里填写问卷（该问卷为不记名形式）后即可获取。
（以下内容全文摘自“老石谈芯”有关KR260 的开发记录）
基于软件开发的新型FPGA开发方法，是否会成为未来的主流？
KR260入门套件的最大特点就是采用了SoM - System on Module的形式，也就是说它其实是有两块板卡，上面这个带黑色风扇的部分就是FPGA卡本身，里面装着一个定制版的SoC芯片，而下面的这个部分就是母板，我们叫它base board或者carrier board。母板上包含了各种接口，最明显的就是这4个RJ45以太网端口，以及一个SFP+10G光口，这些都是为了做工业通信的；此外还有4个USB3.0，主要设计用来做为多个摄像头的接口。
“什么是SOM模式”
这种使用两种板卡的SoM模式，本质就是一种模块化的设计方法。我们可以分别设计这些核心板和母板，来满足不同应用场景的需要。花最小的代价，满足最多种不同场景的需要。比如在一个设计的开发阶段，我们肯定需要一个有着很多接口和调试功能的开发板，这样就可以把母板上的IO接口做多一些、调试手段做丰富一些，方便我们的开发。当开发调试结束、需要实际应用和部署的时候，可能就不需要这些额外的调试接口和IO了，留着它们反而会成为方便别人入侵的安全隐患。在这种情况下，就可以在母板上保留必要功能，而FPGA的部分保持不变，这样能快速组成一个可以部署的产品化系统。
那么具体到KR260，它的FPGA核心板使用的是一个Zynq UltraScale+ FPGA芯片。这是一个16纳米的器件，包含4核ARM Cortex-A53处理器，以及围绕它搭建的一系列SoC子系统，包括嵌入式的GPU、内存控制器，还有各种IO和总线控制单元等等。可编程逻辑部分，也就是PL，包含25.6万个可编程逻辑单元，144个BRAM、64个URAM，这些都是片上的存储单元，此外还有1200多个DSP。
母板的部分前面说过，有四个以太网、4个USB3.0，此外还有显示接口、树莓派接口等等，能很大程度满足开发的需求。
不过我觉得，Kria系列的最大特点，除了这种模块化的板卡设计之外，更多的是它的开发方法。
不写RTL的FPGA开发
FPGA一直是很多开发者又爱又恨的存在，一方面FPGA有各种的好处，比如可以用来做并行计算和硬件加速，同时功耗又很低；但另一方面，FPGA的学习和开发方法非常的复杂和繁琐，这个也是制约FPGA大规模发展的最主要因素。
但是，包括KR260在内的Kria系列FPGA的开发方法就有很大不同，我们不需要Vitis、不需要使用RTL语言，而是通过Python语言进行开发，就能很快跑起来一个应用。对于KR260来说，它还有一个重要的特性，就是能支持运行机器人操作系统ROS2。它虽然名字里有「操作系统」，但其实并不是像windows、linux那样的操作系统，它更多的是一个中间件和编程框架，包含了一整套开源的软件库和工具，专门用来做机器人编程。ROS的作用是抽象机器人控制和传感器驱动的过程，让不同协议的器件之间能够互相通信。起到了一个总线的作用，不需要交互协议，所有的控制用Python，C 来完成。
机械臂控制器的开发过程
这次使用KR260，我们挑战了一下更高难度，想尝试一下实际开发起来是一种怎样的体验，也想体验一下ROS系统的使用，以及这种开发方式带来的好处。
机械臂的控制，是机器人领域的主要应用之一。我们要实现的功能其实并不是特别复杂，就是通过摄像头定位不同颜色的小方块，然后通过机械臂对小方块进行抓取和分类放置。我们这次开发的主要目的，其实就是评估KR260和ROS系统的易用性。
确定功能之后，就是梳理出具体的开发步骤，主要分以下这么几步：
第一步
配置KR260的Ubuntu环境。我们接下来所有的开发，都要基于Ubuntu操作系统，所以这一步是基础。具体做法可以参考赛灵思给出的一些步骤，链接我放在下方的评论区里。不过需要注意的是，这里需要选择支持KR260的Ubuntu版本，不能随便下。这个要到赛灵思的官网，找到Ubuntu Desktop22.04 LTS的映像，确保它支持KR260，然后下载，并且烧录到SD卡里。
烧录好SD卡之后，就是把线缆插到KR260上，注意以太网口不要插错，也插上SD卡，连接键盘鼠标，上电启动Ubuntu。这一步的最后，就是为Ubuntu LTS设置一下赛灵思的开发环境，用这里的几个命令就可以了。
sudo snap install xlnx-config --classic --channel=2.x
xlnx-config.sysinit
第二步
配置KR260的ROS2环境。对于KR260+Ubuntu22.04这样的环境来说，目前只有ROS2 Humble Hawksbill这个版本。在安装之前，需要先安装一系列的依赖、配置源、然后再下载ROS包进行安装。所有的命令代码和文档都是开源的，有条件的小伙伴可以试试看。安装好之后可以做一些简单的信息收发的测试，没问题的话就证明ROS2已经正常运行在KR260上了。
第三步
在KR260上安装jupyter lab方便调试。先下载依赖、配置一下远程登录，然后重启一下就好了。
第四步
搭建机械臂的硬件结构。这一步其实独立于FPGA开发，我们用的是现成的机械臂硬件，主要涉及一些组装和调试的工作。某宝上其实有很多机械臂开发件在卖，但是大家在买的时候一定要注意，问清楚控制接口到底是什么协议。这里我们踩了一个大坑，后面会介绍。
第五步
就是开发实际的功能了。功能主要包含两块，一块是对机械臂动作的控制，一块是通过摄像头进行物体和颜色的识别。对于机械臂动作的控制，是通过动作组来实现的，每个动作组包含初始化、复位、抓取、转移、放置，这五个基本的行为。
每个行为的本质其实就是对机械臂里对应的舵机进行控制，比如控制舵机旋转的角度和方向等等，这些都可以通过Python来进行精确的编程控制。摄像头识别的部分，使用OpenCV来实现。主要的工作有两个部分，分别是颜色识别、以及物体中心坐标定位等等。
别着急，还有第六步
也就是最后一步，就是把这些分立的功能通过ROS连接起来。相当于前一步我们做的都是一个个砖块，现在可以把砖砌成房子了。除了识别算法和控制算法，ROS还可以直接驱动摄像头，并且通过CV bridge把摄像头的图像传递给识别算法。识别出物体的轮廓和坐标之后，自动判断下一步要执行的动作，然后在ROS里发送给机械臂完成执行。
踩坑总结
开发过程肯定不是一帆风顺的，一些搭环境装软件的小问题就不说了，我们在开发过程中遇到的最大问题，其实是KR260目前存在的一些限制。一开始我们想用一个性能更好、功能更强的机械臂，买好了抱回来之后发现，那个机械臂的控制端口用的是I2C总线。根据KR260目前板卡的设计和引脚分配我们发现，必须要把这个I2C总线连到KR260的FPGA端。但是问题就来了，目前赛灵思提供的Ubuntu系统还不能访问FPGA PL端的新增AXI 设备，需要修改Ubuntu系统。
然后很自然的就想试试其他操作系统，比如我们试过Petalinux，并且成功修改了设备树，实现和I2C的通信，但是问题又来了，Petalinux不支持ROS，也没办法下载大部分依赖的安装包和支持库。
最后的方案，就是选了另外一个支持USB串口驱动的机械臂，并且直接在Ubuntu+ROS的环境下完成了前面的开发。
事实上，这并不是什么bug，而是一些相关的功能和支持还没完全开放。比如说不定过一段时间赛灵思就更新了Ubuntu版本，添加了对FPGA PL端IO资源的访问支持。也就是说，可以直接从FPGA的可编程硬件部分访问各种外设，这样肯定就方便更多了。
所以，回到了项目刚刚开始的问题：
基于软件开发的新型FPGA开发方法，是否会成为未来的主流？
折腾完我们的答案是，很有可能，但（前面的路还有很多）。详细的踩坑总结以及解决方案，我们以文档的形式列出来了，感兴趣的朋友可以点击这里填写问卷（该问卷为不记名形式）后即可获取。
小结
这期视频带大家一起看了一下赛灵思最新的Kria KR260机器人开发套件的开发全过程。在这个过程中，可以不接触到FPGA的底层硬件内容。如果你是个软件开发者，可以利用这个平台直接进行上层机器人相关软件和算法的开发和加速，这个就大大降低了使用FPGA的门槛。这个过程也很有趣，同时也能慢慢接触到软硬件协同开发的知识细节，并且锻炼这方面的技能。
