机器人 AI 学习指南

AMD Kria™ KR260 机器人入门套件学习指南,让广大 AI 开发者进一步地了解如何使用 KRIA KR260 机器人入门套件开发机器人 AI。

Kria KR260 产品概述

Kria KR260 机器人入门套件利用 Kria KR26 SOM 作为机器人和工厂自动化应用的开发平台。这款用户友好型套件使机器人专家和工业开发人员(即使是没有 FPGA 专业知识的开发人员)也能够为机器人、机器视觉和工业通信创建硬件加速应用。它通过原生 ROS 2 和 Ubuntu 支持确保了灵活性,并通过 Kria 机器人堆栈 (KRS) 提高了生产力。K26 SOM 采用 Zynq™ UltraScale+ ™ MPSoC 架构,可提供高达 1.4 TOPS 的 AI 处理能力,并集成 H.264/265 视频编解码器[1]。它拥有 245 个 I/O,可满足各种需求,支持多达 15 台摄像机、40Gb/s 网络连接和各种 USB 外围设备。这个可扩展和可扩展的平台为各种应用提供了多功能性,并可轻松适应不断变化的系统需求。

视频编解码器加速(至少包括 HEVC (H.265)、H.264、VP9 和 AV1 编解码器)受制于且无法运行,除非包含/安装兼容的媒体播放器 GD-176 型。

使用 Python 轻松启动和编程

PYNQ 环境是 AMD 的一个开源项目,可以轻松地使用自适应计算平台,例如 Zynq 设备 (Python 和 ZYNQ)。利用流行的 Python 语言和库,设计人员利用可编程逻辑和微处理器的强大功能来创建复杂的电子系统。就 Kria KR260 而言,我们更进一步,将原生机器人操作系统 (ROS 2) 支持集成到开发套件中,从而促进机器人专家和软件开发人员的无缝集成。此外,对于 AI 集成,PYNQ 提供了一种用户友好的方法,将机器学习模型整合到 DPU 叠加层中。

参考:

KR260 机器人套件产品简介

KR26 SOM 产品简介技术规格

要求:
. Linux 操作系统 (Ubuntu 22.04)。
. Kria KR260 机器人入门套件 USB 键盘和鼠标。
. USB 摄像头。
. DisplayPort 显示器和电缆。
. 至少为 64GB 的 Micro-SD 卡。
. 以及取决于所需应用的任何其他加法器卡。

有关 KR260 入门套件的更多信息,请参阅以下技术规格:

https://www.xilinx.com/products/som/kria/kr260-robotics-starter-kit.html...

开发人员体验

API 和 SDKs:

  • AI/ML 工作负载可以使用 DPU-PYNQ (v3.5) 在 Kria KR260 板上运行。该叠加层包含一个 Vitis AI 3.5.0 深度学习处理器单元 (DPU),并附带各种带有预训练 ML 模型的笔记本示例。
  • 机器人代码/功能是使用 Robotics Operating System ROS2 添加到 ARM 处理器中。

开发环境:

开发环境需要 Ubuntu Server 22.04, xmutils 工具可用于升级 Kria 固件。如果您使用 2 个以上的 USB,可以将 USB 集线器插入右侧 2 个 USB 端口之一。

特性和功能

型号范围:

KR260 型号请参考:
https://github.com/Xilinx/Vitis-AI/tree/v3.5/model_zoo

开始

开始将 KR260 机器人入门套件用于您的设计与应用

教程/示例

ROS AI 应用程序: 此示例展示了如何使用 KR260 使用分类模型和 MNIST 数据集处理来自相机的图像,然后控制 TurtleSim 根据识别的相应数字向方向移动。图像分类模型在 DPU 上运行,TurtleSim 机器人控制在 ARM 处理器上使用 ROS2。此示例演示了如何使用 ROS 和 PYNQ 来构建完整的应用程序/示例相机输入、图像的 AI 处理、机器人 sim 输出。

http://www.github.com/Xilinx/Kria-RoboticsAI#6-rosai-application

ROS2 的教程:

https://docs.ros.org/en/humble/Tutorials.html

我们建议至少使用以下教程,以确保您的环境设置正确(刚开始使用 ROS2 的用户应遵循初学者教程):

配置环境: Configuring environment — ROS 2 Documentation: Humble documentation

https://docs.ros.org/en/humble/Tutorials/Beginner-CLI-Tools/Configuring-...

Turtlesim: Using turtlesim, ros2, and rqt — ROS 2 Documentation: Humble documentation

https://docs.ros.org/en/humble/Tutorials/Beginner-CLI-Tools/Introducing-...

参考文件

有关 PYNQ 的更多信息: PYNQ - Python productivity for Zynq - Home

http://www.pynq.io/

有关 Zynq UltraScale+ EV的更多信息: Zynq UltraScale+ MPSoC (xilinx.com)

https://www.xilinx.com/products/silicon-devices/soc/zynq-ultrascale-mpso...

有关KR260的更多信息: Kria KR260 Robotics Starter Kit (xilinx.com)

https://www.xilinx.com/products/som/kria/kr260-robotics-starter-kit.html

有关KR260 Starter Kit Applications的更多信息: Kria KR260 Robotics Starter Kit Applications — Kria™ KR260 documentation (xilinx.github.io)

https://xilinx.github.io/kria-apps-docs/kr260/build/html/index.html

Tutorials - MakarenaLabs

https://www.makarenalabs.com/tutorials/

DPU on PYNQ:

https://github.com/Xilinx/DPU-PYNQ/tree/design_contest_3.5

最新文章