嵌入式视觉

嵌入式视觉应用中的机器学习

作者:Nick Ni 和 Adam Taylor

目前嵌入式视觉领域最热门的话题之一就是机器学习。机器学习涵盖多个行业大趋势,不仅在嵌入式视觉 (EV) ,而且在工业物联网 (IIoT) 和云计算中均发挥着极为显赫的作用。对不熟悉机器学习的人来说,很多时候机器学习是通过神经网络创建和训练来实现的。神经网络一语极为宽泛,包含相当数量的截然不同的子类别。这些子类别的名称一般用于识别被实现的网络的具体类型。这些网络均在大脑皮层上建模,在大脑皮层中每个神经元接收输入、处理输入并将其传达给另一个神经元。因此神经元一般由输入层、多个隐藏内部层和一个输出层组成。

图1:简单的神经网络

图1:简单的神经网络

 嵌入式视觉可划分为两个高级类别;感知环境和采取行动。视觉导向的机器人和无人机属于后面的采取行动类。

  在民用领域,目前无人机是商业、医疗、农业、广播和执法应用中最热门的话题之一。对许多这样的应用,无人机可提供显著的优势。在广播和执法领域,无人机能够以低得多的成本提供之前需要直升机才能提供的能力。无人机还能执行预订服务,例如,即将推出的 Amazon Prime (亚马逊贵宾会员) 交货服务,或者如乌干达偏远地区的医疗产品交货服务。在农业应用中,无人机能使用高光谱成像来判断作物的健康状况。而这些应用, 只不过是目前已经在使用或正在考虑使用无人机技术的广泛应用的冰山一角。

农业无人机应用示例

农业无人机应用示例

作者:Sleibso ‎

Aldec的一个应用工程师 Farhad Fallah 在 New Electronics 网站上发表的一篇题​​为“生活在边缘”的文章最近引起了我的注意,因为它简洁地描述了为什么 FPGA 对于许多高性能的边缘计算应用如此有用。以下是这篇文章的一个例子:

“云计算的好处是多方面的......然而,云也有一些缺点,其中最大的缺点,是没有任何提供商可以保证100%的可用性。将数据发送到云进行处理时总会有一些延迟。你需要等待答案。边缘处理需要高性能,在这方面,FPGA可以并行执行多个不同的任务。”

赛灵思高管分享四大技术趋势未来

今天,赛灵思OPENHW2017教师峰会暨创新大赛决赛在新加坡科学技术大学举行。赛灵思亚太区高级副总裁兼亚太区总裁汤立人在会上分享了四大技术趋势。

All Programmable SoC 进军制造行业

作者:Aaron Behman 和 Adam Taylor

制造领域为许多人提供了喜闻乐见的业余爱好,也激励着年轻人从事科学、技术、工程和数学方向的职业。这个领域的许多项目都使用嵌入式处理器(通常如 Arduino 或 Raspberry PI 系列),以提供系统所需的智能化。

  Arduino 和 Raspberry PI 这两大系列嵌入式处理器均得到开发环境的支持,为其提供多种软件库、模块和实例。这些软件库、模块和实例可帮助开发人员迅速方便地接口到各类型外设,如摄像头、加速计和电机等。正是这种易用性让这些处理器在制造领域倍受青睐。

  直到最近制造商都把 All Programmable SoC 排除在制造领域之外,认为它适用于更专业的工程师。但随着 ZynqBerry、Pynq 和 Snickerdoodle 等基于 Zynq® 的开发板的推出以及基于软件的开发方法的问世,这种情况已经发生根本性变化。

作者:电子创新网 张国斌

由于人眼只能看到 390nm(蓝光)至 700nm(红光)波长之间的可见光谱,但成像设备凭借各种传感器能捕获到更宽泛波长的图像,包括 X 光、紫外线、红外线以及可见光谱,因此基于成像传感器的嵌入式视觉成为先进最热门的技术之一,应用包括无人驾驶、无人机、机器人、医疗诊断等很多领域,现在,嵌入式视觉正结合了机器学习向自主智能视觉系统发展,但机器学习需要针对应用场景优化,且传统开发时间长,现在,FPGA领头羊赛灵思就放了一个大招,它推出的一个产品不但可以大大简化视觉导向机器学习,更可以提升视觉智能系统的响应时间,并实现软硬件可重配置。

reVISION惊艳登场, Xilinx让视觉导向机器学习更简单!

利用赛灵思器件上的INT8优化开发嵌入式视觉

作者:Yao Fu、Ephrem Wu、Varun Santhaseelan、 Kristof Denolf、Kamran Khan 和 Vinod Kathail

赛灵思 INT8 优化为使用深度学习推断和传统计算机视觉功能的嵌入式视觉应用提供最优异的性能和能效最出色的计算方法。与其他 FPGA DSP 架构相比,赛灵思的集成 DSP 架构在 INT8深度学习运算上能实现 1.75 倍的解决方案级性能。

概要

嵌入式视觉教程 — 应用中的传感器融合

作者:Aaron Behman 和 Adam Taylor

传感器在我们的世界经历了快速的推广,事实上,传感器现在已经非常普遍,以至于我们每个人日常所使用的手机里都有好几种不同类型的传感器。这些传感器有的能检测压力、温度、加速度和重力的简单变化,同样也有更为高级的传感器,例如 GPS、RADAR、LIDAR 和图像传感器。

  传感器融合是指从几种不同的传感器中提取数据,以生成靠单个传感器无法提供的信息。随后,可以对该信息做进一步处理和分析。并根据最终应用,必要时还可用传感器来制定决策。传感器融合分为两大类 :
● 实时传感器融合——提取并融合传感器数据,并根据得到的信息实时制定决策。
● 离线传感器融合——这种方案是提取并融合传感器数据,但在过后的某个时间制定决策。

就嵌入式视觉系统和传感器融合应用而言,大部分应用适合实时传感器融合。

嵌入式视觉应用

嵌入式视觉应用正在经历迅猛增长,涉及领域广泛,从机器人、高级驾驶员辅助系统 (ADAS) 到增强现实,不一而足。这些嵌入式视觉应用对最终应用的成功运行有很大帮助。将嵌入式视觉系统提供的信息与来自不同传感器或多个传感器的信息进行融合,有助于更好理解环境,从而提升所选应用的性能。

嵌入式视觉系统的概念及关键因素

作者:Aaron Behman,Adam Taylor

基于视觉的系统在很多行业和应用领域中已变得非常普遍。实际上,我们中的很多人每天就携着一个嵌入式视觉系统,比如在我们的智能手机中。这些智能设备不仅能够捕获图像和录制视频,而且还能执行增强现实的应用,这些都展示了嵌入式视觉技术是如何被普遍地广为接受。

处理能力、存储器密度和系统集成度的提升,促进了嵌入式视觉在传统和新兴应用领域( 图 1所示实例)的增长。这也使得嵌入式视觉在消费类、产业和政府领域被广泛接受,因而将在十年内实现显著增长。表 1 列出了一些嵌入式视觉的高增长领域,其中有一些显而易见,有些则不是很明显。

嵌入式视觉系统的概念及关键因素

图 1 常见的嵌入式视觉应用。

优化系统成本需要对开发板上的每个芯片器件进行分析,尤其是那些“高价值”组件——无论是 ASSP、ASIC、FPGA 还是 SoC。通用芯片技术一直备受青睐,但是要想真正做到成本优化,系统架构只需合适的特性集——既不能超出所需,又不能达不到设计要求。例如,I/O 扩展器件就没必要达到高信号处理负荷所需的高 DSP 比率,也无需承受高性能收发器的成本。

赛灵思的成本优化型 All Programmable FPGA 和 SoC 产品组合可提供业界独一无二的软硬件灵活性和扩展性。该产品组合用途广泛,包含近期的增强型 Spartan®、Artix® 和 Zynq® 系列,适用于 I/O 连接、高带宽工作负载以及智能分析。

由于无法实现适合所有使用模型的“万能”器件系列,因此为了用于部分或整个系统中,产品系列必须具有不同容量和集成度,每个系列都提供独特的特性集、资源组合以及价格点。同时,可扩展性也很关键,因为设计人员希望能够为当前或下一代平台添加容量和特性集。具体来说,设计人员可能希望:
(1) 自定义一个包含类似终端产品的产品组合,例如优化、中端或高端系列
(2) 确保系统能够满足未来不断变化的需求或不断演进的标准要求
(3) 开发能够共享通用 IP、架构模块或设计流程的不同产品线

有了赛灵思芯片、软件和方法,设计人员的这些需求都能得到满足。

同步内容