广播与专业A/V

今天，视频分析广泛正应用于人们的日常生活。从帮助智能楼宇提升安全性、在智慧城市中检测拥堵与犯罪，到配合新冠防疫要求监测口罩佩戴情况，视频分析正助力解决各种实际问题，令商业和生活更加智能。数以亿计的摄像头被部署于城市、零售店、火车站以及制造生产线上。纵能眼观六路，但分析能力是否八面玲珑？

在新冠疫情的影响下，互联网视频流量呈加速增长态势。电子竞技、远程医疗、电子商务、娱乐和远程学习中的视频转码工作负载愈加普遍，计算密度也进一步增大。这样一来，内容分发网络（ CDN ）提供商便面临巨大压力，因为他们需要以最低的资本支出（ CAPEX ）高效分发直播视频内容，而该情况也迫使他们对自身硬件基础设施和软件功能进行重新评估。

赛灵思今日宣布，其现场可编程门阵列（ FPGA ）和自适应片上系统（ SoC ）器件正为一系列索尼电子产品提供支持，用于专业音视频（ A/V ）应用，包括最新 XVS-G1 4K 直播制作切换台。赛灵思与索尼强强联手，借助双方前沿技术共同打造世界上最先进的音视频产品，用于拍摄和转播全球现场活动。

赛灵思 Alveo 系列产品开发的视频 + AI 处理系统平台，使用分布式计算架构对视频处理进行设计及优化，在处理大规模视频流方面突破了 CPU 的瓶颈。对于直播流转码及音视频混合流任务，相对传统 X86 服务器，该系统在并发流量处理方面实现20-30倍的效率。

本视频将演示使用Zynq UltraScale+ MPSoC视频编解码单元，实现基于感兴趣区域的编码，并将其用于广播带宽最大化。

了解如何使用 Zynq UltraScale + MPSoC 视频编解码器单元 (VCU) 中实现的基于感兴趣区域（ROI）的编码来最大化广播带宽。 我们将从广播带宽问题的简短讨论开始， 然后展示使用 Xilinx 视频编解码器单元，将基于区域的编码作为解决方案。

在网络培训、大数据和 ML 研究三方面快速发展的推动下，所谓“深度学习”正迅速成为主流。这种说法在嵌入式视觉应用中体现得最为明显，其最终目的是教会机器“领会”。嵌入式视觉应用的范围似乎是无穷无尽的，从确保生产线零缺陷的机器视觉摄像头，到监控交通、检测盗窃和灾难的杆装“智慧城市”摄像头

根据市场调研公司的报告显示，到2021年，直播视频将达到700亿美元规模，而非直播视频内容将达到接近1000亿美元规模，且直播视频流量增速大于非直播视频，2023年有可能超越非直播视频。视频处理成就了近两千亿的市场商机，也成为未来服务器的最大负载之一

AIX（artificial intelligence aXellerator）是韩国SK公司为语音识别提供的一个解决方案，应用于微软的开源语音识别框架Kaldi。AIX使用了Xilinx的FPGA平台，充分利用了FPGA能提供的外存访问带宽和DSP资源。在自动语言识别（ASR）中，在性能和功耗上超过了分别超过了最领先的CPU 10.2倍和流行的GPU20.1倍

Twitch 使用 Xilinx Ultrascale +™ FPGA 加速和 NGCodec VP9 编码器 IP 进行高清视频压缩和转码，可在不影响直播视频质量的情况下节省 25％ 的比特率。Twitch 在单个 FPGA 上实现了每秒 120 帧，相比 CPU 实现性能提升了 30 倍。