以大语言模型为代表的AI技术，正面向公众竞相发布、迭代，进入金融、教育、医疗等一个个垂直领域，但运行动辄数十亿至数万亿参数规模的大语言模型需要庞大的计算资源和内存带宽，其构建和运营成本高昂。
无问芯穹正在布局云、边、端上的全领域大模型推理集群和推理加速，助力提升大模型应用在各行业中的经济效益。昨日，AMD中国宣布与无问芯穹达成战略合作，未来双方将密切合作推动商用AI应用的性能提高，并推进相关生态系统建设。
前些时日，无问芯穹实现了多个开源大模型在AMD MI210集群上训练与推理性能的大幅提升。如下图所示，包括OPT-6.7B、Llama2-7B等模型在内，相较于基线模型，部分测试模型在AMD MI210集群上实现了推理性能300%以上的提升。
无问芯穹在AMD MI210上decode阶段的推理加速
这一进展背后所应用的是无问芯穹算力能效优化工具的集合——Infini-ACC大模型计算优化引擎，深度应用了无问芯穹的“FlashDecoding++”核心优化技术。“FlashDecoding++”由无问芯穹、清华大学和上海交通大学的联合研究团队提出，核心思想是通过异步方法实现注意力计算的真正并行，并加速Decode 阶段的计算。
未来，无问芯穹还将继续与AMD中国依托互补优势、开展联合研发，并持续发布更多的工具链、库和指南，简化大模型应用开发和部署流程，为我们的客户提供更强的差异化竞争优势，加快建成我们的人工智能生态系统。
文章来源：无问芯穹
