AlexNet

几种CNN网络结构及其资源使用

本文主要参考stanford课程CS231n-lecture7,对几种典型CNN网络结构(LeNet、AlexNet、ZFNet、VGGNet、ResNet)及其资源使用(主要针对权重个数、层间存储)进行统计与分析。

1、LeNet

图1-1 LeNet结构示意

图1-1 LeNet结构示意

表1 LeNet各层输入输出及资源使用

表1 LeNet各层输入输出及资源使用

CNN各种网络概述-从LeNet到AlexNet

演化脉络
下图所示CNN结构演化的历史,起点是神经认知机模型,已经出现了卷积结构,但是第一个CNN模型诞生于1989年,1998年诞生了LeNet。随着ReLU和dropout的提出,以及GPU和大数据带来的历史机遇,CNN在12年迎来了历史突破。12年之后,CNN的演化路径可以总结为四条:1)更深的网络,2)增强卷积模的功能以及上诉两种思路的融合,3)从分类到检测,4)增加新的功能模块。

演化脉络

开始-LeNet


1998年,LeCun提出LeNet,并成功应用于美国手写数字识别。但很快,CNN的锋芒被SVM和手工设计的局部特征盖过。

了解 Xilinx FPGA 如何通过深度学习图像分类示例来加速重要数据中心工作负载机器学习。该演示可通过 Alexnet 神经网络模型加速图像(从 ImageNet 获得)分类。它可通过开源框架 Caffe 实现,也可采用 Xilinx xDNN 库加速,从而可实现全面优化,为 8 位推理带来最高计算效率。

云中的机器学习:FPGA上的深度神经网络

作者:Nagesh Gupta 创始人兼 CEO Auviz Systems Nagesh@auvizsystems.com

凭借出色的性能和功耗指标,赛灵思 FPGA 成为设计人员构建卷积神经网络的首选。新的软件工具可简化实现工作。

人工智能正在经历一场变革,这要得益于机器学习的快速进步。在机器学习领域,人们正对一类名为“深度学习”算法产生浓厚的兴趣,因为这类算法具有出色的大数据集性能。在深度学习中,机器可以在监督或不受监督的方式下从大量数据中学习一项任务。大规模监督式学习已经在图像识别和语音识别等任务中取得巨大成功。

深度学习技术使用大量已知数据找到一组权重和偏差值,以匹配预期结果。这个过程被称为训练,并会产生大型模式。这激励工程师倾向于利用专用硬件(例如 GPU)进行训练和分类。

同步内容