LeNet

几种CNN网络结构及其资源使用

本文主要参考stanford课程CS231n-lecture7,对几种典型CNN网络结构(LeNet、AlexNet、ZFNet、VGGNet、ResNet)及其资源使用(主要针对权重个数、层间存储)进行统计与分析。

1、LeNet

图1-1 LeNet结构示意

图1-1 LeNet结构示意

表1 LeNet各层输入输出及资源使用

表1 LeNet各层输入输出及资源使用

CNN各种网络概述-从LeNet到AlexNet

演化脉络
下图所示CNN结构演化的历史,起点是神经认知机模型,已经出现了卷积结构,但是第一个CNN模型诞生于1989年,1998年诞生了LeNet。随着ReLU和dropout的提出,以及GPU和大数据带来的历史机遇,CNN在12年迎来了历史突破。12年之后,CNN的演化路径可以总结为四条:1)更深的网络,2)增强卷积模的功能以及上诉两种思路的融合,3)从分类到检测,4)增加新的功能模块。

演化脉络

开始-LeNet


1998年,LeCun提出LeNet,并成功应用于美国手写数字识别。但很快,CNN的锋芒被SVM和手工设计的局部特征盖过。

卷积神经网络CNN架构分析 - LeNet

作者:Sanjay Chan [http://blog.csdn.net/chenzomi]

背景

之前在网上搜索了好多好多关于CNN的文章,由于网络上的文章很多断章取义或者描述不清晰,看了很多youtobe上面的教学视频还是没有弄懂,最后经过痛苦漫长的煎熬之后对于神经网络和卷积有了粗浅的了解。

于是在这里记录下所学到的知识,关于CNN 卷积神经网络,需要总结深入的知识有很多:

  • 人工神经网络 ANN
  • 卷积神经网络 CNN
  • 卷积神经网络 CNN - BP算法
  • 卷积神经网络 CNN - caffe应用
  • 卷积神经网络 CNN - LetNet分析
  • LetNet网络

    下图是一个经典的CNN结构,称为LeNet-5网络

    输入层
    输入为一个32*32大小的黑白图像

    同步内容