产品中心
详细信息
IC693MDL645LT 第一个深度神经网络,其主要特点包括:
使用ReLU作为激活函数;
提出在全连接层使用Dropout避免过拟合。注:当BN提出后,Dropout就被BN替代了;
由于GPU显存太小,使用了两个GPU,做法是在通道上分组;。
使用局部响应归一化(Local Response Normalization --LRN),在生物中存在侧抑制现象,即被激活的神经元会抑制周围的神经元。在这里的目的是让局部响应值大的变得相对更大,并抑制其它响应值相对比较小的卷积核。例如,某特征在这一个卷积核中响应值比较大,则在其它相邻卷积核中响应值会被抑制,这样一来卷积核之间的相关性会变小。LRN结合ReLU,使得模型提高了一点多个百分点;
IC693MDL645LT
IC693MDL645LT