如何用最通俗语言讲解神经网络中的“卷积”?

时事网编2023-03-11 15:522220

古典的神经网络一般都是全连接的,也就是,每个输出节点都取决于输入数据的所有纬度,公式化为:

output=relu(W*X+B)

其中relu是一种激活函数,W是权重参数,B是偏移。

通过多个这样的全连接层堆叠,来提高网络模型的表达力。

但是问题来了!一张300×300的RGB图像输入纬度是27万维!如果用全连接,参数矩阵W就太大了!更何况还得堆叠很多层!(一般来说,层数越多,表达能力越强,这是深度学习兴起的原因)

所以就想出了个退而求其次的方式:27万维的数据不全部连接,只连接一小块区域的值(比如3×3的卷积核只连接3×3区域的27个值(输入通道为三))。

因为卷积和池化会不断的融合近邻区域的信息,所以通过多次堆叠卷积层和池化层,最终得到高层的大区域的特征。

总结来说,卷积是一种妥协。卷积类似人大代表制,通过不断选出各层人大代表,最终选到国家领袖。而传统的全连接网络相当于普选,人手一票,只不过为个人的票重要程度不一样。

评论区