深度神经网络是如何训练的？

Coursera的Ng机器学习，UFLDL都看过了。如果我没记错的话，公式是在Ng的机器学习里面直接给出的。虽然你可能知道怎么解，但即使不知道怎么完成作业也不是问题。按照公式走就行了。反正我看的时候也没看清楚。我觉得知道深度学习课程UFLDL-Ufldl挺好的。如果有习题，真的会对深度学习有更深的理解，但还是不是很清楚。后来看了李菲菲的《斯坦福大学CS 231N:视觉识别的对流神经网络》，感觉对CNN的理解有了很大的提高。静下心来推导公式，多思考，明白反向传播本质上是一个链式法则(虽然我之前就知道，当时还是很迷茫)。所有的梯度实际上都是从最终损失，也就是标量对矩阵或向量的导数推导出来的。当然，我也学到了很多关于cnn的知识。也建议你不仅要完成练习，还要自己写一篇cnn。这个过程可能会让你学到很多更细节的，被忽略的东西。这样的网络可以使用中间层来构建多层抽象，就像我们在布尔电路中所做的那样。比如我们在做视觉模式识别，第一层的神经元可能会学习识别边缘，第二层的神经元可能会在边缘的基础上学习识别更复杂的形状，比如三角形或者矩形。第三层将能够识别更复杂的形状。诸如此类。这些多层次的抽象似乎赋予了深度网络学习和解决复杂模式识别问题的能力。然后，如线的例子所见，有理论研究成果告诉我们，深网本质上比浅网更强大。