深度学习的一些见解

如今所有的深度学习技术找到的局部最优解和全局最优解的loss都差距不大，所以不用担心陷入局部最优解的问题。我们在训练时，因为参数量非常大，所以几乎不可能 陷入局部最优，但是很大可能会遇到saddle point

还有一些假说：比如只要你的network足够大，我们总可以通过gradient descent找到 global optimal，而无视initial weight