小欣：这节课，罗恒老师会为我们讲解深度学习的门槛是否在降低。

罗恒：从我的角度和我的感觉来说：是的，应用深度学习的门槛是在降低，而且是在非常迅速的降低。

首先是开发的门槛现在基本消失了。像我刚开始做深度学习研究的时候，代码都要自己写。我是在Matlab下面做实验，有的时候如何使用Matlab也需要很多的技巧才能使得程序高效起来。而现在这些全部都不是问题了，当你需要应用深度学习的时候不需要了解各种算法实现的细节，也不需要担心性能的优化甚至不需要担心编程语言，像比如说MXnet、TensorFlow还有Paddlepaddle都能支持各种各样的语言的接口。你可以用你喜欢的语言做非常简单的高层的、高效的深度学习应用的开发，而把后面的优化、性能交给专家去考虑。

同时，深度学习是一个非常开放的学术圈。大家都非常乐意公开论文实验的代码，往往一篇论文一出来，谁都可以利用他的代码来完美的复现实验，迅速地站上巨人的肩膀。深度学习系统的开发的门槛现在已经基本消失了。

另外一个门槛过去网上讨论的也很多，就是所谓的调参。这个的门槛现在也在消失之中。深度学习曾经充满了各种各样的小技巧，为什么说是技巧呢？因为它从理论上讲不清，同时有时候有效、有时候没有效，而应用又往往需要依赖于使用者的经验。

当年一篇论文出来、一个新的结果出来，别人想复现都非常困难，因为这里面牵扯着不同的代码实现还有大量的超参数。有时候是作者有意回避、有时候也是限于论文的篇幅，很难事无巨细的把所有的实现的细节都讲进去，甚至有时候有些作者都没有意识到真正起作用的东西可能就是在他忽略的一些细节里面。如今随着一些Batch Normalization、Adam之类的新技术出现，训练神经网络变得非常的容易。

最近几年深度学习的一些进展比如说在ImageNet上的一些突破，其实就是在于一些新的网络结构的设计，而且在实践中大家也发现除了数据之外，一个合理的设计良好的网络往往能够带来很大的收益。这个情况现在也正在慢慢的改变，首先就是网络结构在慢慢的固定。

大家可以发现近一年来，已经没有太大的新的结构、新的突破出现了，基本上大家就会使用ResNet，表现的都很好而且似乎这些网络也都有一定的普适性。也就是说尽管这些网络都是针对ImageNet设计的，但是实际上在其他的一些数据集上、在其他一些视觉任务上表现的都不错。另外一个好处就是这些网络在各种的开源平台上都有实现，而且有相应的实验的结果，大家非常方便的可以拿来改造、复用。

小欣：下节课，罗恒老师会为我们讲解深度学习可能出现的新门槛。

【版权归钛媒体所有，未经许可不得转载】