如何看待深度学习?

  • 谢丽

2015 年 12 月 17 日

话题:语言 & 开发架构机器学习深度学习

近来,深度学习成为一个流行词。有分析师认为,它会削弱现有机器学习方法的地位。实际上,深度学习并不是一个新概念,它是上世纪 90 年代就已经出现的人工神经网络(ANN)算法的一种扩展。由于 ANN 需要极大的数据集用于训练,所以被边缘化了。深度学习算法为 ANN 带来了新生,它会训练多层 ANN,而所需的数据比先前的预期要少。近日,数据科学家 Anubhav Srivastava撰文分享了一些有关深度学习的看法。

深度学习可以更好地通过增加数据集的规模来改善学习结果,这是人们需要这种算法的原因。在实际的解决方案中,深度学习更适合于未标记数据,而这超出了自然语言处理的范畴,后者更多限于实体识别。与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特征提取,它比其他工具更适合模式识别(图像、文本、音频)。

但是,深度学习并不会取代其他所有的机器学习算法。对于许多应用而言,一些简单点的算法(如逻辑回归、支持向量机)就已经足够。支持者之所以为深度学习而兴奋,一个基本的原因是,它是一种不同于线性或内核模型的元算法。这意味着,深度学习没有任何损失函数的特性,而且不受特定的公式限制,可以为科学家提供更大的灵活性。

有分析师认为,深度学习是最像大脑的算法,但 Anubhav 认为这种观点有些片面,并以Numenta为例进行了进一步的阐述。Numenta“皮质(cortical)”算法基于分级时序记忆(HTM)模型,而后者是在“稀疏分布记忆(sparse distributed memory)”概念的基础上发展而来,那是一种学习人类长期记忆的数学模型。皮质算法既可以从空间维度,也可以从时间维度进行特征提取,使它更像是大脑的仿制品。

有鉴于此,Anubhav 认为,目前围绕深度学习和 Numenta 的一些争论不甚合理。有种观点是,Numenta HTM 适合无监督学习,并将此视为其相对于深度学习算法的一个重大优势。还有一种观点是,Numenta 可以视为一种时间 - 内存需求更小的在线学习算法。Anubhav 指出,有一个很重要的事实被忽略了,就是深度学习是一个多层模型。在多数情况下,神经网络模型一次只能求解一种问题类型,面对多种问题类型时,就需要使用混合模型。在这方面,深度学习算法的多层模型是一个巨大的优势,即使 Numenta 也无法与其相比。


感谢杜小芳对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

语言 & 开发架构机器学习深度学习