如何理解并区分“符号学习”、“统计学习”、“深度学习”和“机器学习”?

“深度学习”和“机器学习”二者我能基本理解,主要想知道“符号学习”、“统计学习”和“深度学习”和“机器学习”的理解和区分。 在书上曾看过: 1. “在…
关注者
73
被浏览
54,305

7 个回答

个人见解,不保证完全正确。

首先机器学习是人工智能的一个分支,即实现人工智能的一个手段。机器学习的主要思想是让机器自己去学习所需要的知识。

人工智能领域有三大学派:符号主义,连接主义,行为主义。

符号主义认为智能的基本元是符号,智能活动是符号推理或符号计算过程,人脑在本质上就是一个物理符号系统,这种方式注重于模拟人的思维方式,20世纪80年代机器学习基本理论基本形成,基于符号主义发展而来的机器学习方式被称为符号学习方式。

连接主义认为智能的基本单元为神经元,智能活动是神经元之间连接活动过程,这种方式注重于模拟人的生理结构,基于连接主义发展而来的机器学习方式被称为连接学习方式。2006年至今,由于数据量以及运算力的增长,实现深层神经网络的训练称为可能,而这种模型为深层神经网络的学习方式被称为深度学习,即深度学习为连接学习的一个分支。

统计学习由符号学习发展而来,根据符号学习的学习策略可将其分为 记忆学习 演绎学习 归纳学习 三种方式,其中归纳学习则是指以归纳推理为基础的学习方式,这种学习方式试图从具体实例当中寻找一般规律,统计学习认为这些具体实例满足一定统计学规律,例如独立同分布,但统计学习的诸多理论都来源于统计学研究,例如VC维理论、核方法等等,因此个人认为统计学习独立于符号学习和连接学习,是机器学习的一大类方法。

综上,机器学习、符号学习、统计学习、深度学习之间的关系如下图

符号学习和统计学习和深度学习是三个对应的概念,粗略的说你可以把它们看做机器学习的三个流派。机器学习是一个更大的概念。你可以参考

在这个页面里你会发现神经网络大牛和贝叶斯大牛们属于两个学派。现在机器学习还在快速发展,学派之间的分界并不那么鲜明,很多东西也可以互相解释,所以细究派系是比较困难的。

关于符号学习和统计学习的区别,你可以参考一下李开复博士的故事。