当然也有人质疑,认为「胡克定律」在物理学上没有任何的地位,不是一个什么了不起的定律,大家看一看「开普勒定律」,这是了不起的贡献。「开普勒定律」讲的是什么?开普勒通过研究过去上千年天文学积累的数据,最后发现三个规律。举一个例子,说行星围绕太阳转动,实际轨迹是一个椭圆,他找到这个椭圆实际上不是精确吻合了这些数据,只是近似吻合,他为什么不找一个复杂的曲线完全吻合这个数据?开普勒在归纳这个数学规律的时候,背后也有一些非常奇妙的思想,并不是简简单单的观测这个数据。最后我们来看一看机器学习里经常见到的,学习一个分类器,我们可以用一个很简单的分类器,用光滑的曲线来表示,我也可以用一个非常复杂的分类器,用弯弯曲曲的线来表示。当大家观察到这幅图的时候,你觉得应该是简单的曲线,但是有一些分类误差比较好呢,还是复杂曲线,对于观测到的数据没有误差更好呢?作者: abc 时间: 2017-3-6 11:53
总结一下刚才几个例子里面,其实在通过学习模型和数据的时候,物理学家或者机器学习的学者是怎么样思考的,其实这早在 13 世纪威廉姆·奥卡姆就提出了一个哲学思想(奥卡姆剃刀理论),是用拉丁文写的。其实我对他的解释应该有一位更著名的科学家,有一段更著名的话,是对这句话进行最完美的解释「Everything should be made as simple as possible but no simpler」,这句话是爱因斯坦说的,意思是做理论的时候一定要尽可能的简单,但是你又不能过于简单。对应物理模型的时候一定要找到一些模型,允许存在一定的误差,但是又不能过于简单,如果过于简单,和你观测的数据误差太大也不行,奥卡姆剃刀的这一思想实际上是机器学习或者整个人类在获取科学知识的历程中,最核心、最本质的思想。