爱吧机器人网 » 技术 > 机器学习 > 正文

斯坦福大学机器学习笔记之成本函数

本文是斯坦福大学机器学习课程的2-2,2-3,2-4的学习笔记,主要是内容是成本函数以及成本函数的意义。
 
1.成本函数
 
如下图所示,在房价预测的案例中,我们得到了预测房价的目标函数,问题也转换成了为模型选择合适的参数θi,即θ0和θ1。
 
\
 
思路是通过选取不同的(θ0,θ1)使得hθ(x)更接近与y,就是hθ(x)和训练集的真实值的误差最小,当这个误差最小的时候,就是我们要的参数值。
 
\
 
通过这个思路,我们得到了一个关于(θ0,θ1)的函数,当这个函数取得最小值的时候,我们就找到了我们要的参数值。
 
\
 
代价函数也被称作平方误差函数,有时也被称为平方误差代价函数。对于大多数问题特别是回归问题,平方误差代价函数都是一个合理的选择。
 
2.代价函数的直观理解
 
我们要进一步解释代价函数 J(θ0,θ1) 的工作原理 ,并尝试更直观地解释它在计算什么,以及我们使用它的目的。为了更好的进行说明理解,我们先对问题进行简化,即设置θ0=0。
 
\
 
hθ(x)是一条穿过原点的直线,而成本函数则是一条曲线,当这条曲线取最小值得时候,得到最佳的hθ(x)。
 
\
 
3.代价函数的直观理解2
 
当我们不对问题进行简化,保留θ0的时候,问题会复杂一些,hθ(x)是一条不经过原点的直线。
 
\
 
对应的成本函数则是一个3D曲面图(弓形函数),θ0,θ1是平面上的两个坐标,而高度则是 J(θ0,θ1)的值。
 
\
 
不过为了使得问题更容易理解,可以使用等高线图来表示成本函数,两者是等价的。可以看出等高线最低点的取值,就是 J(θ0,θ1)的最小值,而此时是拟合训练数据最多的一条直线。
 
\
 
4.如何自动求解 J(θ0,θ1)最小值?
 
求得 J(θ0,θ1)的最小值,也就得到了最佳的(θ0,θ1)值,也就得到了最佳hθ(x)。不过在实际问题中,我们不可能把这些点画出来,然后用人工的方法来读出这些点的数值。我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序,自动的找出这些最小化代价函数的参数值。
 
最后,课程检测里看到一道思考题:如果存在J(θ0,θ1)=0,意味着什么呢?


上一篇:顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)
下一篇:【资源】15个在线机器学习课程和教程
精选推荐
2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

揭秘达芬奇手术机器人
揭秘达芬奇手术机器人

[2018-04-19]  达芬奇手术系统是由美国Intuitive Surgical公司制造的机器人手术系统。美国食品和药物管理局(FDA)于2000年通过该标准,旨在利用微创手段 ...

南加州大学机器人学家:机器人更适合粗暴的爱
南加州大学机器人学家:机器人更适合粗暴的爱

[2019-11-07]  图片来自JOHN MADERE GETTY IMAGES打是疼骂是爱,当人类粗暴的将物体从机器人手中敲掉,看似残忍,实际上却能帮助机器人找到最好的握持物 ...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

国外眼科手术机器人为视网膜静脉阻塞患者带来希望
国外眼科手术机器人为视网膜静脉阻塞患者带来希望

[2017-03-20]  视网膜静脉阻塞,简称RVO,对患者来说是一种严重的疾病。该病病因为视网膜静脉中存在血液凝块,这可能导致视力严重下降,在某些情况下,病 ...

这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

本周栏目热点

顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)

[2017-12-19]  NIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行...

机器学习选择深层模型的原因

[1970-01-01]   深度学习采用的模型为深层神经网络(Deep Neural Networks,DNN)模型,即包含多个隐藏层(Hidden Layer,也称隐含层)的神经网络(Ne ...

机器学习—自由编码器

[1970-01-01]   一种常见的深层模型是由自编码器(Auto-Encoder)构造的。自编码器可以利用一组无标签的训练数据{x(1), x(2), &hellip }(其中x(i)是一个n ...

【NIPS最佳论文出炉】冷扑大师能战胜AlphaZero吗?No(Science论文)

[2017-12-19]  拿下NIPS2017 最佳论文,登上Science,“冷扑大师”最近有点热。18日,两位作者,CMU博士生Noam Brown和Tuomas Sandholm教授在Reddit上回答问题。对“为什么不使用深度学习......

日本开发团队给机器人嵌入神经网络

[2016-08-18]    近日在日本国立科学博物馆展出的 机器人 Alter,可谓是目前世界上最为先进的机器人之一,因为它是一款嵌入了神经网络的机器人,来自日本 ...