爱吧机器人网 » 技术 > 机器学习 > 正文

斯坦福大学机器学习笔记之成本函数

本文是斯坦福大学机器学习课程的2-2,2-3,2-4的学习笔记,主要是内容是成本函数以及成本函数的意义。
 
1.成本函数
 
如下图所示,在房价预测的案例中,我们得到了预测房价的目标函数,问题也转换成了为模型选择合适的参数θi,即θ0和θ1。
 
\
 
思路是通过选取不同的(θ0,θ1)使得hθ(x)更接近与y,就是hθ(x)和训练集的真实值的误差最小,当这个误差最小的时候,就是我们要的参数值。
 
\
 
通过这个思路,我们得到了一个关于(θ0,θ1)的函数,当这个函数取得最小值的时候,我们就找到了我们要的参数值。
 
\
 
代价函数也被称作平方误差函数,有时也被称为平方误差代价函数。对于大多数问题特别是回归问题,平方误差代价函数都是一个合理的选择。
 
2.代价函数的直观理解
 
我们要进一步解释代价函数 J(θ0,θ1) 的工作原理 ,并尝试更直观地解释它在计算什么,以及我们使用它的目的。为了更好的进行说明理解,我们先对问题进行简化,即设置θ0=0。
 
\
 
hθ(x)是一条穿过原点的直线,而成本函数则是一条曲线,当这条曲线取最小值得时候,得到最佳的hθ(x)。
 
\
 
3.代价函数的直观理解2
 
当我们不对问题进行简化,保留θ0的时候,问题会复杂一些,hθ(x)是一条不经过原点的直线。
 
\
 
对应的成本函数则是一个3D曲面图(弓形函数),θ0,θ1是平面上的两个坐标,而高度则是 J(θ0,θ1)的值。
 
\
 
不过为了使得问题更容易理解,可以使用等高线图来表示成本函数,两者是等价的。可以看出等高线最低点的取值,就是 J(θ0,θ1)的最小值,而此时是拟合训练数据最多的一条直线。
 
\
 
4.如何自动求解 J(θ0,θ1)最小值?
 
求得 J(θ0,θ1)的最小值,也就得到了最佳的(θ0,θ1)值,也就得到了最佳hθ(x)。不过在实际问题中,我们不可能把这些点画出来,然后用人工的方法来读出这些点的数值。我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序,自动的找出这些最小化代价函数的参数值。
 
最后,课程检测里看到一道思考题:如果存在J(θ0,θ1)=0,意味着什么呢?


上一篇:顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)
下一篇:【资源】15个在线机器学习课程和教程
精选推荐
Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

受大脑控制的机器人
受大脑控制的机器人

[2017-03-21]   想让机器人做我们想做的,首先,他得全面地了解我们。通常,这就意味着人类需要要付出更多。比如,教机器人复杂的人类语言或者把一项任务 ...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

全自动膝关节置换手术机器人被美国FDA批准上市
全自动膝关节置换手术机器人被美国FDA批准上市

[2019-10-14]  美国Think Surgical公司已获得美国食品和药物管理局(FDA)的批准,在美国销售用于全膝关节置换(TKA)的TSolution One®全膝关节应用 ...

农业将为高科技行业 农业机器人的应用领域
农业将为高科技行业 农业机器人的应用领域

[2017-12-17]  农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的机器人和自动化技术的发展。...

英国首台月球车是个小型四腿机器人 将于2021年登月
英国首台月球车是个小型四腿机器人 将于2021年登月

[2019-10-12]  探测器将用四条腿探测月球表面,并将数据传回着陆器,后者将把数据传回地球图 詹姆斯温斯皮尔英国即将成为继美国、俄罗斯、中国之后的又一 ...

英伟达用联合学习创建医学影像AI 可共享数据和保护隐私
英伟达用联合学习创建医学影像AI 可共享数据和保护隐私

[2019-10-14]  英伟达(Nvidia)和伦敦国王学院(King’s College London)的人工智能研究人员利用联合学习训练了一种用于脑肿瘤分类的神经网络, ...

本周栏目热点

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......

机器人是怎么深度学习的?

[2016-03-29]      一个人独处时,感觉有点孤单,怎么办?微软亚洲研究院推出的微软小冰,或许 ...