爱吧机器人网 » 技术 > 机器学习 > 正文

斯坦福大学机器学习笔记之成本函数

本文是斯坦福大学机器学习课程的2-2,2-3,2-4的学习笔记,主要是内容是成本函数以及成本函数的意义。
 
1.成本函数
 
如下图所示,在房价预测的案例中,我们得到了预测房价的目标函数,问题也转换成了为模型选择合适的参数θi,即θ0和θ1。
 
\
 
思路是通过选取不同的(θ0,θ1)使得hθ(x)更接近与y,就是hθ(x)和训练集的真实值的误差最小,当这个误差最小的时候,就是我们要的参数值。
 
\
 
通过这个思路,我们得到了一个关于(θ0,θ1)的函数,当这个函数取得最小值的时候,我们就找到了我们要的参数值。
 
\
 
代价函数也被称作平方误差函数,有时也被称为平方误差代价函数。对于大多数问题特别是回归问题,平方误差代价函数都是一个合理的选择。
 
2.代价函数的直观理解
 
我们要进一步解释代价函数 J(θ0,θ1) 的工作原理 ,并尝试更直观地解释它在计算什么,以及我们使用它的目的。为了更好的进行说明理解,我们先对问题进行简化,即设置θ0=0。
 
\
 
hθ(x)是一条穿过原点的直线,而成本函数则是一条曲线,当这条曲线取最小值得时候,得到最佳的hθ(x)。
 
\
 
3.代价函数的直观理解2
 
当我们不对问题进行简化,保留θ0的时候,问题会复杂一些,hθ(x)是一条不经过原点的直线。
 
\
 
对应的成本函数则是一个3D曲面图(弓形函数),θ0,θ1是平面上的两个坐标,而高度则是 J(θ0,θ1)的值。
 
\
 
不过为了使得问题更容易理解,可以使用等高线图来表示成本函数,两者是等价的。可以看出等高线最低点的取值,就是 J(θ0,θ1)的最小值,而此时是拟合训练数据最多的一条直线。
 
\
 
4.如何自动求解 J(θ0,θ1)最小值?
 
求得 J(θ0,θ1)的最小值,也就得到了最佳的(θ0,θ1)值,也就得到了最佳hθ(x)。不过在实际问题中,我们不可能把这些点画出来,然后用人工的方法来读出这些点的数值。我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序,自动的找出这些最小化代价函数的参数值。
 
最后,课程检测里看到一道思考题:如果存在J(θ0,θ1)=0,意味着什么呢?


上一篇:顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)
下一篇:【资源】15个在线机器学习课程和教程
精选推荐
国外眼科手术机器人为视网膜静脉阻塞患者带来希望
国外眼科手术机器人为视网膜静脉阻塞患者带来希望

[2017-03-20]  视网膜静脉阻塞,简称RVO,对患者来说是一种严重的疾病。该病病因为视网膜静脉中存在血液凝块,这可能导致视力严重下降,在某些情况下,病 ...

一个让深度学习惨败的通用人工智能领域——语境处理
一个让深度学习惨败的通用人工智能领域——语境处理

[2019-11-04]  Context是指用来解释一段给定文本或语句的来源框架,我们可以翻译为上下文或语境。维基百科将context定义为:*在符号学、语言学、社会学和 ...

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群
麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群

[2019-10-31]  几天前,小编向大家介绍过麻省理工(MIT)研发的一种自组装机器人集群(点此阅览),它们可以用统一标准的小单元自动组装出各种大型结构。 ...

2022年全球工业机器人市场将达到790亿美元
2022年全球工业机器人市场将达到790亿美元

[2017-09-04]  预计到 2022年, 全球工业机器人市场将达到790亿美元, 并在预测期内登记11 5% 的复合年增长率。随着发展中国家中小型企业需求的不断增长, 采用自动化技术以确保生产质量......

深度神经网络揭示了大脑喜欢看什么
深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味

[2019-11-09]  本周,在麻省理工学院10号楼外草坪上展开了一场别开生面的足球比赛。在绿草如茵的基利安球场上,一群由人工智能驱动的机器人就是这场比赛的 ...

本周栏目热点

关于应用机器学习作为搜索问题的入门简介

[2018-01-03]  机器学习的应用可以理解为一个搜索问题,即根据某个项目的已知信息和可获取的资源,找到从输入到输出的最好的映射。在本文你即将看到把应用机器学习当作搜索问题的概念...

[2017-03-02]   随着人工智能的不断发展,许多新的机器学习技术、架构和算法被提出,但这里有三个宏观趋势,将成为机器学习中,游戏规则的改变者。 机 ...

顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)

[2017-12-19]  NIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行...

机器学习之——正则化

[2018-05-18]  最近在刷李航的《统计学习方法》这本书,在很多算法的损失函数里,都出现类似的描述:损失函数最小化原则一般就是用正则化的极大似然估计进 ...

机器学习算法可预测出乳腺癌治疗率(图)

[1970-01-01]    据外媒报道,患有同种疾病的不同病人在接受同一种治疗方案时,其获得的疗效也会存在不同,这就给医生留下了一个难题:他们怎样才能知道 ...