注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

行走的馒头

Stay Hungry, Stay Foolish

 
 
 

日志

 
 

十二、Supervised VS Unsupervised  

2012-10-08 22:59:49|  分类: 统计学习初探索 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

Supervised Learning

    前面各章中介绍的花样百出的supervised模型其实都有共同的特点,可简单描述如下:自变量和因变量都被看作是随机变量,我们要做的事情就是探索条件概率的一些性质。比如我们要寻找一个函数,这个函数的input是自变量的值,output是预测的因变量的值,下面可以看到其跟息息相关。损失函数可以表示为。那么expected prediction error就可以表示为

那么,根据上面的式子就可以表示为

如果损失函数为squared error loss,即,那么可以得到

如果损失函数为 loss,即,那么可以得到

    对于supervised learning,假定的具体形式(比如在最小二乘中假定),我们可以把数据分为training data和test data,用training data得到中的参数的值,用test data评价表现的好坏。这类模型之所以称之为supervised模型,是因为training data相当于一个老师在监督着的行为,耐心的教育着要好好学习,天天向上,不要走上那错误的不归路。

 

Unsupervised Learning

    在unsupervised learning中,只有一个随机变量了。同样的,有一些观察样本点,我们的目的就是用这些观察到的样本点探索的一些性质,比如估计本身。

想要估计,如果的维度,存在很多的方法比如Kernel Density Estimation等都可以有效地运用并且在图上直观的显示出来。但是由于维数灾难(curse of dimensionality),这些低维上的方法在高维空间上都不给力。

这时,像后面会提到的Principal Component Analysis, Multidimensional Scaling, Self-Organizing Maps, Principal Curves等方法都试图把高维的数据映射到低维的空间上,并在低维空间上从不同的角度尽量保持数据的一些特性。这种映射也可以从隐变量的角度来看待,在后面的Probabilistic PCA和Factor Analysis中会提及。而Cluster Analysis则是把X的取值空间划分为一些convex regions,用这些regions去代表。Association Rules则试图用一些简单的规则来描述在高维binary-valued数据下的high density区域。

明显的,不像supervised learning那样可以直接地评估结果的好坏,大多数unsupervised learning的结果难以评价,所以这个也导致了杂乱纷呈的各种评价指标。


  评论这张
 
阅读(1209)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017