数据挖掘之贝叶斯

By admin in 科技中心 on 2019年4月23日

倒计时8**天**

3. 贝叶斯分类器

澳门金沙30064在线网站 1

澳门金沙30064在线网站 2

澳门金沙30064在线网站 3

澳门金沙30064在线网站 4

实质上,它是错误分类(misclassication)或错误率(
error
rate)的概念。对于一个完美的假设,它是很短的,在极限情况下它为零。对于一个不能完美匹配数据的假设,它往往很长。

贝叶斯推理

贝叶斯法则

朴素贝叶斯分类器

应用:文本分类

其他杰出人物响应了类似的原则。

2. 贝叶斯法则

2.1 基本术语

D :训练数据;

H : 假设空间;

h : 假设;

P(h):假设h的先验概率(Prior Probability)

        即没有训练数据前假设h拥有的初始概率

P(D):训练数据的先验概率

        即在没有确定某一假设成立时D的概率

P(D|h):似然度,在假设h成立的情况下,观察到D的概率;

P(h|D):后验概率,给定训练数据D时h成立的概率;

2.2 贝叶斯定理(条件概率的应用)

澳门金沙30064在线网站 5

公式

        后验概率正比于P(h)和P(D|h)

        反比于P(D):D独立于h出现的概率越大,则D对h的支持度越小

2.3 相关概念

极大后验假设MAP:给定数据D和H中假设的先验概率,具有最大后验概率的假设h:

澳门金沙30064在线网站 6

计算公式

极大似然假设ML:当H中的假设具有相同的先验概率时,给定h,使P(D|h)最大的假设hml:

澳门金沙30064在线网站 7

计算公式

因此,Length(D |
h)简洁地表达了“数据与给定假设的匹配程度”这个概念。

1. 贝叶斯推理

–提供了推理的一种概率手段

–两个基本假设:

(1)待考察的量遵循某概率分布

(2)可根据这些概率以及观察到的数据进行推理,以作作出最优的决策

–贝叶斯推理对机器学习十分重要:

        为衡量多个假设的置信度提供了定量的方法

        为直接操作概率的学习算法提供了基础

        为其他算法的分析提供了理论框架

–机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设

        最佳假设:
在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设

–概率学习系统的一般框架

澳门金沙30064在线网站 8

罗素说:“只要有可能,用已知实体的结构去替代未知实体的推论。”

4. 文本分类

算法描述:

澳门金沙30064在线网站 9

澳门金沙30064在线网站 10

将所有这些结合起来

我们真正得出的结论是什么?

原文链接:

Thomas Bayes

香农在MIT电子工程系完成的硕士论文被誉为20世纪最重要的硕士论文:在这篇论文中,22岁的香农展示了如何使用继电器和开关的电子电路实现19世纪数学家乔治布尔(George
Boole)的逻辑代数。数字计算机设计的最基本的特征——将“真”和“假”、“0”和“1”表示为打开或关闭的开关,以及使用电子逻辑门来做决策和执行算术——可以追溯到香农论文中的见解。

不过,我在这段话的最后一句话里耍了个小花招。你注意了吗?我提到了一个词“假设”。

我们从最小描述长度(MDL)原理的分析中得出什么结论?

Length (h): 奥卡姆剃刀

牛顿说:“解释自然界的一切,应该追求使用最少的原理。”

倒计时 8

返回搜狐,查看更多

而且,存在着权衡。

对于实际的机器学习,人类设计者有时可能更容易指定一种表示来获取关于假设的相对概率的知识,而不是完全指定每个假设的概率。

这就是为什么你不需要记住所有可能的加速度数字,你只需要相信一个简洁的假设,即F=ma,并相信所有你需要的数字都可以在必要时从这个假设中计算出来。它使得Length(D
| h) 非常小。

澳门金沙30064在线网站 11

如果要描述克劳德·香农的天才和奇特的一生,长篇大论也说不完。香农几乎是单枪匹马地奠定了信息论的基础,引领我们进入了现代高速通信和信息交流的时代。

Why Machine Learning Works:

总结和思考

人们总是喜欢更短的假设。

我们从托马斯·贝叶斯(Thomas
Bayes)说起,顺便一提,他从未发表过关于如何做统计推理的想法,但后来却因“贝叶斯定理澳门金沙30064在线网站,”而不朽。

  • 线性模型的模型复杂度——选择多项式的程度,如何减少平方和残差。
  • 神经网络架构的选择——如何不公开训练数据,达到良好的验证精度,并且减少分类错误。
  • 支持向量机正则化和kernel选择——软边界与硬边界之间的平衡,即用决策边界非线性来平衡精度

那么我们需要一个关于假设的长度的例子吗?

澳门金沙30064在线网站 12

直观地说,它与假设的正确性或表示能力有关。给定一个假设,它支配着数据的“推断”能力。如果假设很好地生成了数据,并且我们可以无错误地测量数据,那么我们就根本不需要数据。

因此,让我们尝试用不同的符号重新定义贝叶斯定理——用与数据科学相关的符号。我们用D表示数据,用h表示假设,这意味着我们使用贝叶斯定理的公式来尝试确定数据来自什么假设,给定数据。我们把定理重新写成:

  • 最大化对于对数与原始函数的作用类似,即采用对数不会改变最大化问题
  • 乘积的对数是各个对数的总和
  • 一个量的最大化等于负数量的最小化

让我们剥茧抽丝,看看这个术语多么有用……

听起来十分简单而且直观是吧?很好。

然而,为了表明我们有这样一个表示,我们必须知道所有先验概率P(h),以及P(D
|
h)。没有理由相信MDL假设相对于假设和错误/错误分类的任意编码应该是首选。

想想它的结果:

【新智元导读】当贝叶斯、奥卡姆和香农一起给机器学习下定义,将统计学、信息理论和自然哲学的一些核心概念结合起来,我们便会会发现,可以对监督机器学习的基本限制和目标进行深刻而简洁的描述。

香农和信息熵

原标题:当贝叶斯,奥卡姆和香农一起来定义机器学习

澳门金沙30064在线网站 13

澳门金沙30064在线网站 14

澳门金沙30064在线网站 15

现在,一般来说,我们有一个很大的(通常是无限的)假设空间,也就是说,有许多假设可供选择。贝叶斯推理的本质是,我们想要检验数据以最大化一个假设的概率,这个假设最有可能产生观察数据(observed
data)。我们一般想要确定P(h|D)的argmax,也就是想知道哪个h的情况下,观察到的D是最有可能的。为了达到这个目的,我们可以把这个项放到分母P(D)中,因为它不依赖于假设。这个方案就是最大后验概率估计(maximum a posteriori,MAP)。

奥卡姆的威廉(William of
Ockham,约1287-1347)是一位英国圣方济会修士和神学家,也是一位有影响力的中世纪哲学家。他作为一个伟大的逻辑学家而享有盛名,名声来自他的被称为奥卡姆剃刀的格言。剃刀一词指的是通过“剔除”不必要的假设或分割两个相似的结论来区分两个假设。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 澳门金沙30064在线网站 版权所有