8.贝叶斯统计推断

统计推断是从观测数据推断未知变量或未知模型的有关信息的过程

第 8 章和第 9 章旨在：

1. 评价统计学中两种主要方法 (贝叶斯统计推断和经典统计推断)的优缺点，区别，类似之处
2. 介绍统计推断的主要内容：参数估计，假设经验，显著性检验
3. 讨论统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验 \(\dots\)
4. 举例说明如何运用理论

概率论是建立在第 1 章公理的基础上的自我完善的数学课题；在概率推理中，我们总假设有一个完整的特定概率模型满足这些概率公理，然后运用数学方法对这个概率模型进行量化，以及回答感兴趣的问题；

统计学可以说统计学是艺术的一部分；对一个具体的问题，存在很多合理的方法，可得出不同的结论；判断一种方法优于其他方法可以考虑如下几个因素：性质优良，过去的经验，共同的观点，以及统计学家对一种特定方法解决一类特殊的问题方面形成的共识

在统计领域，有两种突出但对立的思想学派：贝叶斯学派和经典学派(也称频率学派)；它们之间最重要的区别就是如何看待未知模型或者变量

1. 贝叶斯方法主要是想将统计领域拉回到概率论的王国里，使得每个问题都只有唯一的答案；特别地，当人们欲对未知模型进行推断时，贝叶斯方法将该模型看成是随机地从已知的一类模型中选出来的；处理方法是引入随机变量 \(\Theta\) 来刻画该模型，然后构造一个先验概率分布 \(p_\Theta(\theta)\)，在已知数据 x 的情况下，人们原则上使用贝叶斯公式来推导后验概率分布 \(p_{\Theta|X}(\theta|x)\)，这样就抓住了 x 能提供关于 \(\theta\) 的所有信息
2. 经典统计方法将未知参数 \(\theta\) 视为常数，但是未知就需要估计；然后经典统计的目标就是提出参数 \(\theta\) 的估计方法，且保证具有一些性质；经典方法处理的不是一个概率模型，而是有多个待选的概率模型，每个标记为 \(\theta\) 的一个可能值

统计推断的应用主要有两种类型：模型推断和变量推断

1. 模型推断：研究的目标是物理现象或过程，基于得到的数据为这些物理现象或过程构造或者验证一个模型(比如行星运行的是否为椭圆轨道)；利用这样的模型就可以对未来进行预测，或者推知许多未知的原因
2. 变量推断：使用许多相关的，或者带有噪声的信息估计一个或者多个变量值（比如，若给定一些 GPS 的信息，那么我们现在的位置在什么地方）

注：在很多情况下，我们将不强调它们的区别，这是因为相同的方法可以同时使用在这两种类型的推断中

例（噪声信道）：发送端发送一串二进制信号 \(s_i\in\{0,1\}\)，接收端观测到 \(X_i=as_i+W_i\)（\(i=1..n\)），其中 \(W_i\) 是零均值的正态随机变量（反映信道的噪声），a 是实数（刻画信道的衰减率）

1. 在模型推断中，a 是未知的，发送端发送一组测试信号 \(s_1,\dots,s_n\) 是知道发送端发送的型号的；性质的任务是基于观测值 \(X_1,\dots,X_n\)，接收信号方欲估计 a 的值；这就是模型推断的任务：建立这个信道的模型
2. 在变量推断中，a 是假设已知的(可能是因为如上利用测试数据推断出来了，接收方观测到数据 \(X_1,\dots,X_n\) 的值；这就是变量推断的任务：确定 \(s_1,\dots,s_n\) 的值

1. 估计问题：模型完全确定，只是有一些未知的(可能是多维的)参数 \(\theta\) 需要去估计；参数可以看成是随机变量（贝叶斯方法），也可以看成是未知常数（经典方法）；通常的目标就是得到 \(\theta\) 的估计，使得它在某种意义上与真实值接近，如：
   1. 在例8.1噪声信道问题中，使用测试序列知识和观测值去估计 a
   2. 使用民意测验数据，估计一个选举地方内选民支持候选人 A，而反对候选人 B 的比例
   3. 基于股票市场历史数据,估计一个特定股票的价格每日走势的均值和方差
2. 二重假设检验问题：从两个假设出发，运用得到的数据去判断这两个中哪一个是正确的，如：
   1. 在例8.1噪声信道问题中，使用 a 的知识和 \(X_i\) 去判断 \(s_i\) 是 0 还是 1
   2. 给定一个带有噪声的图片, 判断图片中是否有人
   3. 给定有两种不同的医疗处理方法的临床实验数据,判断哪种疗法更有效
3. m 重假设检验：有 m 个对立的假设，判断一种方法的好坏的依据是该方法做出错误结论的概率大小

第 8 章重点讨论 贝叶斯估计问题，并讨论 假设检验问题

第 9 章讨论 经典估计问题，并讨论更广的 假设检验问题

（我们只是介绍性的讨论，远远不能满足实际中存在的统计推断问题的需要；为说明实际问题的广泛性，考虑具有形式 \(Y=g(X)+W\) 的模型，该模型涉及两个随机变量 X 和 Y，其中 W 是零均值噪声，g 是需要估计的未知函数；这类问题，未知目标(比如这里的函数 g )是不能表述为固定数目的参数，称为非参数统计推断问题，就不在本书考虑范围之内了）

1. 贝叶斯推断，后验分布