From Bayes Theorem to Bayesian Inference: an Alternative Expression of Bayes Theorem

• 1. prior-distribution 先验分布
  • 解释：在观测到实验数据前，基于过往经验、理论假设预先设定的参数概率分布，代表我们在拿到数据前对未知参数的认知
• 2. likelihood-function 似然函数
  • 解释：固定观测数据，把参数当作变量的函数，用来衡量不同参数下生成当前这批观测样本的可能性大小
• 3. posterior-distribution 后验分布
  • 解释：结合先验分布与观测数据的似然函数，更新得到参数在已有数据条件下的概率分布，是贝叶斯推断最终得到的对参数的全新认知
• 共轭先验：

从一个简单的例子入手：

Q0:二项likelihood + Beta共轭prior 抛硬币案例

频率派（置信区间） / 贝叶斯派（贝叶斯推断）

属于数理统计里「频率派 vs 贝叶斯派」的经典对比应用题

正态gama 不考

泊松分布 in R 不考

Q2:Normal likelihood + Normal prior（完整规范步骤）

• 先验分布的概率密度函数，然后再代入先验分布的已知条件，比如均值、方差
  • 注意不带求和和积分符号，还有注意对于正态分布公式是（题目未知量-均值条件）/2方差

• likelihood先将题目的条件代入数据分布的概率密度函数（下面的公式然后再代入题目），再将其相乘或相加（取决于数据是离散还是连续）
  • 代入条件的概率密度函数
  • 然后装个样子写一下求和和积分符号的概率密度函数
  • 最后直接得到likelihood函数
• 注意带求和和积分符号，对于正态分布公式（观测数据 – 题目均值）/2方差

• 必须理解输出是一个什么样的分布，要不不知道化成什么样的结果

Q3:Poisson likelihood + Gamma prior = Gamma

根据Q1推导出来的结论：

证明过程

• 根据常见分布的期望公式

新题型：posterior predictive distribution

第一步：

为什么要算积分

• 符号说明：

• 新的posterior怎么来的

• k 是你想预测的新数据的具体值。后面题目问：P(X_{new}=2|data)，那k = 2

第二步

计算过程

Q5: 同Q3