关于数据挖掘:R语言中的block-Gibbs吉布斯采样贝叶斯多元线性回归附代码数据

全文链接：http://tecdat.cn/?p=11617

最近咱们被客户要求撰写对于block Gibbs吉布斯采样的钻研报告，包含一些图形和统计输入。

在这篇文章中，我将对多元线性回归应用block的Gibbs采样，得出block的Gibbs采样所需的条件后验散布。而后，对采样器进行编码，并应用模仿数据对其进行测试（ 点击文末“浏览原文”获取残缺代码数据）。

贝叶斯模型

假如咱们有一个样本量的主题。贝叶斯多元回归假如该向量是从多元正态分布中提取的，通过应用恒等矩阵，咱们假如独立的察看后果。

到目前为止，这与多元正态回归雷同。则将概率最大化可得出以下解：

贝叶斯模型是通过指定为一个先验散布失去。在此示例中，我将在以下状况下应用先验值

block Gibbs

在对采样器进行编码之前，咱们须要导出Gibbs采样器的每个参数的后验条件散布。

条件后验取更多的线性代数。

这是一个十分丑陋和直观的后果。条件后验的协方差矩阵是协方差矩阵的预计，

还要留神，条件后验是一个多元散布。因而，在Gibbs采样器的每次迭代中，咱们从后验绘制出一个残缺的矢量。

模仿

我模仿的后果向量。

运行 Gibbs采样器会生成对实在系数和方差参数的预计。运行了500,000次迭代。周期为100,000次，10次迭代。

以下是MCMC链的图，其中实在值用红线示意。

# 计算后验摘要统计信息post_dist %>%  group_by(para) %>%  summarise(median=median(draw),            lwr=quantile(.025),            upr=quantile(.975)) %>% # 合并汇总统计信息post_dist <- post_dist %>%  left_join(post_sum_stats, by='param') # 绘制MCMC链ggplot(post_dist,aes(x=iter,y=dra)) +  geom_line() +  geom_hline(aes(yintercept=true_vals))

这是修整后参数的后验散布：

点击题目查阅往期内容

Python用MCMC马尔科夫链蒙特卡洛、回绝抽样和Metropolis-Hastings采样算法

左右滑动查看更多

ggplot(post_dist,aes(x=draw)) +  geom_histogram(aes(x=draw),bins=50) +  geom_vline(aes(xintercept = true_vals))

仿佛可能取得这些参数的正当后验预计。为了确保贝叶斯预计器失常工作，我对1,000个模仿数据集反复了此过程。

这将产生1,000组后验均值和1,000组95％置信区间。均匀而言，这1000个后验均值应以实在值为核心。均匀而言，实在参数值应在95％的工夫的置信区间内。

以下是这些评估的摘要。

“预计平均值”列是所有1,000个模仿中的均匀后验平均值。偏差百分比均小于5％。对于所有参数，95％CI的覆盖率约为95％。

扩大

咱们能够对该模型进行许多扩大。例如，能够应用除正态分布外的其余散布来拟合不同类型的后果。例如，如果咱们有二元数据，则能够将其建模为：

而后在上放一个先验散布。这个想法将贝叶斯线性回归推广到贝叶斯GLM。

在本文中概述的线性状况下，能够更灵便地对协方差矩阵建模。相同，假如协方差矩阵是对角线且具备单个公共方差。这是多元线性回归中的同方差假如。如果数据是分类的（例如，每个受试者有多个察看后果），咱们能够应用反Wishart散布来建模整个协方差矩阵。

点击文末 “浏览原文”

获取全文残缺材料。

本文选自《R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归》。

点击题目查阅往期内容

Python用MCMC马尔科夫链蒙特卡洛、回绝抽样和Metropolis-Hastings采样算法
R语言贝叶斯METROPOLIS-HASTINGS GIBBS 吉布斯采样器预计变点指数分布剖析泊松过程车站等待时间
R语言马尔可夫MCMC中的METROPOLIS HASTINGS，MH算法抽样（采样）法可视化实例
python贝叶斯随机过程：马尔可夫链Markov-Chain，MC和Metropolis-Hastings，MH采样算法可视化
Python贝叶斯推断Metropolis-Hastings（M-H）MCMC采样算法的实现
Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
Matlab用BUGS马尔可夫区制转换Markov switching随机稳定率模型、序列蒙特卡罗SMC、M H采样剖析工夫序列R语言RSTAN MCMC：NUTS采样算法用LASSO 构建贝叶斯线性回归模型剖析职业声望数据
R语言BUGS序列蒙特卡罗SMC、马尔可夫转换随机稳定率SV模型、粒子滤波、Metropolis Hasting采样工夫序列剖析
R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
R语言贝叶斯MCMC：用rstan建设线性回归模型剖析汽车数据和可视化诊断
R语言贝叶斯MCMC：GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例
R语言贝叶斯Poisson泊松-正态分布模型剖析职业足球比赛进球数
R语言用Rcpp减速Metropolis-Hastings抽样预计贝叶斯逻辑回归模型的参数
R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
R语言中贝叶斯网络（BN）、动静贝叶斯网络、线性模型剖析错颌畸形数据
R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归
Python贝叶斯回归剖析住房累赘能力数据集
R语言实现贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归剖析
Python用PyMC3实现贝叶斯线性回归模型
R语言用WinBUGS 软件对学术能力测验建设档次（分层）贝叶斯模型
R语言Gibbs抽样的贝叶斯简略线性回归仿真剖析
R语言和STAN,JAGS：用RSTAN,RJAG建设贝叶斯多元线性回归预测选举数据
R语言基于copula的贝叶斯分层混合模型的诊断准确性钻研
R语言贝叶斯线性回归和多元线性回归构建工资预测模型
R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例
R语言stan进行基于贝叶斯推断的回归模型
R语言中RStan贝叶斯层次模型剖析示例
R语言应用Metropolis-Hastings采样算法自适应贝叶斯预计与可视化
R语言随机搜寻变量抉择SSVS预计贝叶斯向量自回归（BVAR）模型
WinBUGS对多元随机稳定率模型：贝叶斯预计与模型比拟
R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样
R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例
R语言应用Metropolis-Hastings采样算法自适应贝叶斯预计与可视化
视频：R语言中的Stan概率编程MCMC采样的贝叶斯模型
R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯预计