关于人工智能:使用高斯混合模型拆分多模态分布

本文介绍如何应用高斯混合模型将一维多模态散布拆分为多个散布。

高斯混合模型（Gaussian Mixture Models，简称 GMM）是一种在统计和机器学习畛域中罕用的概率模型，用于对简单数据分布进行建模和剖析。GMM 是一种生成模型，它假如观测数据是由多个高斯分布组合而成的，每个高斯分布称为一个重量，这些重量通过权重来管制其在数据中的奉献。

生成具备多模态散布的数据

当一个数据集显示出多个不同的峰值或模态时，通常会呈现显示出多个不同的峰值或模态，每个模态代表散布中一个突出的数据点簇或集中。这些模式能够看作是数据值更可能呈现的高密度区域。

咱们将应用 numpy 生成的一维数组。

 import numpy as np
 
 dist_1 = np.random.normal(10, 3, 1000)
 dist_2 = np.random.normal(30, 5, 4000)
 dist_3 = np.random.normal(45, 6, 500)
 
 multimodal_dist = np.concatenate((dist_1, dist_2, dist_3), axis=0)

让咱们把一维的数据分布形象化。

 import matplotlib.pyplot as plt
 import seaborn as sns
 sns.set_style('whitegrid')
 
 plt.hist(multimodal_dist, bins=50, alpha=0.5)
 plt.show()

应用高斯混合模型拆分多模态散布

上面咱们将通过应用高斯混合模型计算每个散布的均值和标准差，将多模态散布拆散回三个原始散布。高斯混合模型是一种可用于数据聚类的概率无监督模型。它应用冀望最大化算法预计密度区域。

 from sklearn.mixture import GaussianMixture
 
 gmm = GaussianMixture(n_components=3)
 gmm.fit(multimodal_dist.reshape(-1, 1))
 
 means = gmm.means_
 
 # Conver covariance into Standard Deviation
 standard_deviations = gmm.covariances_**0.5  
 
 # Useful when plotting the distributions later
 weights = gmm.weights_  
 
 
 print(f"Means: {means}, Standard Deviations: {standard_deviations}")
 
 #Means: [29.4, 10.0, 38.9], Standard Deviations: [4.6, 3.1, 7.9]

咱们曾经失去了均值和标准差，能够对原始散布进行建模。能够看到尽管平均值和标准差可能不完全正确，但它们提供了一个靠近的预计。

把咱们的预计和原始数据比拟一下。

 from scipy.stats import norm
 
 fig, axes = plt.subplots(nrows=3, ncols=1, sharex='col', figsize=(6.4, 7))
 
 for bins, dist in zip([14, 34, 26], [dist_1, dist_2, dist_3]):
     axes[0].hist(dist, bins=bins, alpha=0.5)
     
 axes[1].hist(multimodal_dist, bins=50, alpha=0.5)
 
 x = np.linspace(min(multimodal_dist), max(multimodal_dist), 100)
 
 for mean, covariance, weight in zip(means, standard_deviations, weights):
     pdf = weight*norm.pdf(x, mean, std)
     plt.plot(x.reshape(-1, 1), pdf.reshape(-1, 1), alpha=0.5)
 
 plt.show()

总结

高斯混合模型是一个弱小的工具，能够用来对简单的数据分布进行建模和剖析，同时也是许多机器学习算法的根底之一。它的利用范畴涵盖了多个畛域，可能解决各种数据建模和剖析的问题。

这种办法能够作为一种特色工程技术来预计输出变量内子散布的置信区间。

https://avoid.overfit.cn/post/2d68eddf58c04732a4826c6d6c2d1a50

作者：Adrian Evensen