乐趣区

关于机器学习:机器学习PCA

jiezi
前言

PCA（Principal Component Analysis）是一种罕用的数据降维办法，它的次要思维是将高维数据降维到一个低维空间，同时保留尽可能多的原始数据的信息。

定义

PCA (Principal Component Analysis) 是一种罕用的数据降维算法，用于对高维数据进行降维和特征提取。它的次要思维是通过对数据的协方差矩阵进行特征值合成，抉择前 k 个特征值最大的特征向量作为新的主成分，将原始数据投影到主成分空间，从而实现数据降维。

PCA 罕用于数据降维、数据可视化、数据压缩等场景，其特点是能够无效的升高数据维度，保留数据的次要特色。

PCA 步骤
  1. 中心化：将数据的每一个特色列减去该列的平均值，使得每一个特色的均值为 0。
  2. 协方差：计算样本的协方差矩阵，该矩阵示意各个特色之间的关系。
  3. 特征分析：对协方差矩阵进行特征分析，失去特征值和特征向量。特征向量示意了新的坐标轴的方向，特征值示意了新坐标轴的方差。
  4. 降维：抉择特征值较大的特征向量，结构新的坐标系，将原始数据投影到新的坐标系上，从而达到降维的目标。

​ 这些步骤通过计算的过程能够失去一个主成分的矩阵，该矩阵的列示意了新的坐标轴，行示意了每一个样本在新坐标系上的坐标。

​ PCA 算法的一个重要长处是能够无效的升高数据的维度，升高数据的维数对于升高算法的复杂度和防止过拟合都有很重

PCA 长处
  1. 简化数据：PCA 能够无效的升高数据的维度，简化数据，便于后续数据分析。
  2. 缩小噪声：PCA 能够把噪声数据升高到最小，进步数据的品质。
  3. 可视化：PCA 能够将高维数据映射到二维或三维空间，便于人眼察看和可视化。
  4. 去冗余：PCA 能够打消数据中的冗余信息，只保留次要信息。
PCA 毛病
  1. 信息损失：PCA 为了升高数据的维度，可能会导致肯定的信息损失。
  2. 难以解释：PCA 降维后的数据维度和特色很难被人类间接了解和解释。
  3. 不适用于非线性数据：PCA 实用于线性数据，对于非线性数据，PCA 可能不能失去现实的后果。

所以在应用 PCA 时，要依据你的理论状况权衡利弊，联合其余算法一起应用

代码 
import numpy as np

# 应用这段代码能够实现将原始数据降维至指定的维数，并返回降维后的数据

def PCA(X, k=None):
    """
    X: m x n 的数据矩阵，m 示意样本数量，n 示意每个样本的特色数
    k: 须要保留的主成分数量，如果不指定，则保留所有的主成分
    """
    # 对样本进行中心化
    X_mean = np.mean(X, axis=0)
    X = X - X_mean

    # 计算协方差矩阵
    cov_matrix = np.cov(X.T)

    # 计算协方差矩阵的特征值和特征向量
    eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)

    # 对特征值进行排序，从大到小
    eigenvalues_sorted_index = np.argsort(eigenvalues)[::-1]
    eigenvalues = eigenvalues[eigenvalues_sorted_index]
    eigenvectors = eigenvectors[:, eigenvalues_sorted_index]

    # 依据 k 的值抉择保留的主成分数量
    if k is not None:
        eigenvalues = eigenvalues[:k]
        eigenvectors = eigenvectors[:, :k]

    # 计算降维后的数据
    transformed_X = np.dot(X, eigenvectors)

    return transformed_X
退出移动版