关于机器学习:机器学习数据清洗之处理缺失点

<article class=“article fmt article-content”><blockquote>个人主页：[甘甜的江] 欢送点赞✍评论⭐珍藏 收录专栏：[机器学习] 心愿本文对您有所裨益，如有不足之处，欢送在评论区提出斧正，让咱们独特学习、交换提高！</blockquote>引言:<blockquote>在机器学习畛域，数据被宽泛认为是驱动模型性能的要害。然而，在真实世界的数据中，缺失值是一个不可避免的问题，可能来自于测量谬误、系统故障或其余未知因素。正确而无效地解决这些缺失值对于确保数据品质和模型的准确性至关重要。本文将深入探讨数据荡涤中一项要害工作：解决缺失点。咱们将介绍不同的办法，涵盖从删除缺失值到插值法和填充法的多个层面，以帮忙您更好地了解在不同场景下如何解决缺失值。</blockquote><h2>一删除缺失值：</h2>在数据荡涤过程中，解决缺失值的办法之一是删除缺失值。这种办法实用于缺失值数量较少或者缺失值对于剖析工作的影响较小的状况。以下是具体介绍删除缺失值的办法：<h3>1.1 删除行：</h3>最简略的办法是间接删除蕴含缺失值的行。这种办法实用于数据集中缺失值较少，删除缺失值后依然保留足够的数据用于剖析的状况。示例代码：<pre><code class=“python”>import pandas as pd# 创立一个示例DataFramedata = pd.DataFrame({‘A’: [1, 2, None, 4], ‘B’: [None, 5, 6, 7]})# 删除蕴含缺失值的行cleaned_data = data.dropna()print(cleaned_data)</code></pre><h3>1.2 删除列：</h3>如果某一列缺失值过多或者对剖析工作没有奉献，能够抉择删除该列。 示例代码：<pre><code class=“python”># 删除蕴含缺失值的列cleaned_data = data.dropna(axis=1)print(cleaned_data)</code></pre><h3>1.3 阈值删除：</h3>设置阈值，如果某一行或者列中的缺失值数量超过阈值，则删除该行或者列。 示例代码：<pre><code class=“python”># 设置阈值，删除超过阈值的行或者列threshold = 2 # 设置阈值为2cleaned_data = data.dropna(thresh=threshold)print(cleaned_data)</code></pre><h3>1.4条件删除：</h3>依据特定条件，删除蕴含缺失值的行或者列。 示例代码：<pre><code class=“python”># 依据条件删除缺失值cleaned_data = data.dropna(subset=[‘A’]) # 删除’A’列中的缺失值所在的行print(cleaned_data)</code></pre><h3>1.5 特定列删除：</h3>如果只对特定列感兴趣，能够仅删除这些列中蕴含缺失值的行。示例代码：<pre><code class=“python”># 对特定列删除缺失值cleaned_data = data.dropna(subset=[‘B’]) # 删除’B’列中的缺失值所在的行print(cleaned_data)</code></pre><blockquote>在理论利用中，抉择何种办法取决于数据集的特色、剖析工作以及缺失值的散布状况。须要审慎思考删除缺失值可能带来的信息损失，并依据具体情况抉择适合的办法。</blockquote><h2>二插值法</h2>在数据荡涤中，解决缺失值的一种常见办法是应用插值法。插值是通过已知数据点的信息来预计未知点的值。这种办法对于连续型数据的缺失值填充尤其有用。以下是一些常见的插值办法：<h3>2.1 线性插值：</h3>概念： 线性插值假如变量之间的关系是线性的。<blockquote>对于缺失值，能够通过已知的相邻数据点之间的线性关系来进行预计。</blockquote>实现： 常见的线性插值办法包含一次线性插值和二次线性插值。<blockquote>在一次线性插值中，缺失值被估算为其相邻两个已知值的平均值。在二次线性插值中，利用相邻三个已知值构建二次方程，从而进行估算。</blockquote><h3>2.2 多项式插值：</h3>概念： 多项式插值通过应用更高阶的多项式来适应已知数据点。<blockquote>这能够更精确地拟合数据，但也容易引入过拟合。</blockquote>实现： 常见的多项式插值办法包含拉格朗日插值和牛顿插值。<blockquote>这些办法应用已知数据点构建多项式，而后通过多项式来预计缺失值。</blockquote><h3>2.3 样条插值：</h3>概念： 样条插值应用分段函数（通常是三次样条）来迫近已知数据。<blockquote>这种办法更平滑，防止了多项式插值的过拟合问题。</blockquote>实现：三次样条插值是一种常见的办法，将整个数据集拟合成一组三次多项式，并保障在连接点处平滑过渡。<h3>2.4 Kriging插值：</h3>概念：Kriging是一种基于天文空间的插值办法，宽泛用于地理信息系统（GIS）。<blockquote>它思考了空间相关性，并通过对数据之间的空间相关性建模来预计未知地位的值。</blockquote>实现：Kriging通常须要对数据进行协方差剖析，以确定空间相关性的参数。<h3>2.5 基于机器学习的办法：</h3>概念： 应用机器学习模型来预测缺失值，例如回归模型、决策树、随机森林等。<blockquote>这种办法能够通过思考多个特色之间的简单关系来进步预测准确性。</blockquote>实现： 训练机器学习模型来预测含有缺失值的特色，而后用模型的预测值填充缺失值。<blockquote>总的来说，在抉择插值办法时，须要依据数据的性质和问题的背景来衡量办法的优劣。每种插值办法都有其实用的场景和局限性，因而在理论利用中须要审慎抉择。同时，为了缩小不确定性，能够联合多个插值办法进行比拟和验证。</blockquote><h2>三填充法</h2>解决缺失值时，除了插值法外，还能够应用填充法来填补缺失值。填充法次要通过一些规定或统计量来估算缺失值。以下是一些常见的填充法办法：<h3>3.1 均值（Mean）填充：</h3>概念：应用变量的均值来填充缺失值。实用于连续型数据，简略且不引入额定的复杂性。实现：计算变量的均值，而后将缺失值替换为均值。<h3>3.2 中位数（Median）填充：</h3>概念： 应用变量的中位数来填充缺失值。对于存在异样值的状况，中位数可能比均值更持重。实现： 计算变量的中位数，将缺失值替换为中位数。<h3>3.3 众数（Mode）填充：</h3>概念：应用变量的众数来填充缺失值。实用于分类变量。实现：计算变量的众数，将缺失值替换为众数。<h3>3.4 最近邻填充（Nearest Neighbor Imputation）：</h3>概念：依据其余样本的数值来填充缺失值，抉择与缺失值最类似的样本进行填充。实现： 计算样本之间的类似度，抉择最近邻的样本来填充缺失值。<h3>3.5 回归模型填充：</h3>概念：应用回归模型来预测缺失值，将其余特色作为预测变量。实现：对于含有缺失值的特色，将其看作指标变量，应用其余特色建设回归模型，预测缺失值。<h3>3.6 随机抽样填充：</h3>概念： 从变量的已知值中随机抽样来填充缺失值。实现：从非缺失值中随机抉择一个值，用于填充缺失值。<h3>3.7 插值法填充：</h3>概念： 利用插值办法（如线性插值、多项式插值）来估算缺失值。实现：应用插值法对缺失值进行估算，如在相邻数据点之间进行线性插值。<h3>3.8 利用业务规定填充：</h3>概念： 基于畛域常识或业务规定来填充缺失值。实现：依据特定业务场景的规定，为缺失值设定适合的数值。<blockquote>总的来说，在抉择填充办法时，须要思考数据的性质、缺失值的散布以及问题的要求。不同的填充办法可能对数据产生不同的影响，因而在利用填充办法之前，最好先对数据进行探索性剖析，理解缺失值的散布状况和数据的个性。同时，能够尝试不同的填充办法，并评估它们对最终剖析后果的影响。</blockquote><h2>四三种办法的优缺点及实用场景</h2><h3>4.1 删除法：</h3>长处：<blockquote>简略间接，不引入额定的复杂性。对于确保数据分析的准确性和可靠性很重要的状况，如建模剖析等，能够抉择删除缺失值，确保后果的准确性。</blockquote>毛病：<blockquote>可能导致信息失落，缩小样本量。可能引入样本抉择偏差，使得剖析后果不够全面。</blockquote>实用场景：当缺失值占比拟小，对整体数据集影响不大时，或者在确保删除不会引入偏差的状况下应用。<h3>4.2 插值法：</h3>长处：<blockquote>思考了数据的连续性，填充的值更加平滑。 实用于工夫序列等具备肯定规律性的数据。</blockquote>毛病：<blockquote>对于非线性的关系，插值法可能不够精确。对异样值比拟敏感，可能受到极其值的影响。</blockquote>实用场景：<blockquote>实用于连续型数据，特地是工夫序列数据，且缺失值的散布具备肯定的规律性。</blockquote><h3>4.3 填充法：</h3>长处：<blockquote>通过预计缺失值，保留了样本量，不会引入样本抉择偏差。能够利用其余变量的信息进行填充，进步填充的准确性。</blockquote>毛病<blockquote>须要依据具体情况抉择适合的填充办法，不同办法的成果可能有差别。 对于高维数据集，解决简单的关系可能会比拟艰难。</blockquote>实用场景：<blockquote>实用于各种数据类型，尤其是当数据集中的变量之间存在肯定关联性时。</blockquote><h2>五总结:</h2>数据荡涤中解决缺失值是机器学习流程中不可或缺的一环。通过本文的介绍，咱们深刻理解了删除缺失值、插值法和填充法这三种次要的解决缺失值的办法。每种办法都有其独特的劣势和限度，抉择适合的办法须要思考数据的个性、缺失值的散布状况以及剖析的指标。在实践中，综合使用这些办法，联合具体情况，将有助于进步数据品质，为机器学习模型的建设奠定松软的根底。<blockquote>这篇文章到这里就完结了谢谢大家的浏览！</blockquote><blockquote>如果感觉这篇博客对你有用的话，别忘记三连哦。我是甘甜的江，让咱们咱们下次再见</blockquote><blockquote>本文由博客一文多发平台 OpenWrite 公布！</blockquote></article>