作者：韩信子 @ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/33
本文地址：http://www.showmeai.tech/article-detail/137
申明：版权所有，转载请分割平台与作者并注明出处
数据分析分外围步骤分为：业务认知与数据摸索、数据预处理、业务认知与数据摸索等三个外围步骤。
本文介绍第一个步骤——业务认知与数据摸索。
一、常见业务指标
（1）描述性剖析：剖析和形容数据的特色
描述性剖析是解决信息汇总的好办法，与视觉剖析相结合，能够提供全面的数据结构，并通过仪表板展现所失去的论断。企业中通过剖析 KPI 来评估绩效的做法，就是描述性剖析的常见利用之一。
（2）预测剖析：预测将来的后果
预测剖析是一个简单的畛域，须要较大大规模的历史数据，并借助技术提高（尤其是机器学习）构建高并发的预测模型，以取得无关将来的预测性洞察。
（3）诊断剖析：透过数据诊断理论问题
通过诊断剖析，能够对数据进行批判性思考，判断理论存在的问题，并进一步优化治理或缩小损失。物流企业应用诊断剖析能够缩小物流提早，电商企业能够借助诊断剖析更新营销策略，降本提效。
（4）标准剖析：数据分析的集大成者
标准剖析联合了上述所有剖析技术，能够帮忙公司在数据论断的根底上制订相干决策。须要留神的是，应用标准剖析的必要根底是足够大的数据规模、数量应用 AI 技术，也因而常被利用于大型互联网公司（如 Google）和金融机构。
二、常见业务指标
2.1 虚荣指标 VS 无效指标
指标是掂量事物好坏的一个指数。数据指标很多，北极星指标，二级指标、定性指标、量化指标、虚荣指标等等。好的数据指标，应该为产品业务线所在的倒退阶段提供指引，而有些数据却起到了相同的作用。
- 虚荣指标（Vanity Metrics）让人感觉良好，却是浮浅甚至带有欺诈性的。例如，只关注网站的访问量（PV、UV），却疏忽跳离率、用户浏览工夫等数据指标时，就很容易掉进虚荣指标带来的陷阱。
- 无效指标（Clarity Metrics）指那些真正能带来效益的指标。例如，转化率、留存率、日沉闷人数占比等，能够更好地洞察产品和用户行为的理论走向。
2.2 抉择适合的指标
（1）比率指标
比率指标具备『比拟性』，从而成为最佳数据指标。举个开车的例子，里程走漏的是间隔信息，而速度（间隔 / 工夫）能力通知你是在减速，还是加速。
比率指标的比拟对象，是不同期间的『自我』比照，用以比拟事物的增长趋势；或同一期间不同对象之间的比照，用以比拟不同事物的增长大小。
通常状况下，用户行为剖析应用以下比率指标（或之一）：
- 与工夫相干的指标——『XXX 速度』，例如，新用户增速（单位工夫内新用户的数量），
- 与数量无关的比例——『XXX 率 / 比』，例如，沉闷用户比（沉闷用户占总用户数的比例）。
（2）多指标联结剖析
抛开基数，比率的意义会大打折扣。援用《效益数据分析》中的例子，“你的产品刚上线时，从严格意义上讲，你爸爸注册一个账号，也能够使你的用户量翻倍”。
留神！尽管比率是最佳的数据指标，但也须要辅以其余定性指标和定量指标。指标从来不是独自存在的，而应该从多个指标来综合评估。这须要理解指标之间的耦合性，设计指标零碎，从各个角度来揭示数据中暗藏的事实。
2.3 联合利用场景
剖析数据和设计要害指标时，应结合实际业务，还原到具体的场景中。例如，在剖析用户的行为时，用户对服务或产品的黏性（Stickiness）是一个无效指标。在不同应用场景中，粘性的掂量指标也有差别：
黏性是指客户购买产品或服务之后，违心再次购买或者举荐给他人的水平。
- 跳离率（Bounce Rate）：对于内容产品，当访客点击你的网页时，有多少人会马上敞开，百分比是多少。
- 转化率（Conversion Rate）：当产品推广时，转化率是注册人数和访客人数比例，示意有多少访客真正变成网站的注册用户。
- 留存率（Retention Rate）：对于新用户，用于测试新用户在某段时间内开始应用产品，通过一段时间后，持续应用产品的用户的比例。
- 活跃度 也是一个无效的度量。对于社交网站来说，日沉闷用户人数（Daily Active Users, DAU）占比是一个要害的指标。
2.4 典型案例
案例：在一次云产品宣讲会（流动）中，举办方对产品的重大更新做了全方位的演示和解说，心愿通过线下的互动和线上的直播，来吸引更多的用户应用产品。
（1）明确剖析指标
如果指标是对流动效益进行评估，你作为一名数据分析人员，会怎么做？
思路：对于该场景，能够应用同期群剖析，依照与会人员是否注册，把与会人员细分为未注册人员（潜在用户）和已注册人员（老用户）。
- 流动完结后，有些未注册用户转化成为新用户。吸引新用户注册的能源可能有多种，最常见的是收费试用。后续能够追踪不同起源用户的产品应用行为。
- 老用户是产品的粉丝，是付费用户，可能为公司带来收益。已付费的用户可能会散失，也有可能更依赖产品、更加频繁地应用产品。
- 留神！剖析用户行为时，应该意识到，有些用户尽管不能带来间接的收益，但能够带来更多用户，从而间接为公司发明收益。
（2）设计剖析指标
思路：将人的行为作为出发点，从『定量数据』和『定性数据』两个角度来设计指标。为了剖析流动取得的效益，能够制订以下要害指标：
[1] 参与度（Engagement）：掂量有多少人加入此次流动，用于评估流动的影响力
- 总人数、老用户人数、潜在用户人数。
- 参加流动之后，有多少用户注册了（免费版或试用版）。
[2] 察看新用户的行为：转化率能够评估流动效益，留存率能够评估新用户对产品的粘性
与会的、未注册的人员，是产品的潜在用户。不论采纳『收费试用』还是『购买 + 赠送』等推广办法，只有用户注册，就能够认为是实现了一次转化。
- 新用户的转化率（Conversion Rate）：参加流动之后注册为新用户的比例，转化率越高，阐明产品对用户的吸引力越高，流动取得的效益越好。
- 新用户的起源：对新用户的起源和转化门路进行剖析，有助于确定哪些起源带来了更多无效的转化。
- 新用户的转化门路（转化漏斗）：通过收费试用（Free Trial）注册的新用户，其转化门路的数据指标顺次为『新试用（New Trial）』『次日沉闷（Activated Trial）』『7 日沉闷（Activated Trial in 7 days）』。
- 新用户的留存率：在间断的计费周期内，同期新用户中依然沉闷的用户所占的比例。
[3] 察看老用户行为：忠诚度与老用户用量
老用户是指在加入流动之前，曾经注册的用户，这批用户是产品的忠诚粉丝。剖析老用户的行为，也能评估流动效益的。
忠诚度是指用户应用产品的频繁水平，以及对产品及服务的依赖水平。如果此次流动促使老用户更频繁地应用产品（即老用户的用量减少），则阐明举办此次流动晋升了老用户的忠诚度，带来了效益的减少。
- 老用户的用量增长：参加流动之后，老用户的用量与前一个付费周期的用量相比，是增是减。
- 用量增长的用户占比：参加流动之后，用量增长的用户占比。
思考一些非凡状况，有多少老用户被召回，有多少老用户散失：
- 僵尸账户激活（New billed Customers）：有多少老用户来到之后，从新为产品或服务付费。
- 付费用户散失（Churned Customers）：用户在一个付费周期内，不再付费购买产品或服务。
[4] 察看产品的用量：服务类型
产品的用量，也是一个评估流动效益的无效指标。而用户应用产品这一行为，实际上在生产产品提供的服务。减少『服务类型』这一维度，能够评估用量的增长是否与本次流动无关——比照总用量、与流动主题相干的用量。
- 如果与主题相干的用量增长较大，总的用量增长较平缓，那么阐明此次流动促成了用量的增长。
- 如果与主题相干的用量增长平缓，总的用量增长也平缓，那么阐明此次流动对用量的增长没有作用。
留神！比照要有可比。在比对数据的解决上，应剔除新用户对数据的影响。以流动的举办工夫为宰割点，只比对老用户在前 N（1-3）个付费周期内和后 N（1-3）个付费周期内的用量。为了更准确地计算用量，应该防止个别因素的影响，能够应用 2 - 3 个付费周期内用量的均值。
老用户的用量增长剖析：
- 用量增长的老用户占比
- 在加入流动之后，老用户生产的用量减少多少，增长的比例是多少
- 每位用户的均匀用量
与流动主题相干的用量增长剖析：
- 用量增长的老用户占比（与流动相干）
- 在加入流动之后，老用户生产的用量减少多少，增长的比例是多少（与流动相干）
- 每位用户的均匀用量（与流动相干）
（3）按需调整
要留神，数据分析应联合业务，依据面临的次要问题，设置要害的数据指标，以答复决策中遇到的难题。例如：
- 当产品没有知名度时，网站的访问量能够作为一个要害指标。
- 当有了大量的用户基数时，能够把注册人数（或试用人数）作为要害指标。
- 当注册人数减少到肯定水平时，能够把转化率（即，收费用户转化为付费用户）作为要害指标。
2.5 网站剖析罕用数据指标
附上网站剖析中罕用的数据指标，你能辨认哪些是虚荣指标吗？
（1）网站流量指标
- 页面浏览 量(Page View，PV）：访客每关上一个页面就被记录一次。
- 独立访客数量（Unique Visitors，UV）：一天之内网站的惟一访客数量。
- 反复访客数量（Repeat Visitors，RV）：一天之内，反复拜访网站的访客。
- 访客拜访的页面浏览量（Page Views per User）：均匀每个访客拜访的页面数量，指标高的话，阐明用户黏性高，也就是说，访客显示出对网站感兴趣、违心长时间停留。
（2）用户行为指标
- 跳出率：示意用户只浏览一个页面便来到了网站，跳出率显示了访客对网站的趣味水平：跳出率越低阐明访客对网站越感兴趣。
- 均匀拜访时长：是指每次拜访的停留时长，该指标越大，则阐明访客停留在网页上的工夫越长，对网站越感兴趣。
- 均匀拜访页数：是指每次拜访浏览的页面数量，该指标越大，则阐明访客对网站越感兴趣。
（3）转化指标
- 转化次数：是指访客达到转化指标页面的次数，转化示意访客做了网站管理者心愿访客做的事，与网站运营者冀望达到的推广目标无关。
- 转化率：是指拜访转化的效率，转化率 = 转化次数 / 拜访次数，转化率越高，阐明网站的推广成果越好。
- 转化门路：门路是指访客在到达您设置的指标页背后所通过的一系列两头页面，转化即指潜在客户实现一次您冀望的口头，与您的推广目标和对推广成果的定义密切相关。通过对转化门路的跟踪，您能够理解访客对转化各个步骤的拜访状况。
（4）留存指标
- 留存人数：注册用户在第一次拜访网站之后，在下一个周期内持续应用网站的人数。
- 留存率（Retention Rate）：在下一个周期内持续应用网站的人数，占当期注册用户的比例，留存率越高，阐明用户对网站的黏性越高。
（5）起源剖析
- 起源：访客以哪些形式拜访网站，间接拜访，或搜索引擎。
- 搜索词剖析：在各类搜索引擎上通过哪些搜索词找到并拜访了网站。
（6）访客属性剖析
- 访客的年龄
- 访客的地区
- 老访客 / 新访客
三、探索性数据分析
数据分析的根底是对数据的认知，先有数据，而后有剖析。没有可信的数据，数据分析的后果将是海市蜃楼。变量和数据是数据分析中罕用的概念：变量来形容事物的特色，而数据是变量的具体值（也叫观测值）。
3.1 变量
变量用来形容总体中成员的某一个个性。在数据分析中，变量（Variable）能够和属性、维（Dimension）、特色（feature）调换应用。常见变量有性别、年龄、身高、支出等。
依照变量值性能的不同，能够把变量分为定性变量和定量变量。
（1）定性变量
定性变量是指用文本形容对象的特色。定性数据通常是剖析数据的一个角度，减少维度，从不同的角度来对待问题，可能细分指标，减少剖析的深度。定性变量次要分为三类：
- 标称变量：也叫做类别变量，用于对数据对象分类（Category）。比方，头发的色彩、职业。
- 二元变量：只有两个类别的变量，如果二元变量的两种状态具备等同价值或具备雷同的权重，那么认为该二元变量是对称的，例如，性别；非对称是指两种状态的后果不是同样重要的。例如，是否吸烟对医治的成果而言，其权重是不同的。
-
序数变量：变量的程序是有意义的，通常用于等级评定。通常状况下，序数变量是定性的文本，比方，官职、消费者满意度。然而，序数变量也能够通过把数值变量宰割成不同的区间来失去，比方，年龄段。
- 在序数变量中，有一类重要的变量，叫做工夫变量，一些常见的分析方法，比方时序剖析，周期性剖析等都是基于工夫变量的。
（2）定量变量
定量变量是指用数值形容对象，能够比拟大小，是能够量化的变量。定量变量通常含有量纲。例如，身高的量纲是 cm，而薪水的量纲是元。同一量纲的数据能够比拟大小；不同量纲的数据，须要通过归一化去量纲之后，比拟大小才有意义。定量变量次要分为两个标度：
- 区间标度：可度量的数值，用整数或实数示意。比方，年纪、薪水
- 比率标度：比例数值。比方，速度、留存率
3.2 数据
数据是变量的具体值。
依照变量的类型，能够把数据分为：分类数据、程序数据和数值型数据。
依照数据分析的目标，能够把数据分为：实验组（Treatment）和参照组（Control）。
依照数据的类型，能够把数据分为：文本数据、数值型数据和日期工夫数据。
3.3 数据根本统计形容
统计是数据分析的好助手，查看数据集的根本统计形容，可能帮忙咱们理解数据的全貌，辨认数据的散布特色。因为定量数据天生具备计算的个性，数据的散布通常是针对定量数据进行的统计形容。
根本统计形容次要是指从数据的集中趋势、离散趋势和散布来意识数据。每个统计形容，都应用特定的统计量来掂量。
数据分析的数学根底
材料与代码下载
本教程系列的代码能够在 ShowMeAI 对应的 github 中下载，可本地 python 环境运行，能迷信上网的宝宝也能够间接借助 google colab 一键运行与交互操作学习哦！
本系列教程波及的速查表能够在以下地址下载获取：
- Pandas 速查表
- Matplotlib 速查表
- Seaborn 速查表
拓展参考资料
- Pandas 可视化教程
- Seaborn 官网教程
ShowMeAI 相干文章举荐
- 数据分析介绍
- 数据分析思维
- 数据分析的数学根底
- 业务认知与数据初探
- 数据荡涤与预处理
- 业务剖析与数据挖掘
- 数据分析工具地图
- 统计与数据科学计算工具库 Numpy 介绍
- Numpy 与 1 维数组操作
- Numpy 与 2 维数组操作
- Numpy 与高维数组操作
- 数据分析工具库 Pandas 介绍
- 图解 Pandas 外围操作函数大全
- 图解 Pandas 数据变换高级函数
- Pandas 数据分组与操作
- 数据可视化准则与办法
- 基于 Pandas 的数据可视化
- seaborn 工具与数据可视化
ShowMeAI 系列教程举荐
- 图解 Python 编程：从入门到精通系列教程
- 图解数据分析：从入门到精通系列教程
- 图解 AI 数学根底：从入门到精通系列教程
- 图解大数据技术：从入门到精通系列教程