最近,在知乎上看到一个问题:“数据分析师需要注重哪方面的计算机技能培养?”
问题的背景是这样的:
某 211 高校通信专业出身,毕业后在运营商工作了 7 年多,先后从事通信网络运维、规划工作,近两年负责运营商数据分析(网络部门,偏向业务分析)。
由于职业发展瓶颈,从去年 11 月计划跳槽,花了半年时间学习统计学基础、SQL、Python 等。
近期跳槽到互联网产品部门,从事互联网产品(APP)的数据分析师,支撑产品部门的数据分析(偏向业务分析,不负责数据仓库、ETL 等偏向 IT 工作)。工作内容差异较大,包括分析的颗粒度、工作方式(例如自己写 shell 脚本跑数)、工作内容,因此紧急提升 linux(shell 编程)、SQL 等技能,且加快对业务的熟悉,但仍感觉亚历山大。
个人想继续往数据分析方向发展,也深知数据分析包括计算机科学、统计学、业务等三个部分内容,目前比较欠缺的应该是计算机科学,请问对于想往数据分析师(数据科学)方向发展,计算机科学方面的技能能否给些提升建议?
今天也是想借这个问题,系统回答下“数据分析师”的职业发展,也是最近在思考的。
根据我近 10 年的工作经验,包括在甲方 IT 部任职 BI 项目经理和运营部任职业务分析经理,乙方 Data Analytics 项目(EDW/BI/Big Data/AI Machine Learning)咨询和项目实施经验,按照由易到难的进阶步骤,我觉得应该掌握这些技能:
基础篇 1、首先是 Excel,貌似这个很简单,其实未必。Excel 不仅能够做简单二维表、复杂嵌套表,能画折线图 /Column chart/Bar chart/Area chart/ 饼图 / 雷达图 /Combo char/ 散点图 /Win Loss 图等,而且能实现更高级的功能,包括透视表(类似于 BI 的多维分析模型 Cube),以及 Vlookup 等复杂函数,处理 100 万条以内的数据没有大问题。最后,很多更高级的工具都有 Excel 插件,例如一些 AI Machine Learning 的开发工具。
2、掌握 SQL Server 或者 Oracle 的 SQL 语句,虽然你是业务分析师,但如果取数据能少依赖于 IT 人员和 IT 工具(比如 BI 的多维分析模型,有时候并不能获取你想要的数据),对于做业务分析,无疑是如虎添翼,我曾经见过华为的会计能写七层嵌套的 SQL 语句,很吃惊。包括 join, group by, order by, distinct, sum, count, average, 各种统计函数等。
3、掌握可视化工具,比如 BI,如 Cognos/Tableau/FineBI 等,具体看企业用什么工具,像我之前用的是 FineBI。这些工具做可视化非常方便,特别是分析报告能含这些图,一定会吸引高层领导的眼球,一目了然了解,洞察业务的本质。另外,作为专业的分析师,用多维分析模型 Cube 能够方便地自定义报表,效率大大提升。
总结:至此,掌握以上技能的 80%,可以算是一个合格的分析师了。这个阶段的数据分析师,需要既懂得如何利用工具处理数据,也要懂得业务场景,能分析解决基本的问题。这里还是要强调一点,数据分析师最重要的是熟悉业务,最好是懂。懂业务,分析逻辑就会清晰一般,而且也能排除大部分无用的尝试。长期以往对于了解的业务,比对一下数据就知道问题出在哪里了。
之后,如果是要深钻技术,甚至往数据科学家方向上发展。
进阶篇 1、系统的学好统计学
纯粹的机器学习讲究算法预测能力和实现,但是统计一直就强调“可解释性”。比如说,针对今天微博股票发行就上升 20%,你把你的两个预测股票上涨还是下跌的 model 套在新浪的例子上,然后给你的上司看。统计学就是这样的作用。
数据挖掘相关的统计方法(多元 Logistic 回归分析、非线性回归分析、判别分析等)
定量方法(时间轴分析、概率模型、优化)
决策分析(多目的决策分析、决策树、影响图、敏感性分析)
树立竞争优势的分析(通过项目和成功案例学习基本的分析理念)
数据库入门(数据模型、数据库设计)
预测分析(时间轴分析、主成分分析、非参数回归、统计流程控制)
数据管理(ETL(Extract、Transform、Load)、数据治理、管理责任、元数据)
优化与启发(整数计划法、非线性计划法、局部探索法、超启发(模拟退火、遗传算法))
大数据分析(非结构化数据概念的学习、MapReduce 技术、大数据分析方法)
数据挖掘(聚类(k-means 法、分割法)、关联性规则、因子分析、存活时间分析)
其他,以下任选两门(社交网络、文本分析、Web 分析、财务分析、服务业中的分析、能源、健康医疗、供应链管理、综合营销沟通中的概率模型)
风险分析与运营分析的计算机模拟
软件层面的分析学(组织层面的分析课题、IT 与业务用户、变革管理、数据课题、结果的展现与传达方法)
2、掌握 AI Machine Learning 算法,会用工具(比如 Python/R)进行建模。
传统的 BI 分析能回答过去发生了什么?现在正在发生什么?但对于未来会发生什么?必须靠算法。虽然像 Tableau、FineBI 等自助式 BI 已经内置了一部分分析模型,但是分析师想要更全面更深度的探索,需要像 Python/ R 的数据挖掘工具。另外大数据之间隐藏的关系,靠传统工具人工分析是不可能做到的,这时候交由算法去实现,无疑会有更多的惊喜。
其中,面向统计分析的开源编程语言及其运行环境“R”备受瞩目。R 的强项不仅在于其包含了丰富的统计分析库,而且具备将结果进行可视化的高品质图表生成功能,并可以通过简单的命令来运行。此外,它还具备称为 CRAN(The Comprehensive R Archive Network)的包扩展机制,通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R 语言虽然功能强大,但是学习曲线较为陡峭,个人建议从 python 入手,拥有丰富的 statistical libraries,NumPy,SciPy.org,Python Data Analysis Library,matplotlib: python plotting。
最后,怎么说呢,无论何时业务分析、数据分析还是数据科学教,他的价值体现还是在于商业价值。数据人才到最后的发展也一定是要往企业运营 VP、战略参谋者身居。比如,数据战略家可以使用 IT 知识和经验来制定商业决策,数据科学家可以结合对专业知识的深入理解使用 IT 技术开发复杂的模型和算法,分析顾问可以结合实际的业务知识与分析经验聚焦下一个行业爆点。
所以需要你具备沟通、组织、管理能力和商业思维,这就不只局限于某个岗位了,需要你站在更高位的角度思考,为企业谋福利。同时也要思考,拿着“数据分析”这张牌,如何在公司发挥价值,用数据驱动企业运营,这是要思考的。
课程推荐如果想快速对数据分析建立认知,找到一个学习方向,推荐秦路老师的《7 周入门数据分析》。
如果是在想要从事或已经从事数据工作的,比如“表哥表姐”,需要类似一个大牛在帮扶着教你的,这里重点安利一个叫《决策菁英》的培训课程。
这个课程算是我见过比较齐全比较接地气的了。从行业背景、个人定位、工具技术学习、业务需求配合、职业发展,在企业放大数据分析的影响力等等,都有很详细的解答。
尤其是成为数据分析师之后,可能会面临的一些问题:比如说你基于数据分析得出结论和建议,领导不采纳不接受,决策难落地,自己也做不出成果。如果你发展的顺利,公司组建了一个数据中心,你作为 leader,为了迎合现在以及未来各种各样的业务需求,可能需要设计开发数据产品,很大一部分工作就涉及与业务、技术如何配(si)合(bi)沟通的事。
最后,成为数据部门的老大,可能需要考虑如何将个人的影响力、部门的影响力在企业中放大。这里数据分析可能要在全公司推广,数据分析的决策可能也要上升到影响战略的程度,这其中也有很多技能之外的东西。转自:https://504479728.iteye.com/b…