简介： 流量剖析只比互联网诞生晚几年，作为一个生态，互联网须要有人提供服务，同时也须要有人生产服务，而在互联网上经营服务跟在线下经营五金店一样，如果想要胜利，须要时刻关注来拜访的顾客的状况：明天有多少人来生产？有多少人来了然而没有购买？我的顾客有一些什么特点？为什么明天的销售额比昨天少了很多？

前言：
- 更多对于数智化转型、数据中台内容请退出 阿里云数据中台交换群—数智俱乐部 和关注官网微信公总号（文末扫描二维码或点此退出）

- 阿里云数据中台官网 https://dp.alibaba.com/index

（作者：DeeperMan）

提到流量经营的历史，咱们首先须要简略介绍一下互联网的历史。人类最平凡的构想往往都须要几代人一直地尝试和欠缺，蒸汽机如此，飞行器如此，攻克癌症也将如此。从 1876 年贝尔创造了电话起，整个 20 世纪人类都在一直尝试如何远距离传输除语音以外的信息或者数据，从 20 世纪初特斯拉即曾经有了互联网的构想，同时 Otlet 等一大批先驱在一直摸索和欠缺信息的数字化存储和读写技术，1960 年 MIT 传授 Licklider 提出了“IntergalacticComputerNetwork”即 IGCN 实践，为古代互联网概念奠定了根底。直到 1990 年，古代互联网才真正诞生，英国人 TimBerners-Lee 提出并胜利实现了基于客户端和服务端之间通信的 HTTP 协定。

流量剖析只比互联网诞生晚几年，作为一个生态，互联网须要有人提供服务，同时也须要有人生产服务，而在互联网上经营服务跟在线下经营五金店一样，如果想要胜利，须要时刻关注来拜访的顾客的状况：明天有多少人来生产？有多少人来了然而没有购买？我的顾客有一些什么特点？为什么明天的销售额比昨天少了很多？

1993 年，在互联网诞生 3 年后，全世界有大概 600 个网站，如果你有幸成为这 600 个提供互联网服务的网站主之一，要答复这些问题就没有这么容易了，首先你面对的是你的服务器上的一大堆服务申请日志，大略长成这样：



如果你不是学计算机专业的，根本不大可能从成千上万的日志中取得任何有用的信息。有了痛点天然就有解决痛点的产品诞生。此时，历史的潮流将一家叫 WebTrends 的公司推向了沙滩，这家公司明天仍然存在，当然技术上早就与时俱进了。然而，在 1993 年，它仅仅为网站主提供了一个简略服务端日志解析和剖析的服务，能够认为就是设计了一个 grep 语句将这些日志的 IP 地址信息提取进去去重，而后通知网站主明天有多少人拜访了网站。这家公司因为这个 idea 在 2001 年卖了 11 亿美元，同时这个 idea 催生了一个叫 digital analytics（流量剖析）的行业的诞生，并且每年产生上千亿美元的 revenue。

# 划重点的 1995 年

1995 年是互联网倒退的重要一年，Amazon, Craigslist, eBay 领头的电子商务开始进入互联网，Match.com 也将社交需要带到了网上，Yahoo 在之前一年曾经上线，随着互联网服务的日益丰盛和多样化，Windows 95 的火爆退场，个人电脑大卖，网民数量也呈现了爆炸式增长，WebTrends 曾经无奈满足大的网站主洞察客户的需要。


此时诞生了 Analog，一款收费的流量剖析工具，并且提供肯定的可视化剖析能力。当然，到目前为止，互联网网页还是以动态页面为主，如果一个用户拜访了某网页，咱们能够认为他拜访了整个网页的所有内容，当初咱们晓得，这个假如很快就变成了不对的。

1996 年，业余的互联网市场营销团队开始呈现在一些大公司的组织架构中，他们能够纯熟应用 Analog 这款收费工具，然而收费的工具在没有营收的撑持下总是难以满足高阶用户的需要。此时更多的玩家进入了流量剖析畛域，帮忙网站主洞察流量和开掘客户价值，大的网站主也开始大量投资购买流量剖析软件对服务端日志进行剖析。此时流量剖析的四巨头呈现：WebTrends, Web-counter, Accrue, Omniture。其中 Web-counter 创始了一种广为人知的的 hit counter service, 它反向为之，针对中小网站主和在收费 host 网站 host 网页的集体网站主(他们没有读取服务端日志的权限)，国内的 80 后互联网使用者可能并不生疏。

它的划时代意义在于让所有的网站主都能够做最直观的流量洞察，真正让流量剖析做到了零门槛，网站主不须要懂如何读取服务端日志、不须要懂日志治理、不须要懂日志解析，只须要在网站外面嵌入一段简略的 PHP 代码即可。当然它没有 fancy 的剖析性能，也没有任何过滤爬虫的能力。

Google 上线的 1997 年

1997 年，互联网继续迭代倒退，此时的网站开始重视好看，各种精装修技术开始流行，动静加载的网页技术开始呈现，服务端申请的次数跟网页的浏览次数也根本没有任何关联了，服务端日志剖析曾经不能准确地洞察用户行为。此时一种新的用户行为追踪技术诞生，叫做 Javascript Tagging。它能够准确地追踪简单网页的用户拜访行为，tag 原来是指网络申请的那张看不见的照片，它被无意嵌入在网页内的某趣味点，当指定的用户行为被触发时会向服务器申请这张图片资源，顺便将相干的用户信息随着申请带上去。随着网页技术的倒退，当初 tag 是指一段用来追踪用户行为的简单的 Javascript 代码。除了可能进行更加细粒度的页面元素追踪外，tag 还能收集到更加简单的内容，比方购物车内的商品信息、屏幕有多大、应用了什么浏览器、视频看了多少 等等。

值得注意的是，google.com 在这一年上线，之后十几年互联网技术的重大倒退根本跟它有点关系。

这家公司最后在 1995 年创建，进入后面提到的基于服务端日志解析的流量剖析服务，1997 年开始倒退 Javascript tagging 技术，到 1998 年，JS tagging 还是将日志发送到业务服务端进行日志剖析为主，其次要起因是各大互联网公司都曾经投入大量资金购买流量剖析软件，老本的压力让这些公司临时还不思考转型，此时最大的软件提供商就是 Urchin，然而同时一种新的商业模式开始诞生，网站的流量数据不再发到本人的服务器，而是发送给业余的流量剖析服务商治理的服务器，流量剖析开始 SaaS 化，这种解决方案在中小企业中十分风行，同时大的 host 公司 (为中小企业或者集体提供网站托管服务) 也对此趋之若鹜。新的商业模式联合了流量剖析的易用性和功能性，让 Urchin 成长成为了最大的流量剖析服务提供商，并于 2005 年卖给了 Google，成为了 Google Analytics。

接下来从 2005 年到当初，流量剖析从支流的 Page View 过渡到了 in-page analytics, 再到 Universal Analytics（挪动互联网的衰亡），再到各种纵深流量剖析和经营能力构建（cross-site、machine learning、lifetime value 等），流量经营呈现了百家争鸣的业态。

三大门户和导航站的黄金十年

1994 年 4 月 20 日是中国互联网发展史上开天辟地的大日子，通过一根 64Kb（留神是 bit 不是 Byte）的国内专线，中关村地区教育与科研示范网络（NCFC）工程实现了与国内互联网的全功能 IP 连贯。这一年 5 月中国科学院高能物理研究所设立了国内第一台 WEB 服务器“中国之窗”，服务于科研与教育的互联网用户次要是北京的科研院所和高校的人员。

随后两年多工夫里，中国科技网（CSTNET）、中国公用计算机互联网（CHINANET）、中国教育和科研计算机网（CERNET）等相继动工建设，开始了全面铺设中国信息高速公路的历程。1996 年中国第一个网吧（电脑室）在上海呈现，上网价格达 40 元 / 小时，上网冲浪只能是多数人的高科技休闲形式。1997 年中国电信面向普通家庭推出价格较为低廉的 163 网（很容易猜到起初网易选用 163.com 作为域名的原因）和 169 网，全国各地的网吧如雨后春笋般涌现。1998 年中国网民开始成几何级数增长，上网从前卫变成一种真正的需要，一场互联网带来的改革很快传遍整个中华大地。

随着上网的遍及，提供上网内容的 ISP 也越来越多，但以复制海内的模式为主，美国呈现什么新网站，中国会很快拷贝过去，一开始指标必定是精英，3 年后才会真正开始暴发风行。这个阶段逐渐诞生了占据中国互联网黄金十年的三大门户：网易、搜狐、新浪。这里不开展介绍它们的业务倒退和上市历程，从流量经营角度咱们来看导航站和中国站长的倒退，他们成为这个时代中国互联网的特色之一。

在互联网网站鼻祖雅虎刚上线时，以网站分类导航的模式提供内容服务，起初逐步倒退成搜寻、门户等产品。同样得入口者得天下，中国互联网也呈现了简略到根本不须要技术的导航站，这与中国网吧和网民特点密不可分。1999 年还是网吧管理员的李兴平，发现找材料很艰难，而且要记住英文网址难度很大，他就把中国排名前 5000 位的站点进行分门别类，再按用处组合在一起，做成一个“网址大全”式的网站，这就是 hao123 网址之家的前身。他要一一查看链接，去除死链和非法链接、调整链接排序，工作耗时逐步增长到每天须要 6 - 7 个小时，这就是中国站长的晚期人工流量经营。

2004 年 hao123 成为泛滥网吧和家用电脑的开机首页，甚至在寰球权威的 Alexa 网络监测中，成为寰球流量极大的中文网站之一。依据百度的统计，来自 hao123 的搜寻申请广告占到整个百度的搜寻量的 1 /10，而整个网站流量能占到百度的 40%，因而这一年百度斥资 1000 多万现金加股票收买了 hao123。蔡文胜开办的比 hao123 晚了 4 年的 265.com 也在 2007 年卖给的谷歌中国。

随着这两家被收买，网址导航的盈利模式被认可，进入了群雄争鹿的高速发展期，360 依附海量的安全卫士和浏览器装机量捆绑推广 360 网址导航，霎时挤入了网址导航的第二营垒，2345 依附与热门网络应用捆绑以及弱小的地推资源迅速崛起，114 啦依附与本身雨林木风盗版零碎推广联合也取得大量的用户，随后的搜狗、QQ 也都相继推出了本身的导航网站，网址导航逐步成为各大公司的标配流量入口。

站长三件套：域名、空间、统计代码

言归正传，在没有云计算和大数据的时代，搭建和经营网站的门槛却是极低的。国内呈现了很多提供价格低廉设置收费的个人空间和二级域名服务的网站，催生了一大批站长，提供各式各样的论坛和网站。他们开始学习如何用 asp、php、html 和 css 来装修欠缺本人的网站。比方提供统计服务的就有热讯统计，itsun 等，其中在站长服务中最有名的当属网易了，提供了收费域名、主页空间、易数统计整套计划，尽管有广告但做个高级网站还是非常容易。网易这家公司让人拜服的是，每个时代都能低调做出合乎用户需要的产品，诸如门户、163 邮箱、梦幻西游、网易云音乐、考拉海购都胜利播种少量用户。



基础设施有了，如何晋升网站访问量成了站长们关怀的首要问题。在搜索引擎流量未成为支流时，统计排行榜和换量联盟（太极链、51link 等）是站长们关注的重点。甚至在 2005 年蔡文胜举办的第一届中国站长大会上，站长们交换网站流量经营教训的同时，也在交换在各个平台刷量的葵花宝典，可见中国站长对商业化和盈利的渴望。

起源剖析和关键词剖析

这个期间的统计分析工具，曾经进入了基于服务器日志解析的流量剖析的技术架构，除了统计网页 PV、UV 的这些根底指标外，做网站经营最关注的就是流量起源。通过用户起源网站统计，能够理解用户来自哪个网站的举荐、哪个网页的链接，如果是通过搜索引擎检索，能够看出是来自哪个搜索引擎、应用什么关键词进行检索，以及你的网站索引呈现在搜寻后果的第几页第几项。这些剖析对于站长去做 SEO 尤为重要，所以这里开展介绍一下起源和关键词剖析的技术原理。

通常有两种技术来实现起源剖析，一种计划在起源页面链接加自定义参数来标注用户起源，比方在 hao123 首页点击百度连贯后会关上 baidu.com/?，tn 参数就是标识起源的字段。

另一种计划通过 http header 中的 referer 作为起源，比方你在百度搜寻网站 hao123（记为链接 A：baidu.com/s?），点击跳转后，hao123 的首页（记为链接 B：hao123.com/）就能够通过 document.referer 来获取起源为（记为链接 C：baidu.com/link?）。

前一种比拟适宜在网站外部页面跳转中来应用，因为须要所有起源都加上相应参数；第二种更适宜剖析站外流量起源，往往 referer 的 url 参数会比拟长，剖析起源网站会截取域名段，剖析起源页面时通常会取? 之前的动态 URL。实践上链接 A 就是 B 能够获取到的 referer，也是说 A =C，这样 B 就能够剖析来源于搜索引擎的关键词了（A 链接中带了搜寻关键词“wd=hao123”），这就是统计分析产品中提供关键词剖析的基本原理。但实际上 A 和 C 差别很大，这是为什么呢？懂点浏览器常识的察看下就明确，其实在链接 A 页面上点击时并没有间接跳转到链接 B，而是加了跳转两头页链接 C，链接 C 也是百度的网页，能够很灵便地管制 URL 中携带的参数，屏蔽指标网页 C 做关键词剖析。

Google 早在 2011 年推广搜寻 https 化时开始屏蔽起源关键词剖析，国内的百度是在 2015 年发布公告正式勾销 referer 中对于关键词的显示，声称此举可能更好的爱护站点流量关键词数据信息，使站点数据更加私密化。私密化的后果是你只能在百度统计分析中看到关键词剖析，你懂的：）

CNZZ 和百度统计崛起

2005 年后谷歌的 Google Analytics 和雅虎量子统计逐渐进入中国，站长们见识了国内一流公司的产品。但技术实力不是占领市场的第一因素，有时体验更重要，因为国际化的产品设计理念，加上蹩脚的中文翻译品质，给了国内流量剖析产品不少机会。国内的创业者逐步推出了 51la、51yes、cnzz 等中国第二代流量剖析产品，也提供了实时在线用户统计等差异化的性能。这个期间很多站长会同时集成 Google Analytics 和国内流量剖析工具，应用各平台的特色性能的同时也能够核查各平台数据是否统一。起初 51la、51yes 因为服务稳定性始终被诟病，广告过多和产品性能布局不明确，逐步被 cnzz 拉开差距。cnzz 将本人定位为业余、权威、主观的第三方数据统计，这投合了国内互联网市场的微小需要，到 2008 年上线 4 年的 cnzz 取得了 60 多万的站点用户，过后据 CNNIC 统计国内网站数量在 192 万，意味着 cnzz 曾经笼罩了国内三分之一的站点。

百度统计测试版在 2007 年 11 月公布，2009 年 8 月公布正式版，商业公司提供的统计服务更加稳固、平安、业余，在 2010 年逐步成型后一统江湖，成为国内流量剖析工具百家争鸣时代的终结者。随着国家工信部增强对域名和内容的备案审查，中小站长开始衰败，cnzz 市场份额也逐渐升高，网站流量剖析工具也跨入被搜索引擎寡头（百度、Google）统治的时代。

挪动互联网衰亡，挪动统计分析迅速崛起，Flurry 和友盟在中美各领风骚，TalkingData、神策、阿拉丁等前期之秀异军突起。

参考文献：
a-brief-history-of-web-analytics
the-early-days-of-web-analytics
leadforensics.com/web-a
en.wikipedia.org/wiki/N
en.wikipedia.org/wiki/P
en.wikipedia.org/wiki/T
https://en.wikipedia.org/wiki/IntergalacticComputerNetwork
en.wikipedia.org/wiki/J
en.wikipedia.org/wiki/W
en.wikipedia.org/wiki/A
en.wikipedia.org/wiki/W
leadforensics.com/web-a
en.wikipedia.org/wiki/G
en.wikipedia.org/wiki/U
media.people.com.cn/n/2
old.geekpark.net/topics
http://web.archive.org
pcworld.idg.com.au/arti
iheima.com/article-1481
williamlong.info/archiv
sohu.com/a/32682577_235
meiwen.org/article/7854

数据中台是企业数智化的新基建，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输入，包含批发、金融、互联网、政务等畛域，其中外围产品有：

• Dataphin，一站式、智能化的数据构建及治理平台；
• Quick BI，随时随地 智能决策；
• Quick Audience，全方位洞察、全域营销、智能增长；
• Quick A+，跨多端全域利用体验剖析及洞察的一站式数据化经营平台；

官方站点：
数据中台官网 https://dp.alibaba.com