共计 6601 个字符，预计需要花费 17 分钟才能阅读完成。
互联网架构演变过程
能力指标
- 可能从多个维度明确互联网这些年的趋势（以电商淘宝为例）
- 可能对各个阶段的技术解决方案初步理解
- 架构师课程的缩影，可能理解到整个课程课题在架构体系中的地位
1、业务架构
1.1 单体模式
晚期零碎多以单体业务为主，一一业务线扩张。零碎也多出现为多个 mvc 独立运行状态。各自打各自的。
以电商为例，可能按 B2B，B2C，C2C 一直扩张，每个业务一套零碎，每个零碎一个保护团队。
1）计划
代理层设置不同的二级域名，如 b2b.abc.com，b2c.abc.com，分发给不同的服务器
2）特点
粒度较粗：纯以业务为导向，往往造成业务团队各自为战，新业务线呈现时疯狂扩张
反复开发：雷同性能可能在不同业务的我的项目中被反复开发，比方短信发送、领取、财务统计
1.2 中台策略
1.2.1 概述
中台在 2015 由阿里提出，其实是阿里共享业务技术部的成型过程。
中台是一种企业架构而不是单纯的技术层面，目前简直各大电商都进行着中台化的建设。
中台不是什么离奇货色，实际上是“共享“理念在业务、零碎、组织架构上的一种落地与施行。
关键词：共享、节约老本、合作
1.2.2 背景
单体业务模式带来很多问题：
1）技术架构上：
- 有些雷同性能，各个团队反复建设和保护带来的反复投资
- 业务零碎间的集成和合作老本昂扬
- 不利于基础性业务的积淀和继续倒退
2）组织架构上：
- 部门在单体模式下往往每个我的项目一个团队。团队追随我的项目疯狂扩大，利用率低。
中台类比之下：
- 中台模式下，根底业务也下沉到技术部门，甚至通过技术反推业务正向倒退。
- 上层业务，变动不大的业务继续积淀，接口像滚雪球一样越来越欠缺
- 下层业务，跟业务模式和经营产品无关的零碎变动迅速，对底层接口封装组合即可
1.2.3 案例
以经典电商中台划分为例：
1）业务中台
业务中台基于公共服务的积淀，须要积攒一些根底的业务服务。
这些服务在 B2B，B2C 等零碎中都会具备，是雷同的。
- 商品核心：商品、类目、sku、spu
- 交易中心：订单、状态流转、条目、领取
- 营销中心：促销、优惠券、流动
- 会员中心：账户、根本信息、收发货地址、商铺商家信息
- 仓储核心：仓库、库存
- 物流核心：发货信息、自主物流或内部物流对接
…
2）技术中台
与业务无关的根底积淀，技术类内容能够在各个团队之间共享。
- 基础架构：外围类库、公共框架、根底服务、服务治理框架
- 中间件：分布式缓存、分布式音讯、数据存储（db，nosql）、分布式文件、散布式调度
- 自动化运维：监控核心、资源管理、配置核心、公布核心、日志平台
- 自动化测试：工作协同、根底测试、性能测试、接口测试、继续集成
（有的公司会抽取一个运维中台，将开发层和零碎层的内容离开）
…
3）数据中台
数据中台不是数据平台，也不是数据仓库，这三者是有区别的。
举个例子：数据平台能够了解为数据库，数据仓库类比为报表。
而数据中台更贴近下层业务，带着业务属性。同样以接口模式为其余下层各个业务线提供继续调用。
- 数据抽取：从 db，nosql，日志等各个起源提供抽取接口
- 数据接口：为下层业务提供须要的定制化业务数据接口
- 数据分析：行业剖析与决策、数据驱动经营
- 人工智能：用户画像、商品举荐
- 可视化：数据大屏、信息展现、流动报表等
…
4）服务接入层
即大中台，小前台的前台，电商中直面用户的 B2B,B2C 等各个业务线。
- 现有的业务模式、流程等依据市场及时调整，变动十分快。
- 新的业务线能够被疾速实现，不须要再反复开发底层的中台业务，调取中台接口组装即可。
总结与思考
- 单体业务模式容易引发什么问题？
- 中台化的理念是什么？带来哪些挑战？
2、数据架构
2.1 单数据库
早在 2003-2004 淘宝 V1.0 就应用 mysql，V1.1 换成 oracle，直到 2007 数据库从新往 mysql 回迁。
这个阶段往往引发追赶商业大型 db 如 oracle（淘宝 v1.1，mysql→oracle）
1）计划
java web 我的项目间接通过 jdbc，连贯繁多的数据库，读写扎堆在一块，单库上的机器 io 及 cpu 性能很快达到下限
数据库：mysql、oracle、sqlserver、db2 等（课题：mysql 性能调优）
长久层框架：jdbc，hibernate，jpa，mybatis（课题：mybatis 源码分析）
2.2 主从读写
淘宝从 oracle 换回 mysql 的历程中实现了主从库部署与读写拆散。
1）计划
java web 应用层连贯多个数据库，数据库之间造成主从关系，主库上写，从库上读。读写压力被扩散
数据库集群：一主多从、双主单写（课题：mysql 千亿级数量线上扩容实战）
应用层开发：多数据源反对，spring multi datasource
2）特点
数据提早：从主库到从库之间数据须要通过网络传输，不可避免的有提早
开发层面：须要开发框架具备多数据源的反对，以及自动化的数据源切换
单库瓶颈：业务越来越多，表数量越来越多。呈现单个库几百张表的景象
数据局限：仍然无奈解决单表大数据的问题，比方订单积攒达到亿级，即便在从库，关联查问仍然奇慢无比
2.3 分库分表
2004-2007，淘宝 V2.1，分库。
1）计划
主从库的写入仍然是有一个对立的主库入口。随着业务量的晋升，持续细粒度化拆分
业务分库：订单库，产品库，流动库，会员库
横向分表：（拆记录）3 个月内订单，半年内订单，更多订单
纵向分表：（拆字段）name、phone 一张表，info、address 一张表，俩表 id 统一
（课题：每天千万级订单的生成背地痛点及技术冲破）
2）特点
分库：不同的数据库，所以无奈应用数据库事务，而分布式事务的成果并不现实，多采纳幂等和最终一致性计划。
（课题：多服务之间分布式事务的一站解决，业务幂等性技术架构体系）
分表：拆了再聚合是一对矛盾，例如按下单工夫维度的分表，须要按用户排序统计变得异样艰难。
中间件：Sharding-JDBC（课题：分库分表下每天亿级订单生成的痛点与架构），Mycat，Atlas
2.4 高速缓存
2006-2007，淘宝 V2.2 架构，分布式缓存 Tair 引入。
1）计划
数据库往往是零碎的瓶颈，依据数据的冷热划分，热点数据如类目、商品根底信息放在缓存中，其余数据提早加载
ehcache：非分布式，简略，易保护，可用性个别
memcache：性能牢靠，纯内存，集群须要客户端本人实现，无长久化
redis：性能牢靠，纯内存，自带分片，集群，哨兵，反对长久化，简直成为以后的规范计划
（课题：MTD 巨头高性能缓存代理计划实战，Twemproxy 高阶应用）
2）特点
缓存策略：冷热数据的寄存，缓存与 db 的边界须要架构师去把控，重度依赖可能引发问题
（memcache 造成 db 低压案例；redis 短信平台故障案例）
缓存陷阱：击穿（繁多 key 过期），穿透（不存在的 key），雪崩（多个 key 同时过期）
数据一致性：缓存和 db 之间因为同一份数据保留了两份，天然带来了一致性问题
（课题：redis 高阶技术分析）
2.5 数据多样化
一个网站中，数据库和缓存只是一种根本的存储伎俩，除了这些，随着网站架构的倒退其余各种模式的存储构造相继涌现：
2006-2007，淘宝 V2.2，分布式存储 TFS，分布式缓存 Tair，V3.0 退出 nosql Cassandra，搜索引擎降级
数据库全文检索→搜索引擎、本地上传 +nfs→分布式文件系统的演进，计划前期均有深刻解说
2.5.1 分布式文件
商品图片，上传的文件等
hdfs：大数据下的分布式存储（课题：Apache Druid 打造大数据实时监控零碎，基于 Flink 的打车平台实时流数据分析）
fastdfs
cephFs（课题：有限容量云盘分布式存储技术计划 ceph）
2.5.2 nosql
redis 经典缓存，上节已介绍
mongodb（课题：mongodb 海量数据生产扩容实战）
hbase
tidb（课题：TiDB 亿级订单数据亚秒响应查问计划）
2.5.3 搜索引擎
搜索引擎：lucene，solr，elasticsearch（课题：电商终极搜寻 ElasticStack）
2.5.4 架构特点
- 开发框架反对：存储的数据多样化，要求开发框架架构层面要提供多样化的撑持，并确保拜访易用性
- 数据运维：多种数据服务器对运维的要求晋升，机器的数据保护与灾备工作量加大
- 数据安全：多种数据存储的权限，受权与拜访隔离须要留神
总结与思考
- 常见的数据库有哪些？长久层框架呢？
- 什么是分库，什么是分表？分表有哪些分法？
- 缓存有哪些问题，各是什么样的场景？
3、利用架构
3.1 单机调优
早年间的我的项目大多采纳 mvc 开发。
1）特点
每个我的项目成一个 mvc 构造，部署在应用服务器上（tomcat、jboss、websphere，weblogic）。
（课题：tomcat 源码分析）
随着业务扩张，需要迭代，我的项目变得越来越大，一个 war 包动辄几百兆。
崇尚调优，jvm 单节点调优甚至靠近于强迫症的境地。（课题：jvm 性能调优）
3.2 动静拆散
早年间的 Apache+tomcat，后被 nginx 简直一统江山。（前后端开发模式的演进：mvc 页面嵌套→接口化）
1）计划
动态响应：tomcat 对动态文件响应个别，提取动态文件，间接由 nginx 响应
动静代理：后端 api 通过代理转发给 tomcat 利用机器
2）特点
开发层面调整：我的项目构造要同步调整，由原来的一体化 mvc 转换为后端 api+ 前端模式。
前后协调：前后端的分工变得更明确，相互并行开发，独立部署，但也带来了接口协调与约定等沟通问题
跨域问题：后段与前端如果域名不同，可能存在跨域问题（head 头，jsonp 等伎俩能够解决）。
3.3 分布式
开始进行服务拆分了！
单纯的动静拆散只解决了本人服务的我的项目构造，跨我的项目接口调用时，必须通过 rest 申请，不利于服务之间的交互。
淘宝 V3.0，HSF 呈现，服务化导向，架构师忙于 SOA 和零碎关系的梳理。
1）计划
公共服务：反复开发的根底服务提取进去，造成服务中心，防止反复造轮子，降低成本，架构团队呈现。
独立性：各自服务独立部署降级，粒度更细，低耦合，高内聚
SOA 理念诞生：服务治理的领域，重在服务之间的拆分与对立接口
2）技术手段
异步化：
rabbitmq（课题：滴滴打车超时架构设计）
rocketmq（课题：滴滴打车排队原理与分析）
kafka（课题：海量订单数据同步）
Rpc：
dubbo（课题：dubbo 外围源码分析，zookeeper 源码分析）
Rpc 框架（课题：Rpc 外围源码与手写 Rpc，netty 通信与进阶）
3）特点
界线把控：服务的粒度、拆分和公共服务提炼须要架构师的全局把控。设计不好容易引发凌乱
部署降级：服务数量增多，人工部署变的不事实，必须借助自动化运维
（课题：高效运维篇，docker、k3s、jenkins、Apollo 利用公布实战）
服务可用性：抽调的微服务因须要被多个下层业务共享，可用性等级变高，一旦 down 机就是劫难
熔断和限流：做好服务熔断和限流，提防服务单点瓶颈造成整个零碎瘫痪。短信揭示失败不要影响下单。
（课题：cloud alibaba，sentinel 限流）
3.4 微服务
1）计划
微服务是基于 SOA 思维，将零碎粒度进一步细化而诞生的一种伎俩
中台化得以实现，各个核心以及前端业务拆解为多个小的服务单元。
2）技术手段
微服务经验了从 1.0（cloud）到 2.0 的演变（service mesh），目前企业中支流的解决方案仍然是 cloud 全家桶
springcloud（课题：springcloud 微服务前沿技术栈，spring、springboot 源码分析）
3）特点
服务拆分：粒度并非越小越好。太小会带来部署保护等一系列老本的回升。（课题：skywalking 微服务监控）
接口束缚：零碎增多，各个服务接口的规范化日益重要，要求有对立的服务接口标准，推动企业音讯总线的建设
权限束缚：接口不是任意想调就能够调的，做好权限管制，借助 oauth2 等伎俩，实现服务之间的权限认证。
总结与思考
- 如何了解微服务与 SOA，分布式的关系？
- 罕用的分布式服务框架有哪些？
4、部署架构
4.1 单机器
小型网站，阿里云小我的项目还有人在用。
1）计划
单台机器的性能很快达到下限，就是所说的资源有余了
而后开始晋升配置，推动高配机器的倒退，老本昂扬
2）特点
部署简略：采纳 web 包部署与公布，db 等资源同台机器连贯，简略易操作。（课题：tomcat 源码分析）
资源抢夺：在业务倒退的初始阶段尚可撑持，随着访问量的回升，单机性能很快会成为零碎瓶颈。
4.2 角色划分
略微大一点的零碎，把数据库、缓存、音讯等中间件剥离进来，独自机器来部署
1）计划
多台机器：tomcat 与 mysql 各自独占机器资源
针对性扩容：tomcat 利用机更重视 cpu 的运算和内存，mysql 更重视 io 与磁盘性能，针对各自状况扩容
（课题：架构设计基础设施保障）
2）特点
数据保护：能够抽出独自的 dba 来保护数据库服务器
数据安全：须要跨机器拜访数据库，链接明码须要留神防备透露
4.3 利用集群
2004-2005，淘宝 V2.0，EJB 为外围。V2.1 架构下，引入 spring 框架走向轻量化和集群
1）计划
apache：晚期负载平衡计划，性能个别
nginx：7 层代理，性能强悍，配置简洁，以后不二之选（课题：openresty 日活亿级用户流量管制）
haproxy：性能同样牢靠，可做 7 层或 4 层代理。
lvs：4 层代理，性能最强，linux 集成，配置麻烦（课题：lvs+keepalived 高可用部署实战）
f5：4 层，硬件负载，财大气粗的不二抉择
2）特点
session 放弃：集群环境下，用户登陆须要分布式 session 做撑持（课题：多维系统下单点登录的深刻解说）
分布式协同：分布式环境下对资源的加锁要超出线程锁的领域，回升为分布式锁
调度问题：调度程序不能多台部署，容易跑反复，除非应用散布式调度，如 elastic-job
机器状态治理：多台利用机的状态检测与替换须要做到及时性，个别 niginx 层做故障转移
服务降级：滚动降级成为可能，灰度公布（课题：不容忽视的灰度公布）
日志治理：日志文件扩散在各个机器，促成集中式日志平台的产生（课题：集中式日志平台的深刻利用）
4.4 多层代理
1）计划
机器规模进一步加大，动动态均有多个 nginx 负载，入口对立交给 lvs 负载。多层代理造成。
2）特点
机房受限：lvs 仍然是繁多节点，即便 keepalived 做到高可用，流量依然须要在惟一入口进入。
4.5 异地拜访
淘宝 V2.1 时代，应用本人的 TaobaoCDN。
将雷同的零碎部署多份，扩散到异地多个机房，或者电信、挪动等多个网络中。
不同地点，不同网络接入的用户，有了不同的拜访入口和抉择。
1）计划
dns 轮询：通过配置多个 ip 将服务部署到多个机房，通过 dns 的策略轮询调用，能够实现机房层面的扩容
CDN：就近准则，使用户取得就近的机房拜访相干资源，本人投资太大，购买他方须要付费。
2）特点
根本解决了机器部署的扩容问题，随着业务的倒退，扩容与膨胀变得艰难，促成资源调度层面的技术倒退。
4.6 云平台
针对中台化的建设及微服务数量的飙升，部署和运维撑持同步进行着改革。面临微服务的疾速部署，资源的弹性伸缩等挑战，容器化与云被推动。
案例：成千盈百的服务数量宏大、大促期间某些微服务的长期扩容。
1）计划
虚拟化：vm 计划，Openstack，Vmware，VirtualBox
容器化：docker
编排：swarm，k8s，k3s（课题：运维篇 docker，k8s 深刻原理与利用）
云化：容器化解决了资源的疾速伸缩，但仍须要企业自备大量机器资源。推动公有云到企业云进化
2）特点
资源预估：留神资源的回收，升高资源闲置和节约，例如大促完结后要及时回收。
运维要求：须要运维层面的高度撑持，门槛比拟高
预估危险：云瘫痪的故障造成的损失不可估量，（openstack 垮掉的事变案例）
总结与思考
- 常见的代理服务器有哪些？各属于网络的哪一层？
- docker 的编排工具有哪些？
架构思维
任何体系的成型不是欲速不达，随着访问量，数据量的增长，业务需要在推动技术架构的倒退改革。
- 知行合一，做之前，先思考意义
- 原生优于定制，约定大于配置
- 什么都是，最初会沦落到什么都不是
- 控制技术欲，不要瞎折腾
- 留下扩大，但不要想到 100 年后
- 没有最好的，只有最合适的
- 够用就好，玩的越花，危险越大
- 简洁最美
本文由传智教育博学谷 – 狂野架构师教研团队公布
转载请注明出处！