一、Codis介绍
Codis是豌豆荚开源的Redis集群计划,github地址:
https://github.com/CodisLabs/...
以下是官网介绍:
Codis 是一个分布式 Redis 解决方案, 对于下层的利用来说, 连贯到 Codis Proxy 和连贯原生的 Redis Server 没有显著区别 (不反对的命令列表), 下层利用能够像应用单机的 Redis 一样应用, Codis 底层会解决申请的转发, 不停机的数据迁徙等工作, 所有后边的所有事件, 对于后面的客户端来说是通明的, 能够简略地认为后边连贯的是一个内存无限大的 Redis 服务。https://github.com/CodisLabs/...
Codis次要解决的是redis的扩大和运维问题,因为redis官网以前没有集群计划,自从3.0才有,并且刚开始做的比拟弱,特地是运维这块不是很敌对,很多都是命令行操作的。咱们能够认为Codis是一个能够反对容量能够有限扩充的Redis集群就行。
二、Codis装置及配置
1、整体架构
Codis是由golang写的,因而须要先装置go语言,官网给的文档曾经很具体了,这里不详述。
咱们看下Codis的整体架构,基于3.2:
2、相干概念
Codis Server:能够了解为原生的Redis,在整个集群中充当存储用,即最终数据是存在Redis中的,不过Codis在下面改了些货色,加了些命令,便于集群迁徙和分片;
Codis Proxy:客户端连贯的 Redis 代理服务, 实现了 Redis 协定。即Proxy只是一个代理,把命令做解析,而后依据路由规定转到不同的Codis Server中,Proxy是无状态的,能够有限扩容,Proxy信息保留在Zookeeper等Storage(前面再介绍)中,客户端须要本人刷新最新的Proxy列表。
Codis Dashboard:这个是Codis的外围,对集群的绝大部分批改都是它来实现的。官网的介绍如下:集群管理工具,反对 codis-proxy、codis-server 的增加、删除,以及据迁徙等操作;说的比拟抽象,上面咱们会通过代码来阐明其作用。
Codis FE:集群治理界面,能够了解为UI。
Codis Admin:集群治理的命令行工具,可用于管制 codis-proxy、codis-dashboard 状态以及拜访内部存储。为什么有了Dashboard,还要Codis Admin,这个工具的次要定位是通过命令行的形式操作,其实前面的逻辑是一样的,即Codis Admin和Codis Fe是两种不同的界面,最初的逻辑是一样的。
Storage:次要存储元数据,如集群有多少个 Proxy,以后的分片是怎么样的。目前有 Zookeeper、Etcd、Fs等形式的实现。
3、集群启动
整个集群的启动形式官网也有阐明,大体程序如下:
1)、启动codis-dashboard
/admin/codis-dashboard-admin.sh start
最终启动的是codis-dashboard这个二进制文件:
./bin/codis-dashboard --ncpu=4 --config=dashboard.toml --log=dashboard.log --log-level=WARN
次要的参数是--config,即配置文件,外围几个配置如下:
coordinator_name = "zookeeper"coordinator_addr = "127.0.0.1:2181"# Set Codis Product {Name/Auth}.product_name = "codis-demo"product_auth = ""# Set bind address for admin(rpc), tcp only.admin_addr = "0.0.0.0:18080"
coordinator_name和coordinator_addr配置的是Storage的类型及地址;
product_name配置的是集群的名称,Codis以Product作为一个集群,每个集群有不同的Codis Server和Codis Proxy及Dashboard;product_auth为明码,如果开发环境倡议留空,生产上最好是不为空。
2)、启动codis-proxy
./admin/codis-proxy-admin.sh start
最终启动的是codis-proxy这个二进制文件
./bin/codis-proxy --ncpu=4 --config=proxy.toml --log=proxy.log --log-level=WARN &
最次要的是--config参数,外围参数有:
product_name = "codis-demo"product_auth = ""# Set bind address for admin(rpc), tcp only.admin_addr = "0.0.0.0:11080"
product_name和product_auth要和下面的Codis Dashboard对应上
3)启动codis-server
./admin/codis-server-admin.sh start
4)启动codis-fe
./admin/codis-fe-admin.sh star
最终启动的是codis-fe这个二进制文件
./bin/codis-fe --ncpu=4 --log=fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=127.0.0.1:8080 &
listen参数比拟重要,就是咱们要在浏览器拜访的地址了。
Codis Admin是命令行不必启动,每次执行一个命令就退出了。
三、代码剖析各组件作用
后面讲到了Codis的和组件,总体还是比拟多的,我刚开始也是一头雾水,通过看代码就比拟清晰了。
咱们先看下Codis整体代码构造:
代码大略在以下目录:
cmd:下面说的二进制文件的入口,即main函数所在文件,这个上面不同命令有不同的文件夹,都叫main.go。
pkg:外围的业务逻辑
vendor:次要是寄存第三方代码库
1)、Codis Dashboard
s, err := topom.New(client, config) if err != nil { log.PanicErrorf(err, "create topom with config file failedn%s", config) } //省略一些代码 for i := 0; !s.IsClosed() && !s.IsOnline(); i++ { //启动Topom if err := s.Start(true); err != nil { if i <= 15 { log.Warnf("[%p] dashboard online failed [%d]", s, i) } else { log.Panicf("dashboard online failed, give up & abort :'(") } time.Sleep(time.Second * 2) } }
dashboard的初始化逻辑都在下面了,几个要害代码是topom.New以及s.Start(true),Start的逻辑当前再细讲,明天关注 topom的初始化。
topom.new会启动一个协程执行:
s.serveAdmin()
这个函数外部会启动一个apiServer,以下是具体的路由:
r.Get("/", func(r render.Render) { r.Redirect("/topom") }) r.Any("/debug/**", func(w http.ResponseWriter, req *http.Request) { http.DefaultServeMux.ServeHTTP(w, req) }) r.Group("/topom", func(r martini.Router) { r.Get("", api.Overview) r.Get("/model", api.Model) r.Get("/stats", api.StatsNoXAuth) r.Get("/slots", api.SlotsNoXAuth) }) r.Group("/api/topom", func(r martini.Router) { r.Get("/model", api.Model) r.Get("/xping/:xauth", api.XPing) r.Get("/stats/:xauth", api.Stats) r.Get("/slots/:xauth", api.Slots) r.Put("/reload/:xauth", api.Reload) r.Put("/shutdown/:xauth", api.Shutdown) r.Put("/loglevel/:xauth/:value", api.LogLevel) r.Group("/proxy", func(r martini.Router) { r.Put("/create/:xauth/:addr", api.CreateProxy) r.Put("/online/:xauth/:addr", api.OnlineProxy) r.Put("/reinit/:xauth/:token", api.ReinitProxy) r.Put("/remove/:xauth/:token/:force", api.RemoveProxy) }) r.Group("/group", func(r martini.Router) { r.Put("/create/:xauth/:gid", api.CreateGroup) r.Put("/remove/:xauth/:gid", api.RemoveGroup) r.Put("/resync/:xauth/:gid", api.ResyncGroup) r.Put("/resync-all/:xauth", api.ResyncGroupAll) r.Put("/add/:xauth/:gid/:addr", api.GroupAddServer) r.Put("/add/:xauth/:gid/:addr/:datacenter", api.GroupAddServer) r.Put("/del/:xauth/:gid/:addr", api.GroupDelServer) r.Put("/promote/:xauth/:gid/:addr", api.GroupPromoteServer) r.Put("/replica-groups/:xauth/:gid/:addr/:value", api.EnableReplicaGroups) r.Put("/replica-groups-all/:xauth/:value", api.EnableReplicaGroupsAll) r.Group("/action", func(r martini.Router) { r.Put("/create/:xauth/:addr", api.SyncCreateAction) r.Put("/remove/:xauth/:addr", api.SyncRemoveAction) }) r.Get("/info/:addr", api.InfoServer) }) r.Group("/slots", func(r martini.Router) { r.Group("/action", func(r martini.Router) { r.Put("/create/:xauth/:sid/:gid", api.SlotCreateAction) r.Put("/create-some/:xauth/:src/:dst/:num", api.SlotCreateActionSome) r.Put("/create-range/:xauth/:beg/:end/:gid", api.SlotCreateActionRange) r.Put("/remove/:xauth/:sid", api.SlotRemoveAction) r.Put("/interval/:xauth/:value", api.SetSlotActionInterval) r.Put("/disabled/:xauth/:value", api.SetSlotActionDisabled) }) r.Put("/assign/:xauth", binding.Json([]*models.SlotMapping{}), api.SlotsAssignGroup) r.Put("/assign/:xauth/offline", binding.Json([]*models.SlotMapping{}), api.SlotsAssignOffline) r.Put("/rebalance/:xauth/:confirm", api.SlotsRebalance) }) r.Group("/sentinels", func(r martini.Router) { r.Put("/add/:xauth/:addr", api.AddSentinel) r.Put("/del/:xauth/:addr/:force", api.DelSentinel) r.Put("/resync-all/:xauth", api.ResyncSentinels) r.Get("/info/:addr", api.InfoSentinel) r.Get("/info/:addr/monitored", api.InfoSentinelMonitored) }) })
能够看到dashboard有以下几块性能:
proxy治理:即/proxy结尾的申请
group治理及slots治理,还有一些统计信息。
2)、Codis Fe
入口为cmd/fe上面的main.go,外围就启动2个路由解决:
r.Get("/list", func() (int, string) { names := router.GetNames() sort.Sort(sort.StringSlice(names)) return rpc.ApiResponseJson(names) }) r.Any("/**", func(w http.ResponseWriter, req *http.Request) { name := req.URL.Query().Get("forward") if p := router.GetProxy(name); p != nil { p.ServeHTTP(w, req) } else { w.WriteHeader(http.StatusForbidden) } })
其中/list申请是进入Codis Fe主界面就会调用的,用来展现以后有多少集群的;
还有一个路由是转发的,即如果参数中有forward参数,会把申请转到相应的Proxy来解决。
能够看到Proxy就两性能:一是显示所有Product Name,即以后有多少集群,第二就是申请转发,行将申请转到具体的Proxy。
3)、Codis Proxy
入口文件在 cmd/proxy/main.go,
s, err := proxy.New(config)
proxy.New会启动几个协程来解决工作:
go s.serveAdmin() go s.serveProxy() //上面是一些统计信息 s.startMetricsJson() s.startMetricsInfluxdb() s.startMetricsStatsd()
重点关注后面2个,特地是第2个,s.serveProxy:
go func(l net.Listener) (err error) { defer func() { eh <- err }() for { c, err := s.acceptConn(l) if err != nil { return err } NewSession(c, s.config).Start(s.router) } }(s.lproxy)
能够看到,Proxy就是一直的accept连贯,而后启动一个Session。
总结下:Proxy的作用是解决客户端的连贯,而后为每个连贯建设一个Session,再依据客户端具体输出的命令进行解决,具体细节后续再聊。