开源我的项目地址:
我的项目地址: https://github.com/ning1875/prome-route
PS: 这是一个仅用时半天就写完的我的项目
架构图
prometheus HA
prometheus本地tsdb性能杰出，然而碍于其没有集群版本导致
实现伎俩
留神这些伎俩都是要数据的对立存储
- 能够通过remote_write 到一个提供HA的tsdb存储中
- 通过联邦收集到一个prometheus里
问题来了，搞不定集中式的tsdb集群，或者集群挂了咋办
本我的项目介绍
原理介绍
- 必定有一组prometheus 服务器和pod用来采集各式各样的数据
- 那么采集器上本地的数据就是一个个分片，采集器自身也能够充当查问的角色
- 而且每个采集器下面的指标通过一个
特色标签比方cluster/app等辨别 -
通常是定义global.external_labels中的
global: external_labels: cluster: a - 如果能有一个路由组件，晓得所有特色标签对应的采集器地址
shard_addr_map = {
"cluster_a": "1.1.1.1:9090",
"cluster_b": "2.2.2.2:9090",
"cluster_c": "3.3.3.3:9090",
}- 而后依据申请中的expr获取到
特色标签，将其替换掉 - 因为在采集器本地存储的时候没有
特色标签 - 转发到指定的采集器申请数据后再返回给grafana即可
须要适配的接口
prometheus 3大查问接口
- instance_query : /api/v1/query 报警应用和以后点查问
- range_query : /api/v1/query_range 查问一段时间的曲线
- series ： /api/v1/series 应用label_values查问变量
对应在代码中实现
func Routes(r *gin.Engine) {
qApi := r.Group("/")
qApi.GET("/api/v1/query_range", promeRangequery)
qApi.GET("/api/v1/query", promeInstancequery)
qApi.GET("/api/v1/series", promeSeriesQuery)
}查问状态码不同时返回数据结构不同
这个很好解决，用interface即可
respBytes, err := ioutil.ReadAll(resp.Body)
if err != nil {
log.Error(err.Error())
c.String(http.StatusInternalServerError, fmt.Sprintf(`target prome %s error by %s=%s `, targetProme, keyName, labelName))
return
}
var respInterface interface{}
_ = json.Unmarshal(respBytes, &respInterface)
c.JSON(resp.StatusCode, respInterface)优缺点
长处
- 查问在各自采集器实现，不必受限于集中tsdb的可用性，挂了，也能够查到，查问相互不受影响
- 数据保留工夫不受限于对立的tsdb配置，能够各自配置业务采集器
- 查问limit参数也不再首先于对立的tsdb配置，放飞。。。
- 组件无状态，只做转发，可横向扩容
毛病
- 受限于对立的label特色
使用指南
适用范围
- 不想保护tsdb集群
- 给tsdb集群挂了时做备份查问
- 查问时含有
特色标签，采集器上数据没有特色标签
留神
- 如果自身每个采集器下面的数据曾经有
特色标签区别好了，那么须要改下本我的项目的代码间接转发即可
# build
git clone https://github.com/ning1875/prome-route.git
go build -o prome-route main.go
#批改配置文件
补充prome-route.yml中的信息:
replace_label_name: cluster # 特色标签，即grafana查问时用来辨别不同shard的label name
# 比方特色标签为cluster ：node_memory_MemFree_bytes{cluster="a",node=~".+"}
# 代表查问分片a上的node_memory_MemFree_bytes数据
prome_servers:
a: 1.1.1.1:9090 # 各个分片采集器的value及其地址
b: 2.2.2.2:9090
http:
listen_addr: :9097
#启动服务
./prome-route --config.file=prome-route.yml
systemctl start prome-route
# 在grafana中增加数据源地址填 $prome-route:9097 如1.1.1.1:9097
发表回复