乐趣区

关于prometheus:开源项目-promeroute-使用反向代理实现prometheus分片

jiezi

开源我的项目地址:

我的项目地址: https://github.com/ning1875/prome-route
PS: 这是一个仅用时半天就写完的我的项目

架构图

prometheus HA

prometheus 本地 tsdb 性能杰出，然而碍于其没有集群版本导致

实现伎俩

留神这些伎俩都是要数据的对立存储

  • 能够通过 remote_write 到一个提供 HA 的 tsdb 存储中
  • 通过联邦收集到一个 prometheus 里

问题来了，搞不定集中式的 tsdb 集群，或者集群挂了咋办

本我的项目介绍

原理介绍

  • 必定有一组 prometheus 服务器和 pod 用来采集各式各样的数据
  • 那么采集器上本地的数据就是一个个分片，采集器自身也能够充当查问的角色
  • 而且每个采集器下面的指标通过一个 特色标签 比方 cluster/app 等辨别

  • 通常是定义 global.external_labels 中的

    global:
  external_labels:
    cluster: a
  • 如果能有一个路由组件，晓得所有特色标签对应的采集器地址
shard_addr_map = {  
 "cluster_a": "1.1.1.1:9090",  
 "cluster_b": "2.2.2.2:9090",  
 "cluster_c": "3.3.3.3:9090",  
}
  • 而后依据申请中的 expr 获取到 特色标签，将其替换掉
  • 因为在采集器本地存储的时候没有 特色标签
  • 转发到指定的采集器申请数据后再返回给 grafana 即可

须要适配的接口

prometheus 3大查问接口

  • instance_query : /api/v1/query 报警应用和以后点查问
  • range_query : /api/v1/query_range 查问一段时间的曲线
  • series：/api/v1/series 应用 label_values 查问变量

对应在代码中实现

func Routes(r *gin.Engine) {qApi := r.Group("/")  
   qApi.GET("/api/v1/query_range", promeRangequery)  
   qApi.GET("/api/v1/query", promeInstancequery)  
   qApi.GET("/api/v1/series", promeSeriesQuery)  
  
}

查问状态码不同时返回数据结构不同

这个很好解决，用 interface 即可

respBytes, err := ioutil.ReadAll(resp.Body)  
if err != nil {log.Error(err.Error())  
   c.String(http.StatusInternalServerError, fmt.Sprintf(`target prome %s error by %s=%s `, targetProme, keyName, labelName))  
   return  
}  
var respInterface interface{}  
_ = json.Unmarshal(respBytes, &respInterface)  
  
c.JSON(resp.StatusCode, respInterface)

优缺点

长处

  • 查问在各自采集器实现，不必受限于集中 tsdb 的可用性，挂了，也能够查到，查问相互不受影响
  • 数据保留工夫不受限于对立的 tsdb 配置，能够各自配置业务采集器
  • 查问 limit 参数也不再首先于对立的 tsdb 配置，放飞。。。
  • 组件无状态，只做转发，可横向扩容

毛病

  • 受限于对立的 label 特色

使用指南

适用范围

  • 不想保护 tsdb 集群
  • 给 tsdb 集群挂了时做备份查问
  • 查问时含有 特色标签 ，采集器上数据没有 特色标签

留神

  • 如果自身每个采集器下面的数据曾经有 特色标签 区别好了，那么须要改下本我的项目的代码间接转发即可
# build  
git clone https://github.com/ning1875/prome-route.git  
go build -o prome-route main.go   
  
#批改配置文件  
补充 prome-route.yml 中的信息:  
replace_label_name: cluster # 特色标签，即 grafana 查问时用来辨别不同 shard 的 label name  
 # 比方特色标签为 cluster：node_memory_MemFree_bytes{cluster="a",node=~".+"}  
 # 代表查问分片 a 上的 node_memory_MemFree_bytes 数据  
prome_servers:  
  
 a: 1.1.1.1:9090 # 各个分片采集器的 value 及其地址  
 b: 2.2.2.2:9090  
  
  
http:  
 listen_addr: :9097  
 
#启动服务  
./prome-route --config.file=prome-route.yml
systemctl start prome-route

# 在 grafana 中增加数据源地址填 $prome-route:9097 如 1.1.1.1:9097
退出移动版