乐趣区

解析envoy处理http请求上filter架构

2019-06-17 13:24 灵雀云 分类:istio 阅读(22) 评论(0) [编辑]
Envoy 是 istio 的核心组件之一,以 sidecar 的方式与服务运行在一起,对服务的流量进行拦截转发。具有路由,流量控制等等强大特性。

Envoy 利用 libevent 实现了基于事件触发的异步架构,所有的网络阻塞操作包括 accept,read, connect, write 都是由 eventloop 进行 callback 触发。

本文以 istio1.1 所对应的 Envoy 版本进行源码流程分析。

名词解释:

下游: 发送请求给 Envoy 的服务,client
上游:接收 Envoy 发送的请求,并返回响应的服务,server
Filter 流程图
下面的流程图为 istio 架构下,访问 80 端口的 http 服务的流程。

  1. Client 向 Envoy 的 15001 port 建立连接,被转到 80 port 的 Listener

2.Client 发送请求给 Envoy,Envoy 经过路由后找到上游 Server,并发送请求

3. 上游 Server 返回响应给 Envoy,Envoy 利用 event_active 立即返回响应给下游的 client

  1. Client 主动断开下游到 Envoy 的连接

  1. Server 主动断开 Envoy 到上游的连接

Filter 分类

  1. ListenerFilter

listener.listener_filters

用于接收到下游新连接的时候回调

接口:

onAccept(callback)
内置类型:

envoy.listener.original_dst(istio 中的 15001 端口常用)
根据 iptables 转换之前的 dst port,查找到真实的 Listener,查找到 Listener 会根据新的 Listener 的配置继续处理

envoy.listener.tls_inspector
注册 read callback,识别 tls 和进行 tls 握手,握手结束后会进行下一步的 filterChain 的处

注册 filter:

  1. ReadFilter

listener.filter_chains.filters

用于接受到下游新连接的时候回调
上游或者下游连接上有数据可以读取的时候的回调,一般用于协议的解析
接口:

onNewConnection()
onData(data, end_stream)

内置类型:

Envoy::Http::CodecClient 只在向上游的连接用到,且向上游的连接只有这个 filter,用于读取响应
envoy.http_connection_manager
处理 http 请求的主要 filter

envoy.tcp_proxy
envoy.redis_proxy

注册 filter:

  1. WriteFilter

listener.filter_chains.filters

用于向上游的连接写入数据的时候回调(目前内置的 writeFilter 没有 http 相关的)

接口:

onWrite(data, end_stream)
内置类型:

envoy.filters.network.dubbo_proxy
envoy.mongo_proxy
envoy.filters.network.mysql_proxy
envoy.filters.network.zookeeper_proxy
注册 filter:

  1. StreamDecodeFilter (envoy.http_connection_manager 下独有的 filter)

listener.filter_chains.filters[envoy.http_connection_manager].http_filters

用于解析 http 请求各个部分的时候回调执行

接口:

decodeHeaders(headers, end_stream)
decodeData(data, end_stream)
decodeTrailers(HeaderMaps& trailers)
decodeComplete()

内置类型:

envoy.cors
envoy.fault
envoy.router

注册 filter:

  1. StreamEncodeFilter

(envoy.http_connection_manager 下独有的 filter)

listener.filter_chains.filters[envoy.http_connection_manager].http_filters

发送响应各个部分给下游 client 的时候执行

接口:

encode100ContinueHeaders(headers)
encodeHeaders(headers, end_stream)
encodeData(data, end_stream)
encodeTrailers(HeaderMap& trailers)
encodeMetadata(metadata_map)
encodeComplete()

内置类型:

envoy.cors
envoy.fault
envoy.lua

注册 filter:

  1. PerFilterConfig (并不是 filter,只是为 4,5 中的 http_filter 提供 route 级别的配置数据)

route.virtual_hosts.per_filter_config

位于 route 上的字段,只有当对应 Listener 上 http_connection_manager 包含对应 httpfilter 的时候才有用,结构为 map<string, Struct> 用法由 filter 自己实现

7.ConnectionCallbacks

listener.filter_chains.filters

接口:

onEvent(event)
事件分为 RemoteClose, LocalClose, Connected 会在各个阶段调用

onAboveWriteBufferHighWatermark()
onBelowWriteBufferLowWatermark()
route.virtual_hosts.per_filter_config
类型:

Envoy::Http::CodeClient 只在向上游的连接用到,且向上游的连接只有这个 filter,用于检测上游连接断开
envoy.http_connection_manager
envoy.tcp_proxy
envoy.redis_proxy
注册 filter:

  1. access_log_handlers

接口:

log(request_headers, response_headers, response_trailers, stream_info)
类型:

Envoy::Http::Mixer::Filter
istio 为 Envoy 添加的 Filter,在 AccessLogHandlers 这边主要用于 Report
Envoy::Extensions::AccessLoggers::File::FileAccessLog
Envoy::Extensions::HttpGrpc::File::HttpGrpcAccessLog
Envoy::Extensions::HttpFilters::TapFilter::Filter
Filter 流程中关键步骤解析

  1. findActiveListenerByAddress

根据 socket 的 localaddress 和 port 选择合适的 Listener 处理

1. 利用 syscall 找到 iptables 转化之前的 dst port(如果有 envoy.listener.original_dst)
os_syscalls.getsockopt(fd, SOL_IP, SO_ORIGINAL_DST, &orig_addr, &addr_len)

2. 先匹配 address 和 port 和 socket 都一致的 Listener,如果没找到再找 port 一致,address==0.0.0.0 的 Listener

  1. 匹配 request 选择 route 和 cluster

在构造 RouteMatcher 的时候会遍历 virtual_hosts 下的 domains,并根据通配符的位置和 domain 的长度分为 4 个 map<domain_len, std::unordered_map<domain, virtualHost>, std::greater<int64_t>>

default_virtual_host_ domain 就是一个通配符(只允许存在一个)
wildcard_virtual_host_suffixes_ domain 中通配符在开头
wildcard_virtual_host_prefixes_ domain 中通配符在结尾
virtual_hosts_ 不包含通配符

  1. 按照 virtual_hosts_ => wildcard_virtual_host_suffixes_ => wildcard_virtual_host_prefixes_ => default_virtual_host_ 的顺序查找

同时按照 map 的迭代顺序(domain len 降序)查找最先除去通配符后能匹配到的 virtualhost,如果没有直接返回 404

3. 在一个 virtualhost 上查找对应 route 和 cluster

在通过 domain 匹配到 virtualhost,会在那个 virtualhost 上匹配查找 cluster,如果没匹配上,会直接返回 404


match 可以根据配置分为 prefix, regex, path 三种 route 进行匹配
如果存在 weighted_clusters,会根据 stream_id , 和 clusters 的 weight 进行分发,stream_id 本身是每个请求独立随机生成,所以 weighted_clusters 的权重分发可以视为随机分发
3. 负载均衡策略选择 endpoint
1. 在上一步查找到了 clusterName, 对于 clusterEntry,都是从 ThreadLocalClusterManagerImpl 中取出,每个 worker 都一份自己的数据

2. 对于 ThreadLocalClusterManagerImpl , 维护了多份根据类型和协议区分的 map

其中 http 协议才用的是 host_http_conn_pool_map_ 这个 map,大致的结构为 map<host, map<protocol, connpool>> , 因为 http 分为 Http10, Http11, Http2 不同协议的 connpool 都是独立的

对于 http 请求,会从 host_http_conn_pool_map_ 中查到对应的 connpool,每个 worker 都维护了一份自己独有的 threadlocal connpool

Mixer
mixerclient 是 istio 基于 Envoy,添加 filter 进行 check 和 report 的模块

注册到 Envoy

注册到 Envoy 主要就是两行


第一行注册了 StreamDecodeFilter 和 StreamEncodeFilter,Http::Mixer::Filter 在 decodeHeader 这个 hook 中实现了 Check,发送 attributes 给 mixerserver 进行检查

第二行注册了 AccessLogHandler,这个会在 一个请求结束的时候执行

在 Mixer filter 的 log method 中,会进行 report 操作

可以看到 Mixer 虽然是每个请求结束都会调用 log,但实际的上报 mixer 是批量发送(累计一定大小或者到达一定时间间隔)。

总结
1. 可以在 Envoy 处理请求的各个阶段加入 filter 来定制化功能,可以自己编写 c ++ 的 filter,用 REGISTER_FACTORY 注册到对应的 Factory map 中。

  1. istio 通过 mixer filter 实现了 check 和 report 功能。
退出移动版