以 python 为例,从 pykafka 到 kafka-python 到 confluent-kafka 到 flink
要留神最好应用最新版本
pykafka 和 kafka-python 性能不是很好,具体情况也能够查到
confluent-kafka 性能好一点,也反对异步,有事件轮循机制,所以在与 torando 联合应用
如同有问题,因为 tornado 是单过程,加上 GIL 锁,能够看这个:
https://github.com/confluenti…
有些低版本装置后提醒“confluent_kafka/src/confluent_kafka.h:22:32: fatal error: librdkafka/rdkafka.h: No such file or directory”,
能够 apt-get install librdkafka-dev -y
所以我的项目上最好用 flink