关于kafka:MacBook-Linux安装Kafka

9次阅读

共计 1833 个字符,预计需要花费 5 分钟才能阅读完成。

Kafka 简略介绍

Apache Kafka 是一个分布式的 公布 – 订阅 消息传递零碎和一个弱小的队列,Kafka 最后由 Linkedin 公司开发,是一个分布式、分区的、多正本的、多订阅者,基于 zookeeper 协调的分布式日志零碎(也能够当做 MQ 零碎), Linkedin 于 2010 年奉献给了 Apache 基金会并成为顶级开源我的项目。Kafka 能够解决大量的数据,并使您可能将音讯从一个端点传递到另一个端点。Kafka 适宜离线和在线音讯生产。Kafka 音讯被保留在磁盘上并在集群内复制以避免数据失落。Kafka 建设在 ZooKeeper 同步服务之上。它与 Apache Storm 和 Spark 完满集成,用于实时流数据分析。

长处:

  • 可靠性 — 卡夫卡是分布式,分区,复制和容错。
  • 可扩展性 — Kafka 音讯零碎无需停机即可轻松扩大。
  • 耐用性 — Kafka 应用分布式提交日志,这意味着音讯尽可能快地保留在磁盘上,因而它是长久的。
  • 性能 —Kafka 对于公布和订阅音讯都有很高的吞吐量。它保持稳定的性能,即便存储了许多 TB 数据量 (级) 的音讯。

Kafka 速度十分快,可确保零停机工夫和零数据失落。

官网下载地址: http://kafka.apache.org/downl…
官网下载包: kafka_2.11-1.1.0.tgz

Kafka 依赖 Zookeeper

Kafka 依赖 Zookeeper, 能够独自装置 Zookeeper, 也能够间接启动 Kafka 包里自带的 Zookeeper

MacBook Linux 装置 zookeeper

MacBook Linux 装置 Kafka

# 解压
tar -zxvf kafka_2.11-1.1.0.tgz

#进入解压目录
cd kafka_2.11-1.1.0

#创立日志目录
mkdir kafka-logs

#批改配置
vim config/server.properties
#指定日志目录
log.dirs=/Users/liang/software/kafka_2.11-1.1.0/kafka-logs

#启动自带的 zookeeper, 也能够应用内部的 zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

#后盾形式启动
#bin/zookeeper-server-start.sh config/zookeeper.properties &
#bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

#启动 kafka 服务 
bin/kafka-server-start.sh config/server.properties

#后盾形式启动
#bin/kafka-server-start.sh config/server.properties &
#bin/kafka-server-start.sh -daemon config/server.properties &
#nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

#进行 kafka
bin/kafka-server-stop.sh

#进行 zookeeper
bin/zookeeper-server-stop.sh

常用命令

# 查问 topic
bin/kafka-topics.sh --list --zookeeper localhost:2181

#创立 topic 
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

#生产者 
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

#消费者 
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test

参考链接:
https://www.cnblogs.com/dragk…
https://blog.csdn.net/zxy9878…
https://colobu.com/2014/08/06…
https://www.cnblogs.com/zhaoj…

正文完
 0