关于kafka:快速搭建kafka集群3台

默认三台机器曾经装置 java，设置好 ssh 免密连贯。
1. 下载 kafka
http://kafka.apache.org/downl…

2. 发送到集群解压到指定目录 /usr/local 下

tar -zxvf kafka_2.11-0.10.0.1.tar.gz -C /usr/local

3. 进入 kafka_2.11-0.10.0.1 目录，创立文件夹 zk_kfk_data（自取）
，并在该目录下创立 myid 文件，内容在三个集群中不同，别离是 1,2,3

cd kafka_2.11-0.10.0.1
mkdir zk_kfk_data
vi myid

4. 创立目录

mkdir logs
mkdir kafka-logs-1

5. 批改 /config/zookeeper.properties 文件

cd config
vi zookeeper.properties

6. 批改 server.properties

vi server.properties

7. 把 kafka 整个文件夹分发给两个子节点

scp -r /usr/local/kafka_2.11-0.10.1.1 hadoop@centos2:/usr/local
scp -r /usr/local/kafka_2.11-0.10.1.1 hadoop@centos3:/usr/local

8. 批改 centos2 和 centos3 的 myid

ssh centos2
cd /usr/local/kafka_2.11-0.10.1.1/zk_kfk_data
vi myid

ssh centos3
cd /usr/local/kafka_2.11-0.10.1.1/zk_kfk_data
vi myid

9. 批改 centos2 和 centos3 的 server.properties

ssh centos2
cd /usr/local/kafka_2.11-0.10.1.1/config
vi server.properties

ssh centos3
cd /usr/local/kafka_2.11-0.10.1.1/config
vi server.properties

装置实现！
运行测试：(默认在 /usr/local/kafka_2.11-0.10.1.1 目录下执行)
10. 三台集群别离启动 zk:

./bin/zookeeper-server-start.sh config/zookeeper.properties & 

11. 启动 kafka 集群

nohup ./bin/kafka-server-start.sh config/server.properties &>> kafka.log &

12. 创立 topic：

./bin/kafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181  --replication-factor 1 --partitions 1 --topic test

13. 查看 topic：

./bin/kafka-topics.sh --list --zookeeper localhost:2181

14. 发送数据：

./bin/kafka-console-producer.sh --broker-list centos1:9092,centos2:9092,centos3:9092 --topic test

15. 生产：

./bin/kafka-console-consumer.sh --zookeeper centos1:2181,centos2:2181,centos3:2181 --from-beginning --topic test