3、 kafka集群装置部署

3.1、具体部署过程

  • 1、下载安装包（http://kafka.apache.org）

    kafka_2.11-1.1.0.tgz

  • 2、布局装置目录

    /wangyq/install

  • 3、上传安装包到node01服务器，并解压

    # 通过FTP工具上传安装包到node01服务器的/wangyq/soft门路下，而后进行解压cd /wangyq/soft/tar -zxf kafka_2.11-1.1.0.tgz -C /wangyq/install/

  • 4、批改配置文件

    • 在node01上批改kafak对应的配置文件 server.properties

      进入到kafka装置目录下有一个config目录，批改配置文件

cd /wangyq/install/kafka_2.11-1.1.0/config

vim server.properties#指定kafka对应的broker id ，惟一broker.id=0#指定数据寄存的目录log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs#指定zk地址zookeeper.connect=node01:2181,node02:2181,node03:2181#指定是否能够删除topic ,默认是false 示意不能够删除delete.topic.enable=true#指定broker主机名host.name=node01```

  • 5、node01执行以下命令散发kafka装置目录到其余节点

    # 由node01节点同步其余正本节点中cd /wangyq/install/scp -r kafka_2.11-1.1.0/ node02:$PWDscp -r kafka_2.11-1.1.0/ node03:$PWD

  • 6、批改node02和node03上的配置

    • node02执行以下命令进行批改配置

      cd /wangyq/install/kafka_2.11-1.1.0/config/vi server.properties#指定kafka对应的broker id ，惟一broker.id=1#指定数据寄存的目录log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs#指定zk地址zookeeper.connect=node01:2181,node02:2181,node03:2181#指定是否能够删除topic ,默认是false 示意不能够删除delete.topic.enable=true#指定broker主机名host.name=node02

    • node03执行以下命令进行批改配置

      cd /wangyq/install/kafka_2.11-1.1.0/config/vi server.properties#指定kafka对应的broker id ，惟一broker.id=2#指定数据寄存的目录log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs#指定zk地址zookeeper.connect=node01:2181,node02:2181,node03:2181#指定是否能够删除topic ,默认是false 示意不能够删除delete.topic.enable=true#指定broker主机名host.name=node03

3.1、 kafka集群启动和进行

3.1.1、 启动

  • 先启动zk集群

  • 而后在所有节点执行脚本

    cd /wangyq/install/kafka_2.11-1.1.0/nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

  • 一键启动kafka

    • start_kafka.sh

      #!/bin/shfor host in node01 node02 node03do        ssh $host "source /etc/profile;nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-start.sh /wangyq/install/kafka_2.11-1.1.0/config/server.properties >/dev/null 2>&1 &"        echo "$host kafka is running"done

3.2.1、 进行

  • 所有节点执行敞开kafka脚本

    cd /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-stop.sh

  • 一键进行kafka

    • stop_kafka.sh

      #!/bin/shfor host in node01 node02 node03do  ssh $host "source /etc/profile;nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-stop.sh &"   echo "$host kafka is stopping"done

3.3.1、 一键启动和进行脚本

  • 必须先启动 zookeeper 集群

  • kafkaCluster.sh

    #!/bin/shcase $1 in "start"){for host in node01 node02 node03 do  ssh $host "source /etc/profile; nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-start.sh /wangyq/install/kafka_2.11-1.1.0/config/server.properties > /dev/null 2>&1 &"     echo "$host kafka is running..."   sleep 1.5sdone  };;"stop"){for host in node01 node02 node03 do  ssh $host "source /etc/profile; nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-stop.sh >/dev/null  2>&1 &"     echo "$host kafka is stopping..."    sleep 1.5sdone};;esac

  • 启动

    sh kafkaCluster.sh start

  • 进行

    sh kafkaCluster.sh stop