关于kafka:kafka集群安装部署

34次阅读

共计 2574 个字符,预计需要花费 7 分钟才能阅读完成。

3、kafka 集群装置部署

3.1、具体部署过程

  • 1、下载安装包(http://kafka.apache.org)

    kafka_2.11-1.1.0.tgz
  • 2、布局装置目录

    /wangyq/install
  • 3、上传安装包到 node01 服务器,并解压

    # 通过 FTP 工具上传安装包到 node01 服务器的 /wangyq/soft 门路下,而后进行解压
    cd /wangyq/soft/
    tar -zxf kafka_2.11-1.1.0.tgz -C /wangyq/install/
  • 4、批改配置文件

    • 在 node01 上批改 kafak 对应的配置文件 server.properties

      进入到 kafka 装置目录下有一个 config 目录,批改配置文件

cd /wangyq/install/kafka_2.11-1.1.0/config

vim server.properties

#指定 kafka 对应的 broker id,惟一
broker.id=0
#指定数据寄存的目录
log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs
#指定 zk 地址
zookeeper.connect=node01:2181,node02:2181,node03:2181
#指定是否能够删除 topic , 默认是 false 示意不能够删除
delete.topic.enable=true
#指定 broker 主机名
host.name=node01

```
  • 5、node01 执行以下命令散发 kafka 装置目录到其余节点

    # 由 node01 节点同步其余正本节点中
    cd /wangyq/install/
    scp -r kafka_2.11-1.1.0/ node02:$PWD
    scp -r kafka_2.11-1.1.0/ node03:$PWD
  • 6、批改 node02 和 node03 上的配置

    • node02 执行以下命令进行批改配置

      cd /wangyq/install/kafka_2.11-1.1.0/config/
      vi server.properties
      
      #指定 kafka 对应的 broker id,惟一
      broker.id=1
      #指定数据寄存的目录
      log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs
      #指定 zk 地址
      zookeeper.connect=node01:2181,node02:2181,node03:2181
      #指定是否能够删除 topic , 默认是 false 示意不能够删除
      delete.topic.enable=true
      #指定 broker 主机名
      host.name=node02
    • node03 执行以下命令进行批改配置

      cd /wangyq/install/kafka_2.11-1.1.0/config/
      vi server.properties
      
      #指定 kafka 对应的 broker id,惟一
      broker.id=2
      #指定数据寄存的目录
      log.dirs=/wangyq/install/kafka_2.11-1.1.0/logs
      #指定 zk 地址
      zookeeper.connect=node01:2181,node02:2181,node03:2181
      #指定是否能够删除 topic , 默认是 false 示意不能够删除
      delete.topic.enable=true
      #指定 broker 主机名
      host.name=node03

3.1、kafka 集群启动和进行

3.1.1、启动

  • 先启动 zk 集群
  • 而后在所有节点执行脚本

    cd /wangyq/install/kafka_2.11-1.1.0/
    nohup bin/kafka-server-start.sh config/server.properties 2>&1 & 
  • 一键启动 kafka

    • start_kafka.sh

      #!/bin/sh
      for host in node01 node02 node03
      do
              ssh $host "source /etc/profile;nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-start.sh /wangyq/install/kafka_2.11-1.1.0/config/server.properties >/dev/null 2>&1 &"
              echo "$host kafka is running"
      
      done

3.2.1、进行

  • 所有节点执行敞开 kafka 脚本

    cd /wangyq/install/kafka_2.11-1.1.0/
    bin/kafka-server-stop.sh 
  • 一键进行 kafka

    • stop_kafka.sh

      #!/bin/sh
      for host in node01 node02 node03
      do
        ssh $host "source /etc/profile;nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-stop.sh &" 
        echo "$host kafka is stopping"
      done

3.3.1、一键启动和进行脚本

  • 必须先启动 zookeeper 集群
  • kafkaCluster.sh

    #!/bin/sh
    case $1 in 
    "start"){
    for host in node01 node02 node03 
    do
      ssh $host "source /etc/profile; nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-start.sh /wangyq/install/kafka_2.11-1.1.0/config/server.properties > /dev/null 2>&1 &"   
      echo "$host kafka is running..." 
      sleep 1.5s
    done  
    };;
    
    "stop"){
    for host in node01 node02 node03 
    do
      ssh $host "source /etc/profile; nohup /wangyq/install/kafka_2.11-1.1.0/bin/kafka-server-stop.sh >/dev/null  2>&1 &"   
      echo "$host kafka is stopping..."  
      sleep 1.5s
    done
    };;
    esac
  • 启动

    sh kafkaCluster.sh start
  • 进行

    sh kafkaCluster.sh stop

正文完
 0