乐趣区

关于kafka:kafka安装保姆级教程

Kafka 是一款高性能、高可靠性、可程度扩大的分布式音讯队列零碎,由 Apache 软件基金会开发和保护。它能够实现音讯的异步解决和分布式计算,被广泛应用于大数据、实时数据流解决、监控报警等畛域。本文将具体介绍 Kafka 的装置过程。

一、环境要求

在装置 Kafka 之前,须要满足以下环境要求:

1.Java 运行环境

Kafka 是应用 Java 语言编写的,因而须要在装置 Kafka 之前先装置 Java 运行环境。Kafka 反对 Java 8 及以上版本。能够通过以下命令查看 Java 运行环境的版本:
java -version
如果 Java 运行环境未装置或版本过低,能够通过以下命令装置 Java 运行环境:
sudo apt-get install default-jre
2. 硬件要求 Kafka 能够在任何硬件上运行,然而在生产环境中,倡议应用具备足够内存和处理器外围的计算机。倡议至多具备以下硬件配置:
内存:4GB 或以上。
处理器外围数:2 核或以上。
存储空间:100GB 或以上。
3. 操作系统要求 Kafka 能够在多种操作系统上运行,包含 Linux、Windows 和 macOS。倡议在生产环境中应用 Linux 操作系统,例如 CentOS、Ubuntu 等。
4.ZooKeeperKafka 应用 ZooKeeper 进行分布式协调,因而在装置 Kafka 之前,须要先装置 ZooKeeper。Kafka 反对 ZooKeeper 3.4.x 及以上版本。能够参考 ZooKeeper 的官网文档进行装置和配置。
以上是 Kafka 装置的环境要求,须要满足这些要求能力顺利装置和应用 Kafka。

二、装置 Java 运行环境

在装置 Kafka 之前,须要先装置 Java 运行环境。Kafka 反对 Java 8 及以上版本。能够通过以下步骤在 Ubuntu 操作系统上装置 Java 运行环境:

1. 关上终端

在 Ubuntu 操作系统中,能够通过按下 Ctrl+Alt+T 快捷键关上终端。

2. 更新软件包列表

在终端中输出以下命令,更新软件包列表:sudo apt-get update

3. 装置 Java 运行环境

在终端中输出以下命令,装置 Java 运行环境:
sudo apt-get install default-jre

4. 验证 Java 装置

装置实现后,能够通过以下命令验证 Java 是否装置胜利:
java -version
如果胜利装置 Java 运行环境,将会显示 Java 的版本信息。
以上是在 Ubuntu 操作系统上装置 Java 运行环境的步骤。在其余操作系统上装置 Java 运行环境的步骤可能略有不同。

三、装置 ZooKeeper

装置 ZooKeeper 须要依照以下步骤进行操作:
1. 下载 ZooKeeper:从官网下载最新版本的 ZooKeeper,并解压缩到指定目录。
2. 配置 ZooKeeper:在 ZooKeeper 的 conf 目录下创立一个名为 zoo.cfg 的文件,将以下内容复制并粘贴:
makefileCopy codetickTime=2000dataDir=/path/to/zookeeper/dataclientPort=2181
其中,tickTime 示意 ZooKeeper 中的根本工夫单位(以毫秒为单位),dataDir 示意存储 ZooKeeper 数据的目录,clientPort 示意客户端连贯 ZooKeeper 的端口号。
3. 启动 ZooKeeper:进入 ZooKeeper 的 bin 目录,运行以下命令启动 ZooKeeper:
./zkServer.sh start
4. 验证 ZooKeeper 是否曾经启动:能够运行以下命令:
./zkCli.sh
而后在命令行中输出 ls / 命令,如果可能列出 ZooKeeper 中的节点,则示意 ZooKeeper 曾经胜利启动了。
留神:在启动 ZooKeeper 前,应该确保本地主机名曾经被正确地解析到了一个 IP 地址。否则,ZooKeeper 将无奈在本地绑定到正确的地址。

四、下载和解压 Kafka

1. 下载 Kafka:从 Kafka 的官方网站 https://kafka.apache.org/downloads 下载最新版本的 Kafka,抉择一个二进制文件版本下载即可。
2. 解压 Kafka:将下载的 Kafka 压缩包解压到指定目录,能够应用以下命令:
tar -xzf kafka_2.13-2.9.0.tgz 其中 kafka_2.13-2.9.0.tgz
是你下载的 Kafka 压缩包的文件名,版本号可能会不同。
3. 进入解压后的 Kafka 目录:进入解压后的 Kafka 目录,例如:
cd kafka_2.13-2.9.0
4. 验证 Kafka 是否曾经解压:能够运行以下命令:
bin/kafka-topics.sh –version
如果可能显示 Kafka 的版本信息,则示意 Kafka 曾经胜利解压了。
留神:在下载和解压 Kafka 前,应该确保曾经装置了 Java 环境,并设置了 JAVA_HOME 环境变量。此外,在启动 Kafka 之前,还须要启动 ZooKeeper。

五、启动 Kafka 服务

启动 Kafka 服务须要执行以下步骤:

1. 批改配置文件

Kafka 的配置文件位于 config 目录下,其中最重要的是 server.properties 文件。能够通过以下命令关上 server.properties 文件:nano kafka_2.13-2.9.0/config/server.properties 在 server.properties 文件中,能够批改以下参数:broker.id:每个 Kafka 服务都须要指定一个惟一的 broker.idlisteners:Kafka 监听的地址和端口号,能够指定多个,以逗号分隔。默认状况下,Kafka 监听的地址是本机 IP 地址。log.dirs:Kafka 存储消息日志的门路。zookeeper.connect:ZooKeeper 的连贯地址,能够指定多个,以逗号分隔。如果装置了多个 ZooKeeper,倡议指定多个连贯地址,以进步可用性。
能够依据理论状况批改以上参数。

2. 启动 ZooKeeper

在启动 Kafka 服务之前,须要先启动 ZooKeeper。能够通过以下命令启动 ZooKeeper 服务:
sudo service zookeeper start
启动胜利后,能够通过以下命令查看 ZooKeeper 服务的状态:
sudo service zookeeper status
如果显示 ZooKeeper 服务正在运行,则阐明 ZooKeeper 启动胜利。

3. 启动 Kafka 服务

能够通过以下命令启动 Kafka 服务:
bin/kafka-server-start.sh config/server.properties
如果一切正常,Kafka 服务将会启动,并开始监听指定的地址和端口号。

4. 创立主题

在 Kafka 中,音讯通过主题(Topic)进行分类和存储。能够通过以下命令创立一个名为 test 的主题:
bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test
其中,–replication-factor 参数指定正本数,–partitions 参数指定分区数。在理论生产环境中,倡议将正本数设置为 2 或 3,以进步可用性。

5. 发送和接管音讯

能够通过以下命令发送音讯:
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test
在命令行中输出音讯,而后按回车键发送。
** 能够通过以下命令接管音讯:
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning**
其中,–from-beginning 参数示意从最早的音讯开始接管。

六、总结

本文介绍了 Kafka 的装置过程,包含环境要求、Java 运行环境的装置、ZooKeeper 的装置、Kafka 的下载和解压、Kafka 服务的启动、主题的创立,以及音讯的发送和接管。心愿本文可能对初学者学习 Kafka 提供一些帮忙。

退出移动版