关于springboot:SpringBoot集成Kafka

SpringBoot 集成 Kafka

本篇次要解说 SpringBoot 如何集成 Kafka，并且简略的 编写了一个 Demo 来测试 发送和生产性能

前言

抉择的版本如下：

springboot：2.3.4.RELEASE

spring-kafka：2.5.6.RELEASE

kafka : 2.5.1

zookeeper : 3.4.14

本 Demo 应用的是 SpringBoot 比拟高的版本 SpringBoot 2.3.4.RELEASE 它会引入 spring-kafka 2.5.6 RELEASE，对应了版本关系中的

Spring Boot 2.3 users should use 2.5.x (Boot dependency management will use the correct version).

spring 和 kafka 的版本 关系

https://spring.io/projects/sp…

1. 搭建 Kafka 和 Zookeeper 环境

搭建 kafka 和 zookeeper 环境 并且启动 它们

2. 创立 Demo 我的项目引入 spring-kafka

2.1 pom 文件

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
</dependency>

2.2 配置 application.yml

spring:
  kafka:
    bootstrap-servers: 192.168.25.6:9092  #bootstrap-servers：连贯 kafka 的地址，多个地址用逗号分隔
    consumer:
      group-id: myGroup
      enable-auto-commit: true
      auto-commit-interval: 100ms
      properties:
        session.timeout.ms: 15000
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      auto-offset-reset: earliest
    producer:
      retries: 0 #若设置大于 0 的值，客户端会将发送失败的记录从新发送
      batch-size: 16384 #当将多个记录被发送到同一个分区时，Producer 将尝试将记录组合到更少的申请中。这有助于晋升客户端和服务器端的性能。这个配置管制一个批次的默认大小（以字节为单位）。16384 是缺省的配置
      buffer-memory: 33554432 #Producer 用来缓冲期待被发送到服务器的记录的总字节数，33554432 是缺省配置
      key-serializer: org.apache.kafka.common.serialization.StringSerializer #关键字的序列化类
      value-serializer: org.apache.kafka.common.serialization.StringSerializer #值的序列化类 

2.3 定义音讯体 Message

/**
 * @author johnny
 * @create 2020-09-23 上午 9:21
 **/
@Data
public class Message {


    private Long id;

    private String msg;

    private Date sendTime;
}

2.4 定义 KafkaSender

次要利用 KafkaTemplate 来发送音讯，将音讯封装成 Message 并且进行 转化成 Json 串 发送到 Kafka 中

@Component
@Slf4j
public class KafkaSender {

    private final KafkaTemplate<String, String> kafkaTemplate;

    // 结构器形式注入  kafkaTemplate
    public KafkaSender(KafkaTemplate<String, String> kafkaTemplate) {this.kafkaTemplate = kafkaTemplate;}

    private Gson gson = new GsonBuilder().create();

    public void send(String msg) {Message message = new Message();

        message.setId(System.currentTimeMillis());
        message.setMsg(msg);
        message.setSendTime(new Date());
        log.info("【++++++++++++++++++ message：{}】", gson.toJson(message));
        // 对 topic =  hello2 的发送音讯
        kafkaTemplate.send("hello2",gson.toJson(message));
    }

}

2.5 定义 KafkaConsumer

在监听的办法上通过注解配置一个监听器即可，另外就是指定须要监听的 topic

kafka 的音讯再接收端会被封装成 ConsumerRecord 对象返回，它外部的 value 属性就是理论的音讯。

@Component
@Slf4j
public class KafkaConsumer {@KafkaListener(topics = {"hello2"})
    public void listen(ConsumerRecord<?, ?> record) {Optional.ofNullable(record.value())
                .ifPresent(message -> {log.info("【+++++++++++++++++ record = {}】", record);
                    log.info("【+++++++++++++++++ message = {}】", message);
                });
    }

}

3. 测试 成果

提供一个 Http 接口调用 KafkaSender 去发送音讯

3.1 提供 Http 测试接口

@RestController
@Slf4j
public class TestController {


    @Autowired
    private KafkaSender kafkaSender;


    @GetMapping("sendMessage/{msg}")
    public void sendMessage(@PathVariable("msg") String msg){kafkaSender.send(msg);
    }
}

3.2 启动我的项目

监听 8080 端口

KafkaMessageListenerContainer 中有 consumer group = myGroup 有一个 监听 hello2-0 topic 的 消费者

3.3 调用 Http 接口

http://localhost:8080/sendMessage/KafkaTestMsg

至此 SpringBoot 集成 Kafka 完结。。