博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SpringBoot2.0之整合Kafka
阅读量:5100 次
发布时间:2019-06-13

本文共 3838 字,大约阅读时间需要 12 分钟。

maven依赖:

4.0.0
com.itmayiedu
springboot2.0_kafka
0.0.1-SNAPSHOT
org.springframework.boot
spring-boot-starter-parent
2.0.1.RELEASE
org.springframework.kafka
spring-kafka
org.springframework.boot
spring-boot-starter-web

yml:

# kafkaspring:  kafka:    # kafka服务器地址(可以多个)    bootstrap-servers: 192.168.91.1:9092,192.168.91.3:9092,192.168.91.4:9092    consumer:      # 指定一个默认的组名      group-id: kafka2      # earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费      # latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据      # none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常      auto-offset-reset: earliest      # key/value的反序列化      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer    producer:      # key/value的序列化      key-serializer: org.apache.kafka.common.serialization.StringSerializer      value-serializer: org.apache.kafka.common.serialization.StringSerializer      # 批量抓取      batch-size: 65536      # 缓存容量      buffer-memory: 524288      # 服务器地址      bootstrap-servers: 192.168.91.1:9092,192.168.91.3:9092,192.168.91.4:9092

 

 消费者:消费 topic为“test”的消息

 

/**     * 消费者使用日志打印消息     */    @KafkaListener(topics = "test")   //监听同一个主题    public void receive(ConsumerRecord
consumer) { System.out.println("topic名称:" + consumer.topic() + ",key:" + consumer.key() + ",分区位置:" + consumer.partition() + ", 下标" + consumer.offset()); }

可以看到分区都是0昂~ tets创建时候 partition是1哦  就是在proker1上创建的主题

 

 写个controller,自己生产 ,自己消费

 

import org.apache.kafka.clients.consumer.ConsumerRecord;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.kafka.annotation.KafkaListener;import org.springframework.kafka.core.KafkaTemplate;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestController@SpringBootApplicationpublic class KafkaController {    /**     * 注入kafkaTemplate     */    @Autowired    private KafkaTemplate
kafkaTemplate; /** * 发送消息的方法 * * @param key * 推送数据的key * @param data * 推送数据的data */ private void send(String key, String data) { // topic 名称 key data 消息数据 kafkaTemplate.send("my_test_topic", key, data); //三个参数: topic名称 key 消息数据 } // test 主题 1 my_test 3 @RequestMapping("/kafka") public String testKafka() { int iMax = 6; for (int i = 1; i < iMax; i++) { //循环发6次kafka消息 send("key" + i, "data" + i); } return "success"; } public static void main(String[] args) { SpringApplication.run(KafkaController.class, args); } /** * 消费者使用日志打印消息 */ @KafkaListener(topics = "my_test_topic") //监听同一个主题 public void receive(ConsumerRecord
consumer) { System.out.println("topic名称:" + consumer.topic() + ",key:" + consumer.key() + ",分区位置:" + consumer.partition() + ", 下标" + consumer.offset()); }}

运行后:

 可以看到key与对应的分区存储情况! 分区就是不同的 broker    比如key1  和 key2 存放在 第三个broker~

 

 也可以查看每个节点的日志  000000000.log的情况 我这边显示乱码 我就不多做展示了

 

 看看我们的zk:

 

转载于:https://www.cnblogs.com/toov5/p/10295237.html

你可能感兴趣的文章
docker 从本地拷贝文件
查看>>
(转)VS2010中出现无法嵌入互操作类
查看>>
HTTP状态码
查看>>
转载一个关于javascript弹出窗口的详解
查看>>
THU的告诫
查看>>
让字体在div容器中垂直居中
查看>>
Android Weekly Notes Issue #221
查看>>
mmap和MappedByteBuffer
查看>>
Linux的基本操作
查看>>
C 算法
查看>>
使用fiddler进程弱网测试
查看>>
jdk path
查看>>
敏捷开发笔记 - 设计
查看>>
我需要在电脑上安装C编译器
查看>>
oracle一次删除多张表
查看>>
H3C 配置CHAP验证
查看>>
H3C ICMP
查看>>
Python Numpy 介绍
查看>>
element对象
查看>>
Android SQLite (一) 数据库简介
查看>>