🔔🔔🔔好消息!好消息!🔔🔔🔔 有需要的朋友👉:联系凯哥 好消息!好消息! 微信号 kaigejava2022 【多种情况】Springboot集成kafka-No group.id found in consumer config 问题：Caused by: java.lang.IllegalStateException: No group.id found in consumer config, container properties, or @KafkaListener annotation; a group.id is required when group management is used 凯哥Java kafka 2022-01-09 7175已阅读 0 消息系统kafka之二 kafka的HA（高可用） 在前面的《消息系统kafka之一系统简介》的为什么选择kafka中已经提到了kafka高可用的特性。下面是kafka与其他消息系统之间的区别可以看出，kafka支持持久化消息，消息回追等功能，在HA方面kafka使用的是replication策略在了解replication机制之前必须看下kafka的系统架构的文件存储机制如图，kafka中的消息是以topic进行分类的，生产者通过topic向ka 凯哥Java kafka 2020-11-15 6169已阅读 0 消息系统-kafka之一 系统简介 最近在研究消息中间件kafka，下面简单介绍一下kafka消息系统，首先，为什么使用消息中间件，有哪些消息中间件，为什么选择kafka为什么使用消息系统？1.首先就是消息系统的高性能，即使是非常普通的硬件可以支撑一秒几十万的消息2.消息队列对应用之间进行了解耦，应用之间不存在强依赖3.消息队列可以对消息数据进行持久化，这样即使处理消息的进程全部挂掉，也不会丢失已经加入消息队列的数据，对很多关键的业 凯哥Java kafka 2020-11-15 5852已阅读 0 Kafka高可用实现原理 数据存储格式Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。一个Topic可以分成多个Partition，而一个Partition物理上由多个Segment组成。Segment分2部分：索引文件和数据文件。索引文件保存元数据，记录了消息在数据文件中的偏移（offset），消息有固定物理结构，保证了正确的读取长度。Segment文件带来好处：方便过期文件清理。只需要整体删 凯哥Java kafka 2020-11-15 5585已阅读 0 【转摘】Kafka学习之路 （三）Kafka的高可用 目录一、高可用的由来1.1 为何需要Replication1.2 LeaderElection二、KafkaHA设计解析2.1 如何将所有Replica均匀分布到整个集群2.2 DataReplication（副本策略）三、HA相关ZooKeeper结构3.1 admin3.2 broker3.3 controller四、producer发布消息4.1 写入方式4.2 消息路由4.3 写入流程五、 凯哥Java kafka 2020-11-15 5809已阅读 0 【转摘】Kafka学习之路 （二）Kafka的架构 目录一、Kafka的架构二、Topics和Partition三、Producer消息路由四、ConsumerGroup五、Pushvs.Pull六、Kafkadeliveryguarantee正文一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持 凯哥Java kafka 2020-11-15 5915已阅读 0 【转摘】Kafka学习之路 （一）Kafka的简介 目录一、简介1.1 概述1.2 消息系统介绍1.3 点对点消息传递模式1.4 发布-订阅消息传递模式二、Kafka的优点2.1 解耦2.2 冗余（副本）2.3 扩展性2.4 灵活性&峰值处理能力2.5 可恢复性2.6 顺序保证2.7 缓冲2.8 异步通信三、常用MessageQueue对比3.1 RabbitMQ3.2 Redis3.3 ZeroMQ3.4 ActiveMQ3.5 Kafk 凯哥Java kafka 2020-11-15 5699已阅读 0 图解kafka的高可用机制 对于一个复杂的分布式系统，如果没有丰富的经验和牛逼的架构能力，很难把系统做得简单易维护，我们都知道，一个软件的生命周期中，后期维护占了70%，所以系统的可维护性是极其重要的，kafka能成为大数据领域的事实标准，很大原因是因为运维起来很方便简单，今天我们来看下kafka是怎么来简化运维操作的。kafka使用多副本来保证消息不丢失，多副本就涉及到kafka的复制机制，在一个超大规模的集群中，时不时地 凯哥Java kafka 2020-11-15 5996已阅读 0
