常州个人做网站哈尔滨专业网站制作设计

常州个人做网站,哈尔滨专业网站制作设计,中国三大水电建设基地,智能模板网站建设工具1、kafka简介Kafka 是一个分布式流处理平台#xff0c;用于构建实时数据管道和流应用程序。它具有水平可扩展性、容错性、高吞吐量等特性#xff0c;被广泛用于大数据和实时流处理场景。2、核心概念和特性核心概念#xff1a; Producer#xff08;生产者#xff09;#…1、kafka简介Kafka 是一个分布式流处理平台用于构建实时数据管道和流应用程序。它具有水平可扩展性、容错性、高吞吐量等特性被广泛用于大数据和实时流处理场景。2、核心概念和特性核心概念Producer生产者向 Kafka 主题发布消息的客户端。Consumer消费者从 Kafka 主题订阅并处理消息的客户端。Broker代理Kafka 集群中的单个节点负责处理消息的存储和转发。Topic主题消息的类别或流名称生产者向主题发送消息消费者从主题读取消息。Partition分区每个主题可以被分成多个分区分区是 Kafka 并行处理的基本单元。每个分区是一个有序、不可变的消息序列。Replica副本分区的副本用于提供高可用性。每个分区有一个或多个副本其中一个被选为 Leader其他为 Follower。Consumer Group消费者组一组消费者共同消费一个主题每个分区只能被消费者组中的一个消费者消费从而实现负载均衡。Offset偏移量每条消息在分区中的唯一标识消费者通过偏移量来追踪已读取的消息位置。关键特性高吞吐量Kafka 能够处理数百万条消息 per second即使是在普通的硬件上。可扩展性通过增加节点可以轻松扩展集群支持在线水平扩展。持久性消息被持久化到磁盘并且支持数据备份防止数据丢失。容错性通过副本机制即使部分节点失效集群仍能继续工作。实时性消息被生产者创建后消费者可以立即读取延迟极低。使用场景消息队列作为传统消息队列的替代用于解耦生产者和消费者。网站活动跟踪记录用户活动如页面浏览、搜索、点击等用于实时监控或离线分析。日志聚合从不同服务收集日志并使其可用于查询和分析。流处理与流处理框架如 Apache Storm、Spark Streaming、Flink集成进行实时数据处理。架构组件Kafka Broker集群中的每个节点都是一个 Broker负责存储和转发消息。ZooKeeper或 KRaft用于管理集群元数据、领导者选举和配置管理。从 Kafka 3.0 开始可以使用 KRaft 模式不需要 ZooKeeper来运行 Kafka。Connector API用于构建可重用的生产者和消费者将 Kafka 连接到现有系统。Streams API用于构建流处理应用程序将输入流转换为输出流。消息传递模型Kafka 采用发布-订阅模型但也可以用于点对点通信通过单个消费者组。数据保留Kafka 允许根据时间或大小设置数据保留策略过期数据将被删除。安装与部署Kafka 可以运行在单机模式用于开发和测试或集群模式用于生产环境。版本演进从 2.8 版本开始Kafka 开始引入 KRaft 模式不再依赖 ZooKeeper并在 3.0 版本中正式支持。KRaft 模式简化了 Kafka 的架构提高了稳定性和可管理性。1、拉取kafka镜像# 原始docker pull zookeeper:latest# 阿里云x86 架构docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/zookeeper:latest# 阿里云arm 架构docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/linux_arm64_zookeeper:latest# 原始docker pull wurstmeister/kafka:latest# 阿里云x86 架构docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/kafka:latest# 阿里云arm 架构docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/linux_arm64_kafka:latest2、zookeeper安装创建目录mkdir-p /data/zookeeper/{conf,logs,data}3 运行命令docker run -d\--restart unless-stopped\--name zookeeper\-p2181:2181\-v /data/zookeeper/data:/data\-v /data/zookeeper/logs:/datalog\-v /etc/localtime:/etc/localtime\zookeeper:latest4、kafka安装mkdir-p /data/kafka/datachmod777/data/kafka/datadocker run -d\--restart unless-stopped\--name kafka\-p9092:9092\-eKAFKA_ZOOKEEPER_CONNECT10.11.12.115:2181\-eKAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092\-eKAFKA_ADVERTISED_LISTENERSPLAINTEXT://10.11.12.115:9092\-eKAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR1\-eKAFKA_AUTO_CREATE_TOPICS_ENABLEtrue\-v /etc/localtime:/etc/localtime\wurstmeister/kafka:latest5、kafka基本使用dockerexec-it kafkabash# 列出所有 Topickafka-topics.sh --list --bootstrap-server10.11.12.115:9092# 创建一个 topickafka-topics.sh --create --bootstrap-server10.11.12.115:9092 --replication-factor1--partitions6--topic nginx#运行kafka生产者发送消息kafka-console-producer.sh --broker-list10.11.12.115:9092 --topic nginx#发送消息{“datas”:[{“channel”:,“metric”:“temperature”,“producer”:“ijinus”,“sn”:“IJA0101-00002245”,“time”:“1543207156000”,“value”:“80”}],“ver”:“1.0”}#删除kafka的topickafka-topics.sh --bootstrap-server10.11.12.115:9092 --delete --topic nginxKafka 的核心价值在于解耦系统生产者和消费者无需直接通信缓冲削峰应对流量突发数据持久化消息可重放不丢失高吞吐量支持大规模数据处理实时处理毫秒级延迟适用场景当你需要处理大量实时数据流且需要保证数据不丢失、支持重放、高吞吐量时Kafka 是绝佳选择。不适用场景如果只需要简单的任务队列或对延迟要求极高微秒级可能有更轻量的选择如 Redis、RabbitMQ。