郑州市网站学校官网网站建设的现状分析

郑州市网站,学校官网网站建设的现状分析,开发一个网站需要多少人,网页是怎么做的视频看了几百小时还迷糊#xff1f;关注我#xff0c;几分钟让你秒懂#xff01;一、问题背景#xff1a;消息为什么会“丢”#xff1f;很多开发者以为 Kafka “天生可靠”#xff0c;但消息丢失往往发生在“消费端提交偏移量”的环节。 即使 Kafka 本身持久化了消息关注我几分钟让你秒懂一、问题背景消息为什么会“丢”很多开发者以为 Kafka “天生可靠”但消息丢失往往发生在“消费端提交偏移量”的环节。即使 Kafka 本身持久化了消息如果你的消费者提前提交了 offset而业务逻辑还没执行完一旦应用崩溃——这条消息就永远消失了。 典型场景用户下单成功Kafka 发送“订单创建”事件消费者收到消息准备扣库存offset 被提前提交扣库存前服务宕机 →订单已确认但库存没扣这不是 Kafka 的锅而是提交策略不当导致的二、根本原则先处理业务再提交 offset✅正确顺序1. 拉取消息 2. 执行业务逻辑如写 DB、调接口 3. 业务成功 → 提交 offset❌错误顺序自动提交默认行为1. 拉取消息 2. 后台线程定时提交 offset不管业务是否完成 3. 业务执行中崩溃 → 消息丢失三、解决方案关闭自动提交 手动 ACK 幂等消费下面我们用Spring Boot Kafka实现一个不丢消息的消费者。✅ 步骤 1关闭自动提交关键# application.yml spring: kafka: consumer: enable-auto-commit: false # 必须关闭 group-id: order-service key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-desserializer: org.springframework.kafka.support.serializer.JsonDeserializer properties: spring.json.trusted.packages: com.example.dto⚠️enable-auto-commit: false是防止消息丢失的第一道防线✅ 步骤 2配置手动 ACK 模式// KafkaConfig.java Configuration EnableKafka public class KafkaConfig { Bean public ConcurrentKafkaListenerContainerFactoryString, OrderEvent kafkaListenerContainerFactory( ConsumerFactoryString, OrderEvent consumerFactory) { ConcurrentKafkaListenerContainerFactoryString, OrderEvent factory new ConcurrentKafkaListenerContainerFactory(); factory.setConsumerFactory(consumerFactory); // 设置为手动立即确认 factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE); return factory; } }✅ 步骤 3消费者代码业务成功才 ACK// OrderConsumer.java Component public class OrderConsumer { Autowired private InventoryService inventoryService; KafkaListener(topics order-created, groupId order-service) public void consume(OrderEvent event, Acknowledgment ack) { try { // 1. 业务处理扣减库存 inventoryService.decreaseStock(event.getProductId(), event.getQuantity()); // 2. 业务成功 → 手动提交 offset ack.acknowledge(); log.info(订单 {} 处理成功offset 已提交, event.getOrderId()); } catch (Exception e) { // 3. 业务失败 → 不提交 offset log.error(处理订单失败不提交 offset等待重试, e); // 可选记录到死信队列避免无限重试 } } }✅ 这样只有库存扣减成功offset 才会提交。如果失败下次重启还会重新消费同一条消息。四、进阶保障幂等性设计防重复消费由于我们采用“失败不提交 offset”消息可能会被重复消费。因此消费者必须幂等 幂等实现方式方式 1数据库唯一索引推荐CREATE TABLE processed_messages ( message_id VARCHAR(64) PRIMARY KEY, -- Kafka 消息的 key 或生成的 UUID processed_at TIMESTAMP );消费时if (!messageLogService.exists(event.getMessageId())) { // 执行业务 inventoryService.decreaseStock(...); // 记录已处理 messageLogService.save(event.getMessageId()); ack.acknowledge(); }方式 2业务状态机订单状态CREATED→STOCK_DEDUCTED如果已经是STOCK_DEDUCTED直接跳过五、反例对比自动提交 vs 手动提交场景自动提交enable-auto-committrue手动提交enable-auto-commitfalse消费消息后处理耗时 10 秒5 秒时自动提交 offset不提交直到ack.acknowledge()处理到第 8 秒时服务崩溃消息丢失offset 已提交消息保留offset 未提交重启后重试适合场景日志、监控等可容忍丢失的数据订单、支付、通知等关键业务六、其他注意事项1.不要在 ACK 后做关键操作// ❌ 危险ACK 后再操作崩溃会导致数据不一致 ack.acknowledge(); inventoryService.decreaseStock(...); // 崩溃 → offset 提交了但库存没扣✅ 正确顺序业务 → ACK2.避免长时间阻塞消费者线程如果业务耗时很长如调外部 API考虑异步处理 本地事务表或使用RetryableTopic 死信队列DLQ机制3.测试你的容错能力用kill -9模拟非优雅关闭观察消息是否重试、是否重复、是否丢失七、总结要防止 Kafka 消息在提交过程中丢失请牢记关闭自动提交enable-auto-commit: false业务成功后再手动 ACK消费者必须幂等防重复ACK 前不要做任何可能失败的关键操作这样即使服务崩溃、网络中断、机器宕机你的消息也不会丢失视频看了几百小时还迷糊关注我几分钟让你秒懂