网上书城网站系统建设做餐厅网站的需求分析报告

网上书城网站系统建设,做餐厅网站的需求分析报告,如何提升网站打开速度,设计师图库网站现在我们已经了解了 Flink 的状态如何定义和使用#xff0c;那 Flink 是如何做容错的呢#xff1f;今天我们一起来了解一下。 先来回答问题#xff0c; Flink 是通过状态快照来做容错的#xff0c;在 Flink 中状态快照分为 Checkpoint 和 Savepoint 两种。 Checkpoint Chec…现在我们已经了解了 Flink 的状态如何定义和使用那 Flink 是如何做容错的呢今天我们一起来了解一下。先来回答问题 Flink 是通过状态快照来做容错的在 Flink 中状态快照分为 Checkpoint 和 Savepoint 两种。CheckpointCheckpoint 是一种自动执行的快照其目的是让 Flink 任务可以从故障中恢复。它可以是增量的并且为快速恢复进行了优化。如何开启 CheckpointCheckpoint 默认是关闭的开启的方法很简单只需要调用 enableCheckpointing() 方法即可。除了这个方法之外Checkpoint 还有一些高级特性。我们来看几个比较常用的更多的选项可以查看官方文档。/* by 01022.hk - online tools website : 01022.hk/zh/checkkeyword.html */ StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); // 每 1000ms 开始一次 checkpoint env.enableCheckpointing(1000); // 高级选项 env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500); env.getCheckpointConfig().setCheckpointTimeout(60000); env.getCheckpointConfig().setTolerableCheckpointFailureNumber(2); env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); env.getCheckpointConfig().setExternalizedCheckpointRetention( ExternalizedCheckpointRetention.RETAIN_ON_CANCELLATION); env.getCheckpointConfig().enableUnalignedCheckpoints();CheckpointingMode支持 EXACTLY_ONCE 和 AT_LEAST_ONCE 两种精确一次有更好的数据一致性而至少一次可以提供更低的延迟。MinPauseBetweenCheckpointsCheckpoint 之间最小间隔时间单位是毫秒即前一次 Checkpoint 执行完成之后必须间隔 n 毫秒之后才会开启下一次 Checkpoint。CheckpointTimeoutCheckpoint 超时时间单位为毫秒表示 Checkpoint 必须在 n 毫秒内完成否则就会因超时失败。TolerableCheckpointFailureNumber可容忍连续失败次数默认是0。超过这个阈值之后整个 Flink 作业会触发 fail over。MaxConcurrentCheckpointsCheckpoint 并发数默认情况下是1在同一时间只允许一个 Checkpoint 执行。这个参数不能和最小间隔时间一起使用。ExternalizedCheckpointRetention周期存储 Checkpoint 到外部存储这样在任务失败时 Checkpoint 也不会被删除。enableUnalignedCheckpoints使用非对齐的 Checkpoint可以减少在产生背压时 Checkpoint 的创建时间。Checkpoint 存储Flink 提供了两种存储类型JobManagerCheckpointStorage 和 FileSystemCheckpointStorage。默认是 JobManagerCheckpointStorage即将 Checkpoint 快照存储在 JobManager 的堆内存中也可以设置 Checkpoint 目录将快照存储在外部存储系统中。Checkpoint 目录通过 execution.checkpointing.dir 设置项设置。其目录结构如下/* by 01022.hk - online tools website : 01022.hk/zh/checkkeyword.html */ /user-defined-checkpoint-dir /{job-id} | --shared/ --taskowned/ --chk-1/ --chk-2/ --chk-3/ ...Checkpoint 工作原理在前文中我们曾经提到过 Checkpoint Coordinator它是 JobManager 的其中一个模块。它在 Checkpoint 过程中担任着重要的角色。现在来看下 Checkpoint 的完整流程1、Checkpoint Coordinator 触发所有 Source 节点开始 CheckpointSource 收到触发命令后会将自己的 State 进行持久化图中三角形并且向下游发送 barrier 事件图中的小矩形。当 Source 节点的 State 持久化完成之后会数据存储的地址发送给 Checkpoint Coordinator。2、barrier 事件随着事件流传输到下游节点当下游节点收到所有的上游 barrier 事件后也会将自己的 State 持久化并继续向下传播 barrier 事件。持久化完成后也同样将数据存储地址发送给 Checkpoint Coordinator。3、当所有的算子都完成持久化过程后Checkpoint Coordinator 会将一些元数据进行持久化。至此一次完整的 Checkpoint 流程就结束了。Savepoint学习完 Checkpoint 之后我们再来了解下另一种快照——Savepoint。Savepoint 是依据 checkpoint 机制创建的一致性镜像。通常用来做 Flink 作业的重启或更新等运维操作。Savepoint 包含稳定存储上的二进制文件作业状态的镜像和元数据文件两部分。使用 Savepoint根据官方文档的提示在我们的程序中最好显式调用 uid() 方法来为算子指定一个 ID这些 ID 被用来恢复每个算子的状态。如果不指定的话Flink 任务会自动生成算子 ID但是生成的 ID 与程序结构有关也就是说如果程序的结构改变了的话就没有办法从 Savepoint 恢复对应算子的状态了。有了这个前提条件之后我们就可以使用命令来操作 Savepoint 了。// 触发 savepoint $ bin/flink savepoint :jobId [:targetDirectory] // 触发 savepoint, 指定 type默认是 canonical $ bin/flink savepoint --type [native/canonical] :jobId [:targetDirectory] // 触发 savepoint客户端拿到 trigger id 后立即返回 $ bin/flink savepoint :jobId [:targetDirectory] -detached // 使用 savepoint 停止作业 $ bin/flink stop --type [native/canonical] --savepointPath [:targetDirectory] :jobId // 从 savepoint 恢复 $ bin/flink run -s :savepointPath [:runArgs] // 删除 savepoint $ bin/flink savepoint -d :savepointPath在 触发 savepoint 时我们可以指定格式两种格式的区别是canonical标准格式在任何存储都保持统一格式重在保证兼容性。native原生格式标准格式创建和恢复都很慢原生格式是以特定的状态后端的格式生成可以更快的创建和恢复。Checkpoint 与 Savepoint 区别这是面试最常见的问题之一有了 checkpoint为什么还需要 savepoint或者说两者之间有什么区别从概念上来讲Checkpoint 类似数据库的恢复日志而 Savepoint 类似数据库的备份。Checkpoint 主要用于作业故障的恢复它的管理和删除也都是 Flink 内部处理用户不需要过多关注。Savepoint 主要用于有计划的手动运维例如升级 Flink 版本。它的创建、删除操作都需要用户手动执行。下面是官方文档给出的 Checkpoint 和 Savepoint 支持的操作。✓表示完全支持x表示不支持!表示目前有效但没有正式保证支持使用时存在一定风险。操作标准 Savepoint原生 Savepoint对齐 Checkpoint非对齐 Checkpoint更换状态后端✓xxxState Processor API (写)✓xxxState Processor API (读)✓!!x自包含和可移动✓✓xxSchema 变更✓!!!任意 job 升级✓✓✓x非任意 job 升级✓✓✓✓Flink 小版本升级✓✓✓xFlink bug/patch 版本升级✓✓✓✓扩缩容✓✓✓✓总结本文我们介绍了 Flink 是如何做容错的分别介绍了 Checkpoint 和 Savepoint以及它们之间的区别。本文多次提到了 Checkpoint 和 Savepoint 依赖的稳定存储我会在下一篇文章进行详细的介绍。