Flink 分布式运行时环境




Tasks and Operator Chains

对于分布式执行,Flink将多个算子子任务链串联成任务。每个任务由一个线程执行。将算子链接到任务是一项有用的优化:它可以减少线程到线程切换和缓冲的开销,并在降低延迟的同时提高整体吞吐量。可以配置链接行为; 有关详细信息,请参阅链接文档

下图中的示例数据流由五个子任务执行,因此具有五个并行线程。

算子链接到任务

Job Managers, Task Managers, Clients

Flink运行时包含两种类型的进程:

  • JobManagers(也称为masters)协调分布式执行。他们安排任务,协调检查点,协调故障恢复等。

Job Manager总是至少有一个。高可用性设置将具有多个JobManagers,其中一个始终是领导者,其他处于待机状态

  • TaskManagers(也叫workers)执行dataflow的任务(或者更具体地说应该是子任务),以及缓冲和交换data streams

必须始终至少有一个TaskManager。

JobManagers和TaskManagers可以通过多种方式启动:作为独立集群直接在计算机上,在容器中,或由YARNMesos等资源框架管理。TaskManagers连接到JobManagers,宣布自己可用,并被分配工作。

Client不是运行时和程序执行的一部分,而是被用来准备和发送dataflow到JobManager。之后,客户端可以断开连接或保持连接以接收进度报告。客户端既可以作为触发执行的Java / Scala程序的一部分运行,也可以在命令行进程./bin/flink run ...中运行。

执行Flink数据流所涉及的过程

Task Slots and Resources

每个worker(TaskManager)都是一个JVM进程,可以在不同的线程中执行一个或多个子任务。为了控制一个worker接受的任务数量,每个worker都有所谓的task slots(至少一个)。

每个task slot代表TaskManager的一个固定资源子集。例如,具有3个task slot的TaskManager会将其1/3的托管内存分配于每个task slot。资源切片意味着子任务不会与来自托管内存的其他作业的子任务竞争资源,相反其具有一定量的预留托管内存。请注意,这里没有CPU隔离; 当前task slots只分隔任务的托管内存。

通过调整task slot的数量,用户可以定义子任务如何相互隔离。每个TaskManager有一个slot意味着每个任务组在一个单独的JVM中运行(比如也就可以在一个单独的容器中启动)。拥有多个slots意味着更多子任务共享同一个JVM。同一JVM中的任务共享TCP连接(通过多路复用)和心跳消息。它们还可以共享数据集和数据结构,从而减少每任务开销。

具有任务槽和任务的TaskManager

默认情况下,Flink允许子任务共享slots,即使它们是不同任务的子任务,只要它们来自同一个job。结果是一个slot可以承载某个job的整个pipeline。允许这种slot共享有两个主要好处:

  • Flink集群需要与job中使用的最高并行度一样多的task slot。无需计算程序总共包含多少任务(具有不同的并行性)。
  • 更容易获得更好的资源利用率。没有slot共享,非密集 source/ map()子任务将占用与资源密集型window子任务一样多的资源。通过slot共享,将示例中的基本并行性从2增加到6可以充分利用切片后的资源,同时确保繁重的子任务在TaskManagers之间公平分配。

具有共享任务槽的TaskManagers

该API还包括可用于防止不期望的slot共享发生的resource group机制。

根据经验,一个很好的默认task slots数就是CPU核心数。使用超线程,每个slot则需要2个或更多硬件线程上下文。

State Backends

存储键/值索引的确切数据结构取决于所选的状态后端。一种状态后端将数据存储在内存中的hash map中,另一种状态后端使用RocksDB作为键/值存储。除了定义保存状态的数据结构之外,状态后端还实现逻辑以获取键/值状态的时间点快照,并将该快照存储为一个checkpoint的一部分。

检查点和快照

Savepoints

用Data Stream API编写的程序可以从savepoint恢复执行。savepoint允许更新程序和Flink群集,而不会丢失任何状态。

savepoints手动触发的checkpoints,它捕获程序的快照并将其写入状态后端。他们依靠常规的checkpointing机制。在执行期间,程序会定期在工作节点上创建快照并生成检查点。对于恢复,仅需要最后完成的检查点;并且一旦完成新检查点就可以安全地丢弃旧检查点。

保存点与这些定期检查点类似,不同之处在于它们由用户触发,并且在较新的检查点完成时不会自动过期。可以从命令行创建保存点,也可以在通过REST API取消作业时创建。


photo-zzz.png

Hao JiangJustin Time

We only live once, and time just goes by.

  • R&D Engineer @H3C
  • Hangzhou, China

  • Facebook
    微博
    Linkedin
    Github
    Email
    Instagram
    ResearchGate
    知乎
    OSChina