flink源码阅读第一篇—入口

来源:未知

点击:

  经过上述步骤,客户端百度收录地址任务过程就完成了,主要涉及到文件(JobGraph和jar包)的上传。

  远端流程

  接下来就进行任务具体调度(构造ExecutionGraph、申请Slot等)流程。

  主要结合一下yarn的执行流程,介绍一下任务调转执行流程。

  以这个执行脚本入口进行分析,入口函数.,此类中的Main方法是所有提交操作的开始

  大体框架

  本地提交逻辑

  CliFrontend[Main]调用栈

  runProgram(customCommandLine, commandLine, runOptions, program)

  

  deployInternal方法,部署集群:

  startAppMaster方法,启动ApplicationMaster:

  远端逻辑ClusterEntrypoint[Main]

  与yarn集群打交道(这里主要是resourcemananger和taskmamanager),ClusterEntrypoint 包含了 webMonitor、resourceManager、dispatcher 的服务。

  ClusterEntrypoint会启动Dispatcher服务:

  LeaderRetrievalHandler会从netty处理从Client发来的submitjob消息:

  后续会继续分析

下一篇:没有了