来源:未知
点击: 次
经过上述步骤,客户端百度收录地址任务过程就完成了,主要涉及到文件(JobGraph和jar包)的上传。
远端流程
接下来就进行任务具体调度(构造ExecutionGraph、申请Slot等)流程。
主要结合一下yarn的执行流程,介绍一下任务调转执行流程。
以这个执行脚本入口进行分析,入口函数.,此类中的Main方法是所有提交操作的开始
大体框架
本地提交逻辑
CliFrontend[Main]调用栈
runProgram(customCommandLine, commandLine, runOptions, program)
deployInternal方法,部署集群:
startAppMaster方法,启动ApplicationMaster:
远端逻辑ClusterEntrypoint[Main]
与yarn集群打交道(这里主要是resourcemananger和taskmamanager),ClusterEntrypoint 包含了 webMonitor、resourceManager、dispatcher 的服务。
ClusterEntrypoint会启动Dispatcher服务:
LeaderRetrievalHandler会从netty处理从Client发来的submitjob消息:
后续会继续分析