博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Master 接受其它组件的注册
阅读量:4588 次
发布时间:2019-06-09

本文共 566 字,大约阅读时间需要 1 分钟。

Master对其它组件注册的处理:

  1. Master接受注册的对象主要就是: Driver、Application、Worker。注意:Executor 不会向 Master 注册,它是向 Driver 中的 SchedulerBackend 注册的。
  2. Worker是在启动后主动向Master注册的。所以无需重新启动Spark集群,即可以直接向集群中添加新的Worker。
  3. Master 在接收到Worker注册请求后,会首先判断一下当前的master是否是Standby的状态,如果是就不处理;如果不是,会判断当前Master的内存数据结构idToWorker中是否已经有该Worker的注册信息,如果有的话,不会重复注册。

Master如果决定接收注册的Worker,首先会创建WorkerInfo对象 ,来保存注册的Worker的信息。

注意:SparkContext 初始化时,会实例化SparkDeploySchedulerBackend,其内部有AppClient,而AppClient内部有ClientEndpoint。ClientEndpoint 会发送 RegisterApplication 给Master

 

转载于:https://www.cnblogs.com/langfanyun/p/8047723.html

你可能感兴趣的文章
How does exercise keep your brain young?
查看>>
[Linux] 添加环境变量
查看>>
postgresql逻辑结构--表空间(四)
查看>>
rsync备份服务器搭建学习笔记
查看>>
Python中matplotlib模块解析
查看>>
ORA-14551: 无法在查询中执行 DML 操作 .
查看>>
数据结构--栈的应用(表达式求值 nyoj 35)
查看>>
注解:大话AOP与Android的爱恨情仇
查看>>
VB调用WebService(SOA2.0接口)(直接Post方式)并解析返回的XML
查看>>
Linux内存管理1---内存寻址
查看>>
java线程详解(三)
查看>>
9.17模拟赛2.0
查看>>
洛谷 P3225 [HNOI2012]矿场搭建
查看>>
orcad找不到dll
查看>>
各种排序算法的性能特点
查看>>
LET IT BE
查看>>
在线帮助你修改图片背景的工具 - Clipping Magic
查看>>
BizTalk动手实验(十三)EDI解决方案开发配置
查看>>
初学github
查看>>
iOS开发拓展篇—UIDynamic(重力行为+碰撞检测)
查看>>