栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 软件开发 > 后端开发 > 架构设计

【Yarn】系统架构&高可用

架构设计 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【Yarn】系统架构&高可用

系统架构&高可用 系统架构

Yarn在架构上是主从架构,其中Resource Manager是主节点,Node Manager是从节点。在架构部署上,Node Manager与HDFS的DataNode安装在同一节点,以便将计算任务移动到数据上。

其中主节点Resource Manager可以有热备节点,以实现集群高可用。当前主节点为Active状态,热备节点为Standby状态。

客户端Client向主节点(Resource Manager)提交作业后,Resource Manager会在Node Manager上为当前作业(Job)分配资源。

Node Manager上分配的资源会封装成Container,相当于是一个容器(小型虚拟机),它包含了作业运行必备的CPU、内存、环境变量等资源。

Resource Manager分配完资源之后,之前在Hadoop 1.x中提到的作业管理怎么办?由作业自己进行管理。

作业(Job)提交后,Resource Manager首先会找一个空闲的Node Manager节点,分配一个Container。Job首先会在这个Container中启动和运行自己的作业管理程序Application Master,然后Application Master调用Job的核心代码,生成Task任务;之后Application Master根据生成的Task数量,再向Resource Manager

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/912898.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号