<编辑> 1.纱基本服务组件
纱是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率,资源统一管理和数据共享等方面带来了巨大好处。
<李> ResourceManager (RM):负责对各纳米上的资源进行统一管理和调度。将我分配空闲的集装箱运行并监控其运行状态。对我申请的资源请求分配相应的空容器闲。主要由两个组件构成:调度器和应用程序管理器。 <李>调度器(调度器):调度器根据容量,队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位是容器,从而限定每个任务使用的资源量.Shceduler不负责监控或者跟踪应用程序的状态,也不负责任务因为各种原因而需要的重启(由ApplicationMaster负责)。总之,调度器根据应用程序的资源要求,以及集群机器的资源情况,为应用程序分配封装在容器中的资源。
调度器是可插拔的,例如CapacityScheduler, FairScheduler。 <李>应用程序管理器(应用程序管理器):应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交,与调度器协商资源以启动点,监控点运行状态并在失败时重新启动等,跟踪分给的容器的进度,状态也是其职责。 <李> NodeManager (NM):纳米是每个节点上的资源和任务管理器。它会定时地向RM汇报本节点上的资源使用情况和各个容器的运行状态;同时会接收并处理来自正在的容器启动/停止等请求。 <李> ApplicationMaster(上午):用户提交的应用程序均包含一个,负责应用的监控,跟踪应用执行状态,重启失败任务等.ApplicationMaster是应用框架,它负责向ResourceManager协调资源,并且与NodeManager协同工作完成任务的执行和监控.MapReduce就是原生支持的一种框架,可以在纱线上运行Mapreduce作业。有很多分布式应用都开发了对应的应用程序框架,用于在纱线上运行任务,例如火花,风暴等。如果需要,我们也可以自己写一个符合规范的纱应用。 <李>容器:是纱线中的资源抽象,它封装了某个节点上的多维度资源,如内存,CPU、磁盘,网络等,当我向RM申请资源时,RM为我返回的资源便是用容器表示的.YARN会为每个任务分配一个容器且该任务只能使用该容器中描述的资源。 <编辑> 2.纱的资源管理1。资源调度和隔离是纱作为一个资源管理系统,最重要且最基础的两个功能。资源调度由resourcemanager完成,而资源隔离由各个nodemanager实现。
李
2. resourcemanager将某个nodemanager上资源分配给任务(这就是所谓的“资源调度”)后,nodemanager需按照要求为任务提供相应的资源,甚至保证这些资源应具有独占性,为任务运行提供基础和保证,这就是所谓的资源隔离。
3。当谈及到资源时,我们通常指内存,cpu、io三种资源.Hadoop纱目前为止仅支持cpu和内存两种资源管理和调度。
4。内存资源多少决定任务的生死,如果内存不够,任务可能运行失败;相比之下,cpu资源则不同,它只会决定任务的快慢,不会对任务的生死产生影响。相关参数:
<强>内存参数:<李> 1. yarn.nodemanager.resource。memory-mb
表示该节点上纱可以使用的物理内存总量,默认是8192,注意,如果你的节点内存资源不够8 g,则需要调减这个值,纱线不会智能的探测节点物理内存总量可调节为本地内存的80% <李> 2. yarn.nodemanager.vmem-pmem-ratio
任务使用1米物理内存最多可以使用虚拟内存量,默认是2.1 <李> 3. yarn.nodemanager.pmem-check-enabled
是否启用一个线程检查每个任务证使用的物理内存量,如果任务超出了分配值,则直接将其杀死,默认是真的。 <李> 4. yarn.nodemanager.vmem-check-enabled
是否启用一个线程检查每个任务证使用的虚拟内存量,如果任务超出了分配值,则直接将其杀死,默认是真的。 <李> 5. yarn.scheduler.minimum-allocation-mb
单个任务可以使用最小物理内存量,默认1024,如果一个任务申请物理内存量少于该值,则该对应值改为这个数。 <李> 6. yarn.scheduler.maximum-allocation-mb纱架构设计详解
