什么是便

介绍

本篇内容介绍了“什么是便”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

,,,,便项目可以很容易地实现分布式应用的自动化调度。同时,便自身也很高的结合和主持了码头工人等相关容器技术,基于便已有的大量应用框架,可以实现用户应用的快速上线。

,,,,便可以将整个数据中心的资源(包括CPU、内存,存储,网络等)进行抽象和调度,是的多个应用同时运行在集群中分享资源,并无需关心资源的屋里分布情况。

如果把数据中心中的集群资源看做一台服务器,那么便要做的事情,其实就是今天操作系统内核的职责:抽象资源+调度任务.Mesos项目代码已经相对成熟。拥有许多引人注目的特性,包括:

<李>

支持数万个节点的大规模场景

<李>

支持多种应用框架,包括马拉松,奇点,极光等;

<李>

支持公顷(基于管理员实现)

<李>

支持码头工人,LXC等容器机制进行任务隔离;

<李>

提供了多个流行语言的API,包括Python, Javaden

<李>

自带了简洁易用的WebUI,方便用户直接进行操作,

什么是便“> </p> <p>便才用了经典的“主-从”架构,其中主节点(管理节点)可以使用管理员来做HA.Mesos主服务奖运行在主节点上,便奴隶服务则需要运行在各个计算任务节点上。负责完成具体任务的应用框架,与主人便进行交互,来申请资源。</p> <p>,,,,,,,,便有三个基本的组件:管理服务(主),任务服务(奴隶)以及应用框架(框架). </p> <p>,,,,,,,,管理服务(主):跟大部分分布式系统中类似,主节点起到管理作用,将看到全局的信息,负责不同应用框架之间的资源调度和逻辑控制。应用框架需要注册到管理服务上才能被使用。用户和应用需要通用主节点提供的API来获取集群状态和操作集群资源。</p> <p>,,,,,,,,任务服务(奴隶):负责汇报本从节点上的资源状态(空闲资源,运行状态等等)给主节点,并负责隔离本地资源来执行主节点分配的具体任务。隔离机制目前包括各种容器机制,包括LXC,码头工人等。</p> <p>,,,,,,,,应用框架(框架):应用框架是实际干活的,包括连个主要组件:</p> <p>,,,,,,,,,,,,,,,,,,调度器:注册到主机诶单,等待分配资源;</p> <p>,,,,,,,,,,,,,,,,,,执行器:在从节点上执行框架指定的任务(框架也可以使用便自带的执行器,包括shell脚本执行器和码头工人执行器)</p> <p>,,,,,,,,应用框架可以分两种:一种是对资源的需求会扩展(比如Hadoop,火花等),申请后还可能调整;另一种是对资源的需求将会固定(MPI等),一次申请即可。</p> <p> <强>调度</强> </p> <p>,,,,对于一个资源调度框架来说,最核心的就是调度机制,怎么能快速高效地完成对某个应用框架资源的分配,是核心竞争力所在。最理想情况下(大部分时候都无法实现),最好是能猜到应用们的实际需求,实现最大化的资源使用率。</p> <p>,,,,便为了实现尽量优化的调度,采取了两层(两层)的调度算法</p> <p>,,,,调度的基本思路很简单,主人先全局调度一大块资源给某个框架,框架自己在实现内部的细粒度调度,决定那个任务用多少资源。两层调度简化了便主自身的调度过程,通过将复杂的细粒度调度交由框架实现,避免了便成大师为性能的瓶颈。</p> <p> <强>调度过程</强> </p> <p>,,,,调度通过提供发送的方式进行交互。一个是提供一组资源例如& lt; 1 CPU, 2 GB Mem>祝辞。</p> <p>基本调度过程如下:</p> <ol类= <李>

奴隶节点会周期性汇报自己可用的资源给主人;

<李>

某个时候,主收到应用框架发来的资源请求,根据调度策略,计算出来一个资源提供给框架;

<李>

框架收到报价后可以决定要不要,如果接受的话,返回一个描述,说明自己希望如何使用和分配这些资源来运行某些任务(可以说明只希望使用部分资源,则多出来的会被主人收回),

<李>

主则根据框架答复的具体分配情况发送给奴隶,以使用框架的遗嘱执行人来按照分配的资源策略执行任务。

,,,,具体给出一个例子:某从节点想主节点汇报自己有& lt; 4个CPU, 8 GB Mem>的空闲资源,同时,主节点看到某个应用框架请求& lt; 3 CPU、6 GB Mem>就创建一个offer<奴隶# 1,4个CPU, 8 gb>把满足的资源发给应用框架。应用框架(的调度器)收到报价后觉得可以接受,就恢复主节点,并告诉主机节点希望运行两个任务:一个占用& lt; 1 CPU、2 gb Mem>一个占用& lt; 2 CPU、4 gb Mem>。主节点收到任务信息后分配任务到从节点上运行(实际上是应用框架的执行器来负责执行任务)。任务执行结束后资源可以被释放出来。剩余则资源还尅继续分配给其他应用框架或任务。

什么是便