最近看过一篇与Hadoop有关的英文文档,其实就是一本书里的一部分内容。觉得很好,基本阐述了一个Hadoop管理员的职责。平时,工作当中接触到Hadoop的朋友,可以看下,这篇文档中所描述的知识和技能,大家是否都已经具备了?
译文:
一个Hadoop管理员的职责
随着对大数据日益增长的兴趣和洞察力,各个组织正在积极计划或者组建他们的大数据团队。要开始进行数据工作,他们需要一个良好而扎实的基础架构。
一旦他们具备基础架构,他们就须要针对集群的维护,管理和排错进行控制和指定策略。
市场对Hadoop管理员的需求日益增长,他们的工作(创建和维护集群)使得数据分析成为真正的可能。
Hadoop管理员在网络,操作系统,和存储方面,须要很好的系统操作技能。在复杂的网络环境中,对于计算机硬件和硬件操作,他们需要具备大量的知识。
Apache Hadoop软件主要运行在Linux操作系统,所有必须对Linux操作系统具备诸如:监控,排错,配置,安全管理等这些技能。
为集群设置节点涉及很多重复性的工作,Hadoop管理员应该使用快速而有效率的方法把这些服务器使用起来,比如使用傀儡,厨师和CFEngine这样的管理工具。
除了这些工具,管理也应该具备良好的规划技能去设计和规划集群。
在一个集群中许多节点须要复制数据,比如,namenode守护进程的fsimage文件,可以被配置为写入相同节点的不同硬盘,或者写入不同节点。
所以hadoop管理员须要理解NFS挂载点以及如何配合集群来建立NFS挂载。管理员也可能被要求在特定的节点上配置磁盘突袭。
因为Hadoop所有的服务和守护进程都是建立在Java之上,所以JVM (Java虚拟机Java虚拟机)的基本知识,和对Java异常的理解将会非常有用。
这些知识能够帮助管理员快速的确认问题。
Hadoop管理员应具备进行基准测试的技能,能够在高流量的场景下测试集群的性能。
集群总是在持续不断的运行,并处理大量的数据,所以集群比较容易出现故障。为了监控集群的健康状况,管理员须要部署监控工具,诸如:Nagios和神经节等等。
并且管理员须要为关键节点配置告警和监控,在出现问题之前,提前预见到问题。
具备良好的脚步语言编程知识,诸如:Python、Ruby、或者壳,将会极大的帮助到Hadoop管理员。
通常,Hadoop管理员会被要求把一些预定的文件从外部文件源,分期的导入至HDFS。脚步技能可以帮助管理员通过执行脚本来自动化地管理这些工作。
最重要的是,Hadoop管理员应该很好的了解Apache Hadoop的体系结构和它的内部运作。
下面这些项目是Hadoop管理员必须掌握的一些关键Hadoop操作:
规划集群,评估集群须要处理的数据量,以此来决定集群中的节点数量。
在集群上安装和升级Apache Hadoop。
通过使用Hadoop的各种配置文件来配置和调试Hadoop。
理解所有Hadoop守护进程,以及它们在集群中的角色和承担的职责。
Hadoop管理员应该知如何阅读和解释Hadoop的日志。
在集群中添加和删除节点。
在集群中重新平衡节点。
使用认证和认证系统来启用安全机制,比如Kerberos
几乎所有的组织都会遵循一定的策略来备份他们的数据,执行数据备份工作是Hadoop管理员的责任。
所以Hadoop管理员应该熟悉服务器的备份和恢复操作。
原文:
Hadoop管理员的职责
增加的利息获得洞察他们的大数据,
组织正在积极规划和建设他们的大数据团队。
开始工作在他们的数据,他们需要有一个良好的坚实的基础。
一旦他们有这样的设置,他们需要一些控制和系统的政策来维护,管理和解决他们的集群。
有一个不断增长的对Hadoop管理员的需求市场
功能(建立和维护Hadoop集群)是分析真的可能。
Hadoop管理员在系统操作,需要很好的网络,操作系统,和存储。
他们需要一个强大的计算机硬件及其操作的知识,在一个复杂的网络。
Apache Hadoop,主要在Linux上运行。所以有好的Linux技能,如监控、故障排除、confguration,安全是必须的。
设置节点集群涉及很多重复性的任务
和Hadoop管理员应该使用更快的和有效率的方式把这些服务器使用confguration管理工具
如傀儡,厨师,CFEngine。
除了这些工具,管理员也应该有良好的容量规划技能设计和计划集群。
