这两天真的是被《啥是佩奇》这支广告片刷屏了。佩奇明明是个喜剧角色,却把所有人都给看哭了!
中间的剧情,小孙子一句:“想要佩奇”,结果爷爷就开始了满村子的寻找佩奇,到最后寻找到了小编认为是最好看的佩奇
不知道大家看了之后是什么感觉,反正我看了之后的感觉是非常感动了。不过经过几天的发酵,”佩奇”这两个字似乎有了更多的含义了!各种“佩奇”齐出不穷,女人的“佩奇”是什么样的?程序员的“佩奇”是什么样的?
在这里还是要推荐下我自己建的大数据学习交流群:529867072,群里都是学大数据开发的,如果你正在学习大数据,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。
今天在这里我就给大家分享一下,大数据工程师的“佩奇”是什么样的!
"佩”奇技能
1。编程能力
无论是Java还是Python,学习编程语言一定要先沉下心来专攻某一门,尤其是开放源代码工具,在任何公司都广泛运用。
比如对Java语言基础语法,OOP编程,多线程及网络编程,MySQL数据库,Maven项目管理等开发入门工具的学习,可以训练自己掌握大数据必备的基本编码能力,也为后续学习大数据分析或是推荐系统等高级的内容打下坚实基础。
hadoop2.
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远.Hadoop里面包括几个组件HDFS, MapReduce和纱,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
纱是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在Hadoop上运行了,这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个火花的集群了,让它直接跑在现有的Hadoop纱上面就可以了。下面是Hadoop的常用模块架构图:
3.火花
它是用来弥补基于MapReduce处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的. java语言或scala者都可以操作它,因为它们都是用JVM的。
4.风暴
风暴是一个免费并开源的分布式实时计算系统。利用风暴可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,风暴可以实时处理数据.Storm简单,可以使用任何编程语言。
5.卡夫卡
卡夫卡是一个分布式的、分区,复制提交logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现.kafka对消息保存时根据主题进行归类,发送消息者成为生产商,消息接受者成为消费者,此外卡夫卡集群有多个卡夫卡实例组成,每个实例(服务器)成为代理。无论是卡夫卡集群,还是生产者和消费者都依赖于管理员来保证系统可用性集群保存一些元信息。
6. flink
Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集,历史的数据集;也可以用来做流处理,即实时地处理一些实时数据流,实时地产生数据的结果,也可以用来做一些基于事件的应用,比如说滴滴通过Flink CEP实现实时监测用户及司机的行为流来判断用户或司机的行为是否正当。大数据学习交流群:529867072
7.蜂巢
蜂巢由Facebook实现并开源
是基于Hadoop的一个数据仓库工具
可以将结构化的数据映射为一张数据库表
并提供HQL蜂巢(SQL)查询功能
底层数据是存储在HDFS上
蜂巢的本质是将SQL语句转换为MapReduce任务运行
使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据,适用于离线的批量数据计算。
