在过去的6年里,本文的作者一直在关注数据每周Eng(前身是Hadoop每周)…
在过去的6年里,本文的作者一直在关注数据每周Eng(前身是Hadoop每周),它是与大数据和数据工程相关内容的重要来源,涵盖了非常广泛的技术文章,产品公告和行业新闻。
今年,作者打算将分析数据Eng的归档内容(这些归档可追溯到2013年1月)作为其个人项目,来析过去6年中的大数据的趋势和变化。
为此,作者抓取并清理了290多期内容(使用了Python爬虫),保留了与技术,新闻和发布公告相关的文章片段。接下来,他对文章片段进行了一些基本的自然语言处理并应用了一些基本的过滤,最后生成关键字和下下列表。
过去七年的主要趋势
作者绘制了特定关键词被提及次数的月滚动平均值,并将它们绘制在同一个图表上。下面的图表说明了这些技术大约在什么时间点变得越来越流行。
Hadoop与火花
从2013年引发开始接管Hadoop的那一刻起,Hadoop就开始稳步下滑。
Hadoop与卡夫卡
卡夫卡成为所有大数据技术栈的主要构建块。
Hadoop与Kubernetes
Kubernestes的崛起,尽管数据Eng每周并不十分关注DevOps,但却也见证了从2017年开始围绕Kubernetes在各个领域的全面
年度热门关键词
我只是简单地画出在给定年份中被提及次数最多的10个关键词。
2013年:Hadoop的黄金时期!
所有原始的Hadoop项目都在这里:HDFS,纱,先生,猪……以及两大主流发行版鼎晖和黄芪丹参滴丸,除此之外别无其他!
2014年:火花的崛起!
Hadoop总体上延续了它的统治地位,但火花在这一年推出的第一个版本成为2014年最热门的话题!
2015年:卡夫卡来了!
火花取代Hadoop的一名位的置,卡夫卡进入前三。大多数旧项目(HDFS,纱,先生,猪……)都没有进入前十。
2016年:流式处理火热!
2016年是流式处理年,卡夫卡取代了Hadoop第二名的位置,火花(流式处理)继续占据主导地位。
2017:一切向流式处理看齐!
与2016年的阵容相同,只是加入了Flink。
2018年:回到基础!
Kubernetes首次亮相,我们回到了基础,试图找出如何管理(美丽),调度(气流)和运行(火花,卡夫卡,存储……)我们的流。
2019年:…
现在对2019年给出任何结论还为时过早,但看起来k8将在2019年成为主流!
