首页 > 大数据 > 正文

一文看懂大数据领域的六年巨变

双色球中奖规则 www.9q9w.com.cn 2019-02-26 10:56:21  来源:简书

摘要:今年,打算将分析 Data Eng 的归档内容(这些归档可追溯到 2013 年 1 月)作为其个人项目,来析过去 6 年中的大数据的趋势和变化。
关键词: 大数据
今年,打算将分析 Data Eng 的归档内容(这些归档可追溯到 2013 年 1 月)作为其个人项目,来析过去 6 年中的大数据的趋势和变化。

为此,作者抓取并清理了 290 多期内容(使用了 Python 爬虫),保留了与技术、新闻和发布公告相关的文章片段。接下来,他对文章片段进行了一些基本的自然语言处理并应用了一些基本的过滤,最后生成关键字和下下列表。

一文看懂大数据领域的六年巨变

过去六年的主要趋势

作者绘制了特定关键词被提及次数的月滚动平均值,并将它们绘制在同一个图表上。下面的图表说明了这些技术大约在什么时间点变得越来越流行。

Hadoop 与 Spark

一文看懂大数据领域的六年巨变

从 2013 年 Spark 开始接管 Hadoop 的那一刻起,Hadoop 就开始稳步下滑。

Hadoop 与 Kafka

一文看懂大数据领域的六年巨变

Kafka 成为所有大数据技术栈的主要构建块。

Hadoop 与 Kubernetes

一文看懂大数据领域的六年巨变

Kubernestes 的崛起,尽管 Data Eng Weekly 并不十分关注 DevOps,但却也见证了从 2017 年开始围绕 Kubernetes 在各个领域的全面炒作。

年度热门关键词

我只是简单地画出在给定年份中被提及次数最多的 10 个关键词。

2013 年:Hadoop 的黄金时期!

一文看懂大数据领域的六年巨变

所有原始的 Hadoop 项目都在这里:HDFS、YARN、MR、PIG……以及两大主流发行版 CDH 和 HDP,除此之外别无其他!

2014 年:Spark 的崛起!

一文看懂大数据领域的六年巨变

Hadoop 总体上延续了它的统治地位,但 Spark 在这一年推出的第一个版本成为 2014 年最热门的话题!

2015 年:Kafka 来了!

一文看懂大数据领域的六年巨变

Spark 取代 Hadoop 的一名位的置,Kafka 进入前三。大多数旧项目(HDFS、YARN、MR、PIG……)都没有进入前十。

2016 年:流式处理火热!

一文看懂大数据领域的六年巨变

2016 年是流式处理年,Kafka 取代了 Hadoop 第二名的位置,Spark(流式处理)继续占据主导地位。

2017:一切向流式处理看齐!

一文看懂大数据领域的六年巨变

与 2016 年的阵容相同,只是加入了 Flink。

2018 年:回到基础!

一文看懂大数据领域的六年巨变

Kubernetes 首次亮相,我们回到了基础,试图找出如何管理(K8S)、调度(airflow)和运行(Spark、Kafka、存储……)我们的流。

2019 年:......

一文看懂大数据领域的六年巨变

现在对 2019 年给出任何结论还为时过早,但看起来 K8s 将在 2019 年成为主流!


第二十八届CIO班招生
法国布雷斯特商学院MBA班招生
法国布雷斯特商学院硕士班招生
法国布雷斯特商学院DBA班招生
责编:pingxiaoli
  • 岭南佳果飘香 周边摘果正当时 2019-05-17
  • 奔驰R级优惠10.7万元 少量现车火热促销 2019-05-14
  • 好事要支持,解决劳动力更是好事 2019-05-14
  • 多交140分“亚裔税”?哈佛大学被控歧视亚裔学生 2019-05-07
  • 《格萨尔》史诗藏译汉16册完成终审 2019-05-07
  • 鹿晗解说、姜文定制宣传片 世界杯主题的网综来了 2019-05-04
  • 十九大精神进机关:原原本本吃透精神 学懂弄通昂扬斗志 2019-05-03
  • 【理上网来·喜迎十九大】以党的制度建设推进管党治党 2019-05-01
  • 提升双创教育质量的关键在机制协同 2019-05-01
  • 毛丹青:故乡是文学的起跑线 2019-04-29
  • [微笑]责权利平滑对接…… 2019-04-29
  • 韩国提东亚四国联合申办世界杯,中国足协:并无计划 2019-04-24
  • 赵建平当选晋中市人民政府市长 2019-04-22
  • 美容养颜 别忘了桃胶皂角米雪耳羹 2019-04-22
  • 周迅高圣远婚礼全记录 夫妻频拥吻恩爱爆棚 2019-04-19
  • 691| 871| 525| 606| 455| 110| 833| 899| 356| 9|