98挂靠网 招聘信息 简历库 企业库 资质代办 放心中介 建筑资讯 建筑考试
当前位置: 证书估价 > 建筑问答 > 成为一个大数据开发工程师的学习步骤

成为一个大数据开发工程师的学习步骤

2020-05-29 15:52:22
2个回答
匿名用户 2020-05-30 13:18:57

大数据经典学习路线(及供参考) - 又一菜鸟要逆袭了 - CSDN博客 刚看到群里有人发的链接,我就给你了。作为刚入门的初学者,我个人绝对这里面的东西很靠谱。你可以做个参考。这个博客不是我写的,我只是提供一个链接

匿名用户 2020-05-30 19:46:10

大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小白的话,那就只能成为一名工程师的后再来学习大数据。一、认识大数据大数据本质其实也是数据,不过也包括了些新的特征,数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题:例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何通过运算转化成自己想要的结果呢?对于这些问题,我们需要有相对应的知识解决。二、大数据所需技能要求Python语言:编写一些脚本时会用到。Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。Ozzie,azkaban:定时任务调度的工具。Hue,Zepplin:图形化任务执行管理,结果查看工具。Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。必须掌握的技能:Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 H……

阅读全文

大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小白的话,那就只能成为一名工程师的后再来学习大数据。一、认识大数据大数据本质其实也是数据,不过也包括了些新的特征,数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题:例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何通过运算转化成自己想要的结果呢?对于这些问题,我们需要有相对应的知识解决。二、大数据所需技能要求Python语言:编写一些脚本时会用到。Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。Ozzie,azkaban:定时任务调度的工具。Hue,Zepplin:图形化任务执行管理,结果查看工具。Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。必须掌握的技能:Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)高阶技能6条:机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio三、学习规划第一阶段(基础阶段)Linux学习Linux操作系统介绍与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。Zookeeper学习Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令。第二阶段(攻坚阶段)Hadoop、Hive、HBase、Scala、Spark、Python第三阶段(辅助工具工学习阶段)Sqoop、Flume、Oozie、Hue这些工具的学习给大家推荐一个大数据开发学习交流群:点击“”领取学习路线“”就可以进入了,里面有学习大数据开发工程师的资料,学习路线,指导老师,免费的的大数据开发工程师学习直播课,欢迎大家加入

北京挂靠价格
挂靠价格站点地图