学习啦 > 实用范文 > 办公文秘 > 岗位职责 > 大数据运维工程师工作的岗位职责

大数据运维工程师工作的岗位职责

时间: 舒欣1213 分享

大数据运维工程师工作的岗位职责

  大数据运维工程师需要明确工作范围,定期与客户沟通工作量,并获取客户回执,及时归档。以下是学习啦小编整理的大数据运维工程师工作的岗位职责。

  大数据运维工程师工作的岗位职责1

  职责:

  1、负责公司大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;

  2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;

  3、深入研究大数据业务相关自动化运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向;

  任职要求:

  1、熟悉Linux系统及基础命令操作,能够独立编写Shell或Python脚本,开展日常服务器的运维工作;

  2、熟悉并不限于大数据生态圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

  等相关基础组件的框架知识和运行原理;

  3、熟悉软硬件设备,网络原理,有丰富的大数据平台(CDH、HDP)部署、集群运维和性能优化等经验;

  4、具备一定的系统自动化运维理论体系和实际经验,能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;

  5、具备较强的学习能力、抗压能力、动手能力和分析解决问题的能力;

  6、熟悉JVM虚拟机调优;

  7、熟悉jenkins持续集成;

  8、有一定的文档编写能力;

  9、能适应短期出差,有公安视频图像侦查业务方向经验者优先;

  大数据运维工程师工作的岗位职责2

  职责:

  1.负责公司大数据平台的运维保障;

  2.负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;

  3.为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张;

  4.负责生产及测试集群诸如故障定位恢复、系统安全、性能优化等;

  任职要求:

  1.计算机相关专业本科及以上学历,3年以上相关工作经验

  2.精通Hadoop大数据生态圈,熟悉Hadoop各组件的原理,并有实际部署维护经验;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

  3.具备很强故障排查能力,有很好的技术敏感度和风险识别能力,良好的服务意识,善于团队协作,项目管理,主动思考,自我驱动力强;

  4.有相关动态编排容器技术和虚拟化技术工作经验者优先;

  5.深入理解Hadoop各组件的原理和实现,有阅读源码能力者优先;

  6.具备很强的ownership,故障排查能力,有很好的技术敏感度和风险识别能力。

  大数据运维工程师工作的岗位职责3

  1、负责建设大数据平台的规划、架构设计和技术选型;

  2、开发和使用Hadoop大数据自动化运维与监控工具;

  3、基于大数据应用需求,负责优化平台的性能,消除性能瓶颈,解决业务的疑难问题;

  4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技术框架; 熟悉java、scala、sqllite等相关技术;具备软件设计、编码开发测试、文档编写的能力;

  5、积极了解业界发展、互联网相关新技术及趋势,参与规划公司大数据产品未来技术架构方向;

  6、负责大数据平台内部所涉及到的各类数据库、数据存储的搭建、备份、日常维护、性能调优;以及大数据平台系统运维、监控和故障分析与处理;

  7、能够很好的和其它团队的同事沟通协作;

  8、负责文档的书写和完善,保证文档的及时更新;

  9、有大型开源系统维护经验优先。

  大数据运维工程师工作的岗位职责4

  职责

  1、负责企业大数据平台的运行监控维护,及时发现并解决平台故障和数据处理异常;

  2、负责大数据平台的数据运营,开展数据采集和数据清洗稽核,保障数据质量,支撑应用开展需要,为数据应用开发团队提供支撑;

  3、负责完善数据平台的运维监控和数据质量保障手段,负责相应运维脚本、数据分析脚本的开发和部署;

  4、对数据平台运营情况进行分析和总结,并提出优化建议。

  应聘资格要求

  1.2019届全日制统招应届硕士及以上(特别优秀的可放宽至本科)(不含专升本、二级学院)。

  2.英语水平:达到国家四级或四级考试425分以上。

  3.身体健康,举止大方,具备良好的素质修养。

  4、较强的执行能力、组织协调能力、学习分析能力、沟通协调能力及良好的文字表达能力。

  5具有较高的企业忠诚度和良好的道德修养,爱岗敬业,有事业心、责任心、团队合作精神。

  大数据运维工程师工作的岗位职责5

  职责:

  1、负责大数据环境的现场运维和实施。

  2、负责大数据环境的故障分析、问题排除;

  3、负责大数据环境(hadoop生态)集群环境安装、维护、部署、优化。

  任职要求:

  1、精通Hadoop生态圈各个组件原理。

  2、具备Hadoop/Kafka/Zookeeper/Spark/Storm/Flume/Hive等集群运维经验者优先。

  3、熟悉mysql、Oracle等主流数据库

  4、熟悉linux操作系统、shell脚本

  5、掌握Python/Shell/Java中至少1种开发语言;

相关文章:

1.大数据运维工程师岗位的工作职责概述

2.运维经理的具体职责

3.初级运维工程师的岗位职责模板

4.运维经理岗位的基本职责

5.大数据运维工程师岗位的主要职责

55966