大数据开发工程师的主要职责精选（共19篇）由网友“郑在热恋”投稿提供，下面小编给大家整理大数据开发工程师的主要职责精选，希望大家喜欢！
篇1：大数据开发工程师的职责精选
职责：
1、负责该领域的业务需求讨论，完成技术方案及数据开发;
2、负责数据仓库的体系建设及落地实现;
3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;
4、负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。
招聘要求：
1、计算机、电子通信、自动化等专业，本科及以上学历;
2、五年以上研发经验，其中二年以上大数据开发的相关工作经验;
3、熟练JAVA开发语言;熟悉微服务及Spring框架;
4、熟练熟练Hive、Impala、ES性能调优，关注细节，学习能力强;
5、能配合团队完成该领域的工作，自我管理能力强，能承受工作中的各种压力，具备很好的团队意识
6、熟练主流大数据平台产品部署及运维，如CDH、HDP平台。
7、对机器学习和深度学习等方面有一定的了解;
8、有汽车制造业及相关行业的大数据开发经验优先。
篇2：大数据开发工程师的职责精选
职责：
1、负责数据中心和大数据处理平台的搭建
2、在线和离线海量数据分析平台的开发;
3、研究大数据前沿技术，提升系统的运维效率;
4、参与大数据的采集、存储、处理，分析等开发
5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现
【任职要求】：
1、计算机或相关专业本科学历及以上，2年工作经验以上
2、熟悉Java/Scala等至少一门语言，能对分布式常用技术进行合理应用，解决实际架构问题
3、熟练使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大数据开发组件
4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发;
5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;
6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。
7. 有BI开发经验的优化考虑。
篇3：大数据开发工程师的职责精选
职责：
1.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;
2.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求;
3.积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接;
4.完成上级交办的工作或任务。
岗位要求
1.计算机相关专业大专以上学历;
2.2年以上大数据产品或项目开发经验，精通Hadoop生态圈，熟练使用Spark，HBase、Hive、Kafka、Redis等;
3.精通SQL，熟练使用HSQL实现复杂数据处理逻辑，并具备数据处理调优的能力;
4.熟悉Linux开发环境，熟悉Linux的shell命令。
5.具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力;
6.良好的团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳;
7.有大数据项目或产品背景者优先;
8.有使用Spark SQL进行数据处理，并具有Spark SQL优化经验者优先。
9.有Python或者Shell脚本开发经验优先
篇4：大数据开发工程师的职责精选
职责：
1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;
2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;
3、负责大数据平台的规划升级、平台维护和优化 ;
4、和其他部门或团队沟通、资源协调并落实工作。
任职要求
1、本科及以上学历;
2、3年以上大型大数据平台建设实施经验 ;
3、掌握常用大数据组件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和调优 ;
4、具备较强技术功底，精通Java、Scala、Python等至少一种开发语言，能根据需求给出技术架构 ;
5、有数据仓库、元数据管理和治理的开发经验优先 ;
6、善于沟通，思维活跃、责任感强、工作积极主动，有良好的团队协作意识。
篇5：大数据开发工程师的职责精选
职责：
1、负责完成业务和产品的对接，支持业务需求研发;
2、负责完成产品的迭代升级以及底层架构的升级研发;
3、完成团队安排的其他相关日常工作任职要求;
4、负责产品的实时业务和离线业务的研发;
5、支持开源大数据技术在数据系统中的使用，修复、优化增强大数据技术;
岗位要求：
1、具有分布式系统架构开发能力，熟练使用storm、spark hbase者优先。
2、能够使用实时计算平台，进行实时业务数据的研发。
3、能够基于已有平台进行离线业务的开发。
4、有大数据应用产品研发经验，具有数据决策产品研发经验者优先。
篇6：大数据开发工程师岗位的职责描述
职责：
1、负责异构数据系统和大数据平台的集成与融合;
2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;
3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;
4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模;
5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率;
6、完成领导交办的其他任务。
任职资格：
1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验;
2、具备实时处理框架的设计和开发能力，熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种;
3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相关技术;
4、熟悉Scala、熟悉Linux开发环境，能进行shell脚本的编写;
5、具有较强的逻辑分析能力，高度的责任心及团队合作精神;
6、具有实际大数据项目的成功经验者优先考虑。
篇7：大数据开发工程师的工作职责
职责：
1、独立负责工作小组，并对下级成员进行监督;
2、具备资源整合以及对软件项目全局把控的能力;
3、负责软件项目的系统设计和需求分析;
4、制定软件项目开发计划，并按时完成功能模块的设计、开发以及编程任务;
5、积极配合并完成主管下达的任务，并能够对软件部门的发展规划提出意见;
任职条件
1、大数据相关开发经验3年以上，至少具备2年以上java开发经验;
2、有基于hadoop的数据抽取、转换、加载的开发相关经验;
3、熟练掌握hadoop生态的相关知识，如hive,hbase,flume.kafka,storm,spark，mapreduce等;
4、熟悉Linux操作系统。熟悉linux各项基本操作，至少掌握一门脚本语言;
5、熟练数据仓库，对多维数据建模有深入理解;
6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;
7、思维敏捷，有较强的钻研学习能力，较好的沟通能力、团队合作;
篇8：大数据开发工程师的具体职责
职责:
1、负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等;
2、结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等;
3、负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发;
4、负责公司业务数据仓库模型建设及全业务数据域打通;
5、负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;
任职资格:
1、熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验;
2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等;
3、有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;
4、精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如Java、Python、Shell和scala等;
5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备ETL开发经验优先;
6、良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力;
7、具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。
篇9：大数据开发工程师的基本职责
职责：
1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作
2、与交易员对接，制定切实可行的的策略测试计划，开展新策略模型的开发和验证
3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化
4、上级交办的其他工作
任职要求：
1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础
2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先
3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验;
4、对数字货币领域感兴趣，结果导向;
5、有网页抓取和爬虫程序编写经验者优先。
篇10：大数据开发工程师岗位的职责描述
职责：
1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发;
2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;
3、根据分配任务制定开发计划并按时完成相应模块的设计、开发和单元测试;
4、参与产品(项目)相关系统需求分析以及撰写相关系统设计文档;
要求：
1. 五年左右大数据研发岗位工作经验
2、丰富大数据开发经验：熟悉企业大数据常用技术，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技术;
3、具有大型应用系统开发经验，具有分布式、高并发、高性能等架构经验，具有一定团队管理经验者优先;
4、了解J2EE技术平台及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架开发经验;
5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技术，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一种;
篇11：大数据开发工程师岗位的职责描述
职责
1、负责大数据分析平台的建设，基于历史和业务实时数据构建数据挖掘模型;
2、根据需求设计和实现数据分析展示平台;
3、负责建立、维护和改进大数据分析流程、规范、方法;
4、负责基于大数据的数据分析算法研究，基于数据分析结果优化现有应用并探索新的应用。
任职要求：
1、本科及以上学历，统计、数学、计算机或相关专业/方向，3年以上数据分析、数据挖掘相关工作经验;
2、精通MATLAB、Python等大数据涉及的语言和工具，并能熟练运用相关数据分析工具实现数据分析方法;
3、对机器学习、数据挖掘算法及其应用有比较全面的认识和理解，熟悉主流数据挖掘框架;
4、熟悉分布式数据库、数据仓库和数据集市，熟悉数据库相关操作和编程;
5、具有优秀的发现、分析并解决问题的能力，积极性高，具有严谨缜密的工作习惯、较强的沟通能力及团队合作精神;
6、有旅游行业数据分析与挖掘从业经验者优先。有主导完成优秀应用、大型数据平台项目、有数据挖掘，算法设计等开发经验者优先。
篇12：大数据开发工程师的基本职责
职责：
1、大数据日志分析系统的设计，选型和开发;
2、配合各业务给予数据支持，对产品和运营数据总结和优化;
3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果;
4、发现并指出数据异常情况，分析数据合理性;
5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性;
6、大数据基础架构平台的监控、资源管理、数据流管理;
7、基于数据分析的可预测的云平台弹性扩展解决方案。
任职要求：
1、日志分析数据系统实际经验;
2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力;
3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安装与调试;
4、熟悉大数据周边相关的数据库系统，关系型数据库和 NoSQL。
5、掌握 Linux 操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。
篇13：大数据开发工程师的具体职责
职责：
1、在hadoop平台进行hive/hbase/spark开发;
2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作;
3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构;
4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
5、部门相关工作。
岗位要求：
1、计算机等相关专业大专及以上学历;
2、3年以上软件开发经验，精通Java开发，至少2年以上Hadoop相关开发经验;
3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验;
4、熟悉sqoop、Hive、hbase、spark等大数据生态组件;
5、精通linux shell和sql脚本;
6、有java web开发经验者优先;
7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。
篇14：大数据开发工程师岗位的职责描述
职责：
1、负责大数据ETL开发与维护;
2、负责大数据平台数据库的设计以及开发;
3、负责大数据计算框架的选型与计算流程的设计与开发;
4、负责数据服务的设计与开发。
任职资格：
1、本科及以上学历;
2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件，具备系统优化与性能调优能力者优先;
3、精通JAVA等面向对象编程，有分布式并行计算的开发经验优先;
4、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有hive等数据仓库研发经验优先;
5、熟悉大数据、云计算概念，了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先;
6、自学能力强，沟通能力较好，有一定独立分析，技术研究能力，具有良好的团队合作精神;
7、数据意识强，有较好的文档编写能力，以及踏实的工作作风。
篇15：大数据开发工程师的基本职责
职责：
1、负责数据分析、加工、清理、处理程序的开发;
2、负责数据相关平台的搭建、维护和优化;
3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;
岗位要求：
1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业
2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识;
3、熟练使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底层框架和实现原理;
4、使用Spark Streaming和Spark SQL进行数据处理, 并具有SPARK SQL优化经验;
5、需要有至少2年开发经验,有flink开发经验优先;
6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。
篇16：大数据开发工程师的具体职责
职责：
1、本岗位培养方向为证券基金行业数据架构师;
2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设计人员进行模型设计;
3、辅助技术架构师进行大数据平台调优(业务逻辑角度);
4、负责大数据平台开发，包括数据抽取、转换和加载;
5、负责控制数据需求、管理项目开发进度，配合QA完成项目质量管理;
职位要求：
1、2年以上证券或者基金行业数据中心、大数据平台建设经验;
2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;
3、熟练掌握基于ORACLE或MPP数据库或Hadoop等开发技术;
4、至少掌握一种ETL开发工具。如：Informatica、DataStage、SSIS、Kettle等;
5、良好的团队合作精神、公司提供优厚待遇。
篇17：大数据开发工程师的基本职责
职责:
1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;
2、对各种开源框架进行深入的代码剖析和优化;
3、参与大数据技术方案评审;
4、指导初中级大数据工程师工作;
岗位要求:
1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验;
2. 对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架;
3. 具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;
4. 对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先;
5. 工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。
篇18：大数据开发工程师的具体职责
职责
1. 负责大数据分析需求设计和开发工作，包括数据存储、预处理、查询、统计、实时分析、数据优化及配置等功能;
2. 对大数据分析系统存在的问题进行跟踪和定位并及时解决;
3. 负责上级交办的其他相关工作。
岗位要求：
1. 本科以上学历，2年以上工作经验;
2. Java基础扎实，熟练使用Java IDE 进行代码编写和调试，熟悉JUnit单元测试框架;
3. 熟悉Linux操作系统，能在Linux上完成开发、调试工作;
4. 熟悉网络IO、多线程并发编程、集合等基础框架，精通数据结构和数据算法;
5. 参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验;
6. 熟悉数据库操作和使用的基本技能，熟练一种关系型数据库的使用;
7. 能独立编写详细设计文档;
8. 有大数据分析工具Hadoop、spark使用开发经验优先;
9. 具有团队精神与敬业精神，学习钻研能力强，具有良好的协调沟通能力。
篇19：大数据开发工程师的具体职责
职责：
1、大数据的分布式采集与环境搭建和测试;
2、大数据存储、处理和分析工作;
3、大数据相关产品线的改进和相关核心开发工作;
4、其他大数据相关工作。
任职要求：
1、本科及以上学历，计算机相关专业;
2、2年以上Java开发及大数据相关开发经验，java基础扎实，熟练掌握多线程、集合、缓存、序列化、nio等技术;
3、熟悉Linux环境，熟悉Linux shell/python/perl任一脚本;
4、熟悉Hadoop、Spark、ZooKeeper等主流的大数据处理架构，并有1年以上Hadoop相关的实际开发、架构及调优经验;
5、使用过阿里云;
6、熟悉架构;
7、具有较好的学习能力、沟通表达能力及团队合作能力。
★ java简历表格
★ 岗位需求分析范文
【大数据开发工程师的主要职责精选（共19篇）】相关文章：
未来学校管理系统如何构建论文2022-07-27
软件开发工程师竞聘稿2022-08-17
java工程师简历2024-04-27
开发部工作职责2022-05-08
web前端开发实训总结2022-07-22
运维述职报告2022-11-22
测绘工作计划2023-11-15
数据库工程师的工作职责2022-11-11
财会业务人员行业知识竞聘稿2023-04-18
部门预算范文2023-08-24