大数据架构师岗位的具体职责表述(推荐12篇)由网友“BAI”投稿提供,以下是小编为大家准备的大数据架构师岗位的具体职责表述,仅供参考,欢迎大家阅读。
篇1:大数据架构师岗位的具体职责表述
职责:
1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。
2.负责制定大数据平台调用约束和规范;
3.负责大数据方向技术难题的解决,以及代码质量的把控;
4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。
任职要求:
1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;
2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;
3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;
4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先
6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;
7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;
8.具有良好的文档编写能力,可进行方案设计、架构设计。
篇2:大数据架构师岗位的具体职责表述
职责:
1.负责过多个大数据项目的架构;
2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;
3.精通大数据实时流式处理的设计和应用;
3.熟悉大数据平台调优,具备大数据生产平台调优经验;
4.金融行业,运营商行业大数据架构经验更优;
5.研究大数据技术的最新发展,并引入到公司技术架构;
6.指导大数据工程师的日常工作,并培养技术骨干。
任职资格:
1.计算机相关专业本科或以上学历;
2.具有5年以上大数据相关开发经验;
3.具有2年以上带团队经验
4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;
5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;
6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;
7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;
8.沟通顺畅,重点突出,高效。
篇3:大数据架构师岗位的具体职责表述
职责:
1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发
2.梳理公司各业务线常用的指标和维度,统一指标定义口径
3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率
4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性
5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地
岗位要求:
1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验
2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具
3.精通一种主流关系数据库(如mysql等),熟悉Hive开发
4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先
5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值
篇4:大数据架构师岗位的具体职责表述
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;
完成上级领导交办的其它各项工作。
任职资格:
985/211本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;
良好的团队合作精神,较强的沟通能力和学习能力 ;
篇5:大数据架构师岗位的具体职责表述
职责:
1、大数据平台的规划、设计、实施,并优化数据库;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、对数据库性能分析与调优,排错,保证数据正确率;
4、配合其他部门进行的数据处理、查询,统计和分析工作;
5、完成公司下达的项目开发任务。
任职要求:
1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;
2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;
3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;
4、熟悉C++、Java、C#等开发语言;
5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;
6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;
7、快速处理系统突发事件的能力,较强的学习和创新能力;
8、良好的沟通能力和团队合作精神。
篇6:大数据架构师的具体职责
职责:
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历,计算机等相关专业,5年以上工作经验;
2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;
3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;
5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心,工作积极,对新领域新技术有热情。
篇7:大数据架构师的具体职责
职责:
负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;
负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能
任职要求:
本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;
熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;
熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;
熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;
逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。
具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
篇8:大数据架构师的具体职责
职责:
1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;
2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;
3、良好的编程开发能力,精通PHP及其他开发语言;
4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;
5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;
6、软件基础理论知识扎实,具有良好的数据结构、算法功底;
7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;
篇9:大数据架构师的具体职责
职责:
1、数据分析软件平台架构搭建
2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;
3、指导开发人员开发,并解决系统出现的问题,理解物业需求;
4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;
任职要求:
1、硕士以上,计算机或先关专业;
2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,
3、具备良好的组件级建模能力,熟悉HTTP、TCP等协议
4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.
5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署
6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术
篇10:大数据架构师的具体职责
职责:
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;
4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品,跟进业界先进技术;
任职要求:
1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备良好的系统分析能力、故障诊断能力;
4 有大数据策略、算法、可视化经验优先。
篇11:软件架构师岗位的职责表述
职责:
设计公司业务系统及相关软件产品架构,负责应用架构设计、概要设计和核心模块详细设计并撰写文档;
负责对互联网软件架构、系统分层、关键构件、接口的设计;
负责产品或项目中关键任务代码编写以及开发小组成员代码的Review;
负责解决后端系统中的性能瓶颈与技术难题;
负责关键技术攻关和把控,及时指导、处理、协调和解决开发过程中出现的技术问题;
组织开发团队在保证编码质量的情况下按计划进度完成任务;
完成领导分配的有关工作的任务;
任职资格:
8年以上工作经验,包含5年以上互联网应用开发经验,3年以上大型互联网业务系统架构设计经验;
深度理解架构师的职责和架构设计的目标、原则及取舍;
具备良好的面向对象分析、设计、开发能力和思想,精通OO、AOP、OOP、DDD及设计模式;
精通互联网应用架构设计(分布式、延展性、可扩性),业务抽象和模型设计,以及相关方法论;
精通UML建模语言,熟悉常用UML建模工具;
精通C#平台开发,熟悉主流的开发语言及新兴技术,如Java,JS,.Net Core等,精通各种常用数据结构和算法,掌握多种架构设计模式,熟悉高性能服务器架构,应用集成、大规模分布式系统设计,海量数据处理;
精通主流的开源框架类产品,数据库及脚本语言,如SQL Server,Hadoop,MySQL,Redis,MQ等;
熟悉大规模系统的负载均衡,如Nginx,OpenResty、缓存、网络存储、网络安全、数据库高可用设计及性能评估机制;
熟悉容器相关技术:Docker、Kubernetes、Mesos等;
熟悉DevOps相关工具: git、Jenkins、Gradle、Ansible、SonaQube等;
熟悉DevOps流程,熟悉敏捷开发;
具有高度的责任心、进取心,具备快速学习能力和创新精神,工作积极主动,注重工作结果,拥有较强的产品思维和用户思维能力;
较强的表达和沟通能力,优秀的逻辑思维能力,高度的敬业精神,良好的团队领导力; 优秀的文档编写能力;能独立完成技术方案、设计方案的编写;
对技术的发展趋势敏感,能够快速学习,并能积极分享,优秀的架构思维能力,在关注的领域愿意深入研究、不断创新;
善于沟通,团队协作精神良好,乐于分享经验与感悟,促进团队共同进步;
优先大型互联网公司工作经验,或在著名的技术社区和技术杂志上发表过技术文章;
篇12:Java架构师岗位的职责表述
职责:
1、负责物联网联接管理平台架构规划及设计(包含软硬件及组网方案),对产品的整体系统架构负责。
2、负责物联网联接管理平台运行设计工作,及主导关键框架代码编写。
3、负责研究相关解决方案技术发展方向,了解、掌握系统架构技术;
4、负责技术架构设计、优化,根据业务需求制定应用架构方案;审核和评估相关方案与设计,以确保其符合架构规划,满足业务需求;
5、主导技术难题攻关,持续提升系统在高并发、海量请求下的高处理性能;分析系统瓶颈,解决疑难杂症,对系统进行性能调优;
6、负责城市物联网关、数据网关,CP/SP等业务系统的研发实施;
7、负责规划城市物联网数据平台产品线,重点关注数据采集、大数据分析、人工智能的创新应用和数据挖掘价值;
8、针对业务需求可行性和设计方案进行评估,新技术预研;
9、对系统关键代码进行Review并提出改进方案,负责系统核心功能开发。
任职要求:
1、精通Java编程、设计模式和组件技术,熟悉关系型数据库和面向对象思想,熟悉TCP IP/WebServise、SOAP/网络安全技术和MQTT等;
2、熟悉高并发处理机制,有高并发业务的架构、研发、运维、优化经验;
3、熟悉网络架构、虚拟化、分布式存储;
4、具备互联网、智慧城市、IoT、lora经验优先考虑
5、有工业物联网架构经验、熟悉主流架构、通过红帽架构师认证优先。
6、熟悉分布式、缓存(Redis)等机制,有分布式系统开发、优化、重构、拆分、集群架构的设计和使用经验;
7、精通架构模式,Transaction、Security、Persistence等机制及实现,IOC、AOP、SOA等理念及实现;
8、深入理解Spring Cloud、mybatis、dubbo, netty、Thrift等框架的设计思想和实现方式,精通分布式、多线程等高性能架构相关开发技术,熟悉RPC和服务治理开发框架;
9、熟悉Linux操作系统的操作和基础命令,了解Web应用的性能瓶颈和调优方式;
10、熟练掌握MySql/Oracle/PostgreSQL/ Sybase数据库中一个,至少熟悉其中一种数据库优化; 精通主要(Tomcat/apache/nginx等)的配置和使用;
11、大型软件系统分析、架构设计经验,主持过云上构建大型云服务系统,具备可靠性容灾架构,智能运维系统架构设计能力;掌握微服务架构设计,熟悉主力的服务化框架和分布式中间件技术
12、具有较强的团队意识,高度的责任感,对工作积极严谨,勇于承担压力。
★ 入职报告范文
★ HR的工作总结
【大数据架构师岗位的具体职责表述(推荐12篇)】相关文章:
hr年终总结报告2023-07-03
产品经理的具体职责表述2023-08-30
探究领导艺术的理念和特点论文2023-03-05
软件开发个人工作总结2023-05-30
人力资源部工作年终总结报告精选2022-07-31
浅谈期货的交易理念论文2023-12-14
公司部门管理计划制定参考2022-04-29
需求规格说明书范文2022-08-26
人力资源部门绩效考核的工作总结2023-04-18
软件项目管理论文2024-01-03