数据平台岗位职责

2023-10-15

数据平台岗位职责 篇1

  职责描述:

  1.负责租赁行业大数据平台架构规划、技术落地、与开发团队协同实施;

  2.负责需求调研、需求分析,编写需求分析说明书,负责项目全周期管理;

  3.组织uat测试方案制定、测试案例准备,负责测试环境搭建、以及对项目进行验收测试。

  任职要求:

  1.计算机软件或信息系统相关专业硕士以上学历;

  2.具有三年及以上大数据系统架构规划及系统建设相关的工作经验;

  3.精通大数据平台存储、计算及算法相关技术,精通机器学习相关模型与算法、或nlp或计算机图像识别等相关理论及技术,熟悉精益(敏捷)项目管理、瀑布式项目管理流程,有项目经验者优先;

  4.有强烈的技术思维及自我突破的欲望,性格外向、善于组织沟通、文字表达能力强。

数据平台岗位职责 篇2

  职位描述:

  1、基于每日百亿级展现数据,搭建大数据处理平台;实现流式事件的实时计算,落地储存。对于离线数据完成数据仓库的建立,为数据挖掘提供有效的数据。

  2、使用用户行为数据,广告投放数据,挖掘数据层次关系,利用机器学习算法,解决媒体、流量、充分竞价等对优化广告投放流程,

  3、数据分析,挖掘,模型具体的产品化;了解广告业务能,和pm合作,基于数据驱动持续优化数据产品。

  任职要求:

  1、熟悉c++、java、python中的一种或多种编程技术,编程能力强,熟悉大数据处理技术,善于学习应用业界领先数据架构和技术。

  2、熟悉数据挖掘算法,包括数据清洗、统计学习、分类聚类算法,并能够验证算法效果,将算法应用在广告业务中。

  3、善于学习,有想要折腾的想法。有广告调优背景优先,对广告行业有自己思考的优先。

数据平台岗位职责 篇3

  工作职责:

  1、负责离线计算平台的开发和维护工作;

  2、负责hbase/tidb的开发与维护工作;

  3、负责alluxio/arrow等开发与维护工作。

  任职要求:

  1、5年以上相关领域开发经验,熟悉java/go/c++的一种;

  2、对数据库系统或分布式系统的原理和架构有较好的了解;

  3、优秀的发现和解决问题能力,良好的沟通能力和团队意识。

  加分项:

  1、熟悉hadoop生态,参加过开源项目;

  2、熟悉hive、spark、hdfs、hbase、tidb中至少一种产品的实现细节;

  3、有数据库/数据治理产品的开发和运维经验。

数据平台岗位职责 篇4

  工作职责:

  1.构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;

  2.服务各种业务需求,服务日益增长的业务和数据量;

  3.深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题。

  4.负责管理大数据工程团队。

  任职资格:

  1.计算机或相关专业本科以上学历(5年以上工作经验);

  2.精通c++/java/scala程序开发(至少一种),熟悉linux/unix开发环境;

  3.熟悉常用开源分布式系统,精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代码,解决问题;

  4.有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;

  5.具有良好的沟通协作能力,具有较强的分享精神;

  6.对kudu、kylin、impala、elasticsearch,github等系统有深入使用和底层研究者加分。

数据平台岗位职责 篇5

  职位描述:

  负责腾讯微校数据平台搭建与数据分析工作;

  承担大数据etl、高效计算、即时查询等数据处理分析工程开发;

  bi与大数据产品架构设计与开发。

  任职要求:

  本科及以上学历,数学或计算机相关专业背景;

  有互联网公司的从业经验,三年以上数据平台开发或数据分析工作经验;

  熟练掌握sql语言,了解hadoop、hbase、hive、spark、flink等组件的工作原理;

  熟悉机器学习、数据挖掘、数据分析、分布式计算至少一方面,有较深的理论研究和实践经验优先;

  熟练掌握scala/java/python中的至少一门语言,有其他脚本语言开发经验的优先;

  数据敏感,有良好的逻辑思维能力,较强的沟通能力和团队合作精神,勇于承担工作压力。

数据平台岗位职责 篇6

  职位描述:

  1、参与小鹏汽车技术中台的大数据云平台产品建设,包括:实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台;

  2、分析系统瓶颈,处理、协调和解决基础框架中出现的技术问题;

  3、大数据新技术研究和应用,并推动适合技术应用于生产;

  任职要求:

  1、计算机相关专业,本科或以上学历,五年以上开发工作经验,有基础架构开发经验优先;

  2、熟练java、python服务端编程,有良好的编码习惯;

  3、深入理解mapreduce,熟练使用storm/flink、hadoop、spark,并阅读部分源码;

  4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch;

  5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先;

  6、熟悉docker容器及容器化技术,有kubernetes实战经验者优先;

  7、对新技术有执着追求,热爱编程。善于抽象、总结、思考,能及时关注和学习业界最新技术;

  8、有较强的自学能力和钻研精神,具有良好的沟通能力和团队合作能力,综合能力强。

数据平台岗位职责 篇7

  职位描述:

  1.负责广告数据平台实时指标计算、归因、实验平台等业务的计算架构设计与开发;

  2.负责对实时计算服务的性能进行优化;

  3.负责指导其他工程师进行业务功能开发。

  任职要求:

  1.3年以上相关工作经验,计算机相关专业本科及以上学历;

  2.具备扎实的java语言基础;

  3.熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;

  4.有storm/sparkstreaming/flink等数据平台的开发和使用经验;

  5.对性能调优,算法效率和分布式计算的资源管理策略有较深的理解;

  6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平台者优先;

  7.具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力。

  额外加分项:

  github等开源社区贡献者。

数据平台岗位职责 篇8

  职位描述:

  1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等

  2、参与需求调研与用户技术支持

  3、追求极致,构建业内领先的数据平台产品

  任职要求:

  1、精通java/scala语言,包括jvm、类装载、线程、并发、io资源管理、网络

  2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战

  3、精通soa架构和微服务架构

  4、有ide开发经验者优先考虑

  5、熟悉前端技术的全栈开发工程师优先

  6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等

数据平台岗位职责 篇9

  1、负责腾讯云数据平台产品中心整体项目管理工作,确保项目团队各干系人协同工作,达到项目目标;

  2、负责腾讯云数据平台产品中心研发项目管理工作,对项目资源、项目节奏、项目进度、项目质量、项目风险等进行有效管理;通过组织项目需求评审、项目例会、制定并推广项目流程规范,确保项目有序推进;

  3、负责腾讯云数据平台产品中心团队氛围建设管理;

  任职要求:

  1.本科及以上学历,计算机、通信或相关专业优先;

  2.至少2年以上项目管理经验,软件或it相关领域项目管理经验优先;

  3.精通项目过程管理,对敏捷项目管理有实际应用经验及深刻理解;

  4.具有较强的自驱力和执行力,极具正能量和感染力,积极推动项目团队朝目标前进;

  5.具有丰富的与人沟通、交流和组织协调能力,出色的团队合作精神;

  6.具有tob和tog沟通经验者优先;

数据平台岗位职责 篇10

  职位描述:

  1、负责公司级别的异构数据源传输平台架构设计与核心技术研发

  2、参与需求调研与用户技术支持

  3、追求极致,构建业内领先的异构数据源传输产品

  任职要求:

  1、精通java/scala语言,并发编程,jvm

  2、精通数据库技术,rdbms、nosql、大数据至少精通一种

  3、精通数据库日志抓取解析、message queue、etl等数据处理技术

  4、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战

  5、有canal运维或开发经验者优先

  6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等

数据平台岗位职责 篇11

  职位描述:

  1、负责大数据开源组件的调研

  2、负责大数据平台自研平台系统及功能模块设计与开发

  3、配合架构师及测试按时完成开发,保证产品正常发布与迭代

  任职要求:

  1、本科以上学历,计算机相关专业

  2、2年以上大数据平台开发经验

  3、精通java,熟悉linux系统,深入理解并使用主流技术框架,如springboot、mybatis、mq、redis、zk、spring cloud等技术栈,具备丰富的分布式系统的研发经验

  4、熟悉hadoop生态圈其他系统,包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper,strom,flink,并了解其原理

  5、熟练掌握各类数据结构与算法,具有较强的编码能力

  6、具有良好的团队合作精神和表达沟通能力

  7、有数据中台,数据服务平台开发经验,熟悉hadoop生态圈组件者优先

数据平台岗位职责 篇12

  职位描述:

  1、负责今日头条的通用数据平台和分析型产品,包括数据开发工具,olap查询引擎/产品等,服务于全公司的几十个用户产品线;

  2、面向pb级超大规模数据问题,每天处理千亿增量的用户行为数据;

  3、负责上海团队的梯队建设和管理,提升团队技术实力。

  任职要求:

  1、3年以上大数据架构相关经验,熟悉以下中的多项,e.g.hadoop,mapreduce,hive,storm,spark,kylin,scribe,kafka,hbase,canal,sqoop etc;

  2、强悍的编码能力,生产环境快速trouble-shooting能力,对新技术有强烈的学习热情;

  3、有良好的产品服务意识,有技术负责人或管理经验者优先。

数据平台岗位职责 篇13

  职责描述:

  1.负责华大ilearningx平台大数据分析平台的开发及测试。

  岗位要求:

  1.本科以上学历,计算机或相关专业者优先。

  2. 3年以上工作经验,至少精通一门编程语言;

  3.具备数据库系统基本理论知识,精通sql语言;

  4.熟悉hadoop/hbase/spark/storm/hive,熟悉数据挖掘策略与算法;

  5.善于发现问题、解决问题,具备良好的分析和解决问题的能力,具备一定的钻研精神和持续学习的意愿,对负有挑战性的工作充满热情。

  岗位要求:

  学历要求:本科

  语言要求:不限

  年龄要求:不限

  工作年限:3-4年经验

数据平台岗位职责 篇14

  职位描述:

  基于海量的微信支付用户、商户、交易和行为数据,使用业界开源的主流技术栈以及我们自研的大数据技术相结合,构建金融级的大数据平台,提供金融级数据安全保障和质量保障,为数据开发者提供工业化的数据平台服务,建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制,为数据分析、智慧推荐、金融风控等业务提供数据平台支撑;

  负责微信支付大数据基础平台相关开发工作;

  负责大数据采集、计算、分析处理相关开发工作;

  负责大数据治理相关开发工作,提供一站式的数据平台及工具支持。

  任职要求:

  本科及以上学历,计算机相关专业,3年及以上开发经验;

  熟悉java、php、shell、python等至少三种开发语言;

  有分布式系统、大数据服务、数据分析方面的开发经验者优先;

  熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平台和组件,有相关项目经验优先;

  良好的.沟通表达能力,执行力力强,对待工作认真严谨、高度负责。

数据平台岗位职责 篇15

  职位描述:

  1.负责数据平台业务需求分析调研;

  2.负责设计并构建数据平台,落实底层数据平台、存储平台和分析平台的设计和搭建工作;

  3.负责数据平台运行性能、可用性、扩展性等监控与优化调控;

  4.负责构建大数据服务体系,提供统一数据产品和工具体系;

  5.负责指导数据平台研发成员工作,提升研发能力。

  任职资格:

  1.本科或以上学历,计算机相关专业,8年以上相关工作经验

  2.具备多个数据平台开发经验,熟悉hadoop、spark、storm等平台

  3.熟悉常用分布式系统的体系架构、通信机制和优化方法,拥有大规模分布式系统建设经验,

  4.了解大数据生态,对行业和技术的发展有自己的见解,具有分布式存储、计算平台的开发、调优和运维经验

  5.责任心强,具有良好的学习能力、沟通能力和团队合作精神,有一定的组织协调能力和较好的抗压能力

数据平台岗位职责 篇16

  职位描述:

  负责spark、hadoop计算平台的设计和开发工作,构建高效稳定的计算平台,为业务提供大数据分析所需的海量计算服务;

  负责数据仓库、以及机器学习平台的建设。

  任职要求:

  计算机相关专业,本科及以上学历,2年以上大数据平台开发、运维经验;

  对spark、hadoop平台计算原理有深刻理解,能够阅读spark、hadoop源码;对社区有源码贡献者优先;

  熟悉spark流计算框架或其他开源实时计算框架;

  有elasticsearch集群运维、开发经验者优先;

  有数据仓库建设经验者优先;

  数据大数据算法经验、机器学习平台建设经验者优先;

  精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;

  对新技术充满热情,具有良好的学习能力、团队协作能力和沟通能力;

  能承受较大的工作压力。

数据平台岗位职责 篇17

  职位描述:

  1、负责大数据平台建设,包含数据平台的技术运维维护规范定义和执行落地;

  2、定义数据采集规范、数据层级规范(5层经典结构),并执行落地;

  3、构建业务指标体系,建立自动化和自助的数据输出体系,提升数据输出能力;

  4、实现实时数据和离线数据体系;

  5、负责团队梯度建设,人才培养,人才输出和能力输出。

  任职资格:

  1、6年以上数据平台建设工作经验,3年以上带领团队经验-

  2、精通hadoop、hive、spark、sparkstreaming、storm、kafka等技术体系,熟练使用至少一门编程语言(java、python、go、scala);

  3、钻研大数据行业技术和应用前沿,日tb级数据,构建过实时数据平台系统;

  4、对数据敏感,熟悉常用数据挖掘算法,并有一定实践经验;

  5、强烈的好奇心和求知欲,善于深入一线业务,研究业务;