数据仓库工程师岗位职责

2023-10-21

数据仓库工程师岗位职责 篇1

  1、负责产品数据库研发,参与系统整体架构设计;

  2、根据产品目标负责相关业务的数据分析、建模、设计评审,跟进产品过程中数据库设计;

  3、负责产品模块的数据层分析、设计、编码、测试;

  4、能够独立完成产品数据层开发任务,负责各类数据接口开发;

  5、负责各类型数据操作处理和兼容问题;数据库复杂SQL开发和调优。

数据仓库工程师岗位职责 篇2

  1、负责数据仓库(HADOOP)ETL工作以及数据运营;

  2、负责数据产品的业务需求梳理、数据开发以及维护;

  3、负责数据仓库的'维度建模以及设计相关的脚本调度;

  4、负责维度模型的数据处理的脚本开发,程序开发以及接口对接。

数据仓库工程师岗位职责 篇3

  1、利用数据仓库建模及相关技术,参与数据仓库模型的设计。

  2、参与企业级大数据仓库项目的落地开发。

  3、参与企业级主数据管理项目的实施落地。

  4、利用hadoop生态相关技术,负责大数据中心的'数据处理流程,包括数据清洗、融合、统计、挖掘等。

数据仓库工程师岗位职责 篇4

  1、学习并理解励步云学业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;

  2、进行数据仓库设计、模型开发、数据质量校验,报表开发;

  3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;

  4、进行数据查询优化,解决跑数性能问题。

数据仓库工程师岗位职责 篇5

  1、负责大数据平台搭建及数据仓库建模;

  2、负责数据库管理及数据优化;

  3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作;

  4、维护大数据平台并能解决相关问题,保障平台正常运行;

  5、学习和研究新技术以满足系统需求。

数据仓库工程师岗位职责 篇6

  1、进行GIS数据建库和数据处理方案的设计和实现;

  2、运用相关GIS软件进行数据空间化处理建库;

  3、进行影像识别及处理;

  4、进行数据采集处理建库项目管理。

数据仓库工程师岗位职责 篇7

  1、维护数据库稳定运行,持续发现和解决潜在的问题;

  2、负责数据库的性能优化,使用新技术和新架构满足日益增长的业务需求;

  3、负责数据库的监控系统设计,为开发团队提供平台支持;

  4、负责数据库的运维方面的相关工作,包括数据库的安装部署、压力测试、备份恢复、知识库管理等

  5、负责数据库进行容量规划、架构设计,提高业务高可用性和容灾能力;

  6、负责数据库相关工作的整体规划,提供决策建议。

数据仓库工程师岗位职责 篇8

  (1)分析需求,完成相关数据抽取、数据清洗、数据探索、数据建模分析等工作;

  (2)按要求完成数据分析报告、建模报告、数据报表等;

  (3)对数据进行深度挖掘和建模,做运营和用户等各方面分析,深度挖掘运营优化和用户行为特征等,推动分析问题的解决,为业务决策提供日常支持;

  (4)与业务部门和技术部门对接,完成设计,编写,维护和完善公司业务相关的.算法。

  (5)参与项目成果汇编,对相关结果进行解读和汇报。

  任职要求:

  (1)大专以上学历,统计、数学、计算机、软件专业优先;

  (2)熟练使用Python,Mysql语言,具有一定的工程能力,完善的文档和注释习惯。熟悉JupyterLab远程代码编写环境,Linux常用命令。会使用R,Java,Scala等语言更佳。

  (3)熟悉数据分析过程,能够完成数据抽取、数据处理、数据建模、数据分析报告等任务;

  (4)一定的数据挖掘/机器学习理论和技术基础,了解常用的数据挖掘算法如:聚类模型、线性回归、逻辑回归、分类模型、决策树模型等。

数据仓库工程师岗位职责 篇9

  岗位职责:

  深入研究业内领先的技术思路,输出具有创新价值的预研项目可行性分析报告以及相关实验数据;

  负责产品、销售、供应链、电商等公司数据的海量挖掘,并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;

  负责大数据下传统机器学习算法的并行化实现及应用,并提出改进方法和思路;

  参与公司大数据架构,负责BI实施中的数据挖掘模块算法研究、模型建立和优化,帮助实现数据挖掘和分析平台的建设;

  负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控,通过数据挖掘结果驱动业务执行;

  配合技术进行数据挖掘模型开发和模型封装,例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;

  任职要求:

  大学本科及以上学历,统计学、计算机、信息技术、数学相关专业;

  两年以上数据建模经验;

  数据主流数据库,mysql、oracle、DB2等传统结构化数据仓库,熟悉HBase、MongoDB等非结构化数据库;

  熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;

  熟悉R、Python、MLlib等数据挖掘工具中至少一种。

  熟悉spark、storm等大数据计算框架者优先。

数据仓库工程师岗位职责 篇10

  岗位职责:

  1.参与金融大数据平台系统和算法的研发和优化;

  2.基于大数据金融场景,进行信用风险模型,风控模型,营销模型的创新设计;

  3.与业务部门沟通合作,将数据模型应用于实际业务。

  任职要求:

  1.计算机相关专业硕士及以上学历,至少7年以上相关工作经验;;

  2.具有良好的商业敏感度和优秀的数据分析技能,能够开发创新而实际的.分析方法以解决复杂的商业问题。

  3.熟悉机器学习的一般模型;例如分类.聚类.预测,理解一些常用的特征选择和矩阵分解算法。

  4.熟悉深度神经网络和常用模型(如CNN,DBN,sparseconding,RNN等),有Caffe或Theano或ConvNet的实践经验。

  5.在语义理解检索(如知识图谱表示.结构化预测.语义解析.信息检索.知识挖掘等)有过深入的工作与研究。

  6.较强的自学能力.优秀的逻辑思维能力和良好的沟通表达能力和敬业精神。

  7.具备良好的系统分析能力,良好的抽象思维和逻辑思维能力,独立分析问题解决问题的能力;

  8.可承受较大压力,有责任感,较强的沟通协调能力,具有团队合作精神;

  9.有互联网公司.大型金融企业和大型IT企业工作经历的优先。

数据仓库工程师岗位职责 篇11

  1、负责应用平台维护,保证其有效运行;

  2、负责业务数据的挖掘、整合以及分析模型的建立、优化和评估;为业务人员日常工作提供可靠而明确的数据支撑;

  3、负责报表相关功能的设计、开发工作,并负责报表优化、维护、数据采集;

  4、负责系统相关文档的制定和编写。

  5、有实际的MY SQL或Oracle等数据库开发相关工作经历,具有高级工程师技术能力;

  6、有良好的沟通协调能力,能与客户及项目组同事有效的沟通;

  7、能够独立分析客户需求,并能针对客户需求编写需求分析、设计等技术方案;

  8、热爱软件事业,具有较强的责任感,有快速掌握新技术和独立解决技术问题的能力;

数据仓库工程师岗位职责 篇12

  1.负责工业设备组网及数据采集方案设计;

  2.负责设计方案所需传感器、仪表选型,布线图、数据存储方式、数据表等详细设计;

  3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调;

  4.负责现场数据采集相关软硬件安装调试;

  5.负责和用户现场对口协调、技术指导及现场培训。

数据仓库工程师岗位职责 篇13

  岗位职责:

  1、对通信和金融业务数据进行分析和挖掘,满足研发和运营等部门的业务需求和决策需求;

  2、能根据业务特点选择最合适的数据挖掘算法,并做调优;

  3、支持数据分析、挖掘算法平台的部署和日常运营;

  4、撰写分析类报告。

  任职资格:

  1、大学本科或本科以上统计学、数学或其他相关专业,对数据结构熟悉;

  2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

  3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

  4、对线性回归,决策森林,xgboost,评分卡等数据挖掘相关算法有一定了解;

  5、做过web接口调试,熟悉json者优先;

  6、熟练掌握PPT和EXCEL制作;

  7、具备良好的学习、沟通与表达能力,具有较强的团队合作精神,对工作富有热情,能承受工作压力;

  8、有运营商或金融类相关数据经验工作优先考虑;

  9、能适应中长期现场出差。

数据仓库工程师岗位职责 篇14

  1.负责海量数据的分析开发工作;

  2.完成数据挖掘模型,跟踪模型的实施和效果,定期优化算法和分析策略,分析研究后提供建设性建议 ;

  3.优化大数据存储、计算等各方面性能,确保能从海量大数据信息里,有效进行数据分析和挖掘;

  4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;

  5.参与相关数据标准和规范的制定。

  要求:

  1.熟悉java/scala/python/R中至少一种编程语言,具有良好的.编码习惯;

  2.计算机、数学相关专业本科以上学历;

  3.2年以上数据挖掘及其相关经验,对常用的数据挖掘算法有较深入了解,有实际算法调优经验 ;

  4.熟悉常用数据挖掘算法(聚类/分类/回归/关联规则/图模型)等算法原理,具备实际的建模经验,熟悉常用机器学习算法原理,如朴素贝叶斯/决策树/随机森林/逻辑回归/SVM等,并具备相关应用经验;

  5.熟悉hadoop生态,具有spark/flink等实际开发经验;

  6.极强的数据敏感度,能从海量数据中挖掘出数据核心价值,相关;

  7.熟悉分布式存储,熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等,熟悉neo4j/JanusGraph等图数据库优先 ;

  8.富有创新精神,充满激情,乐于接受挑战,良好的沟通技巧和团队合作,抗压性强,能适应加班。

数据仓库工程师岗位职责 篇15

  1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市

  2.熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。

  3.负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地

  4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片

数据仓库工程师岗位职责 篇16

  1.从事GIS数据制作、分析、数据管理等工作;

  2.编写工作总结和作业流程等文件;

  3.通过已经完成的矢量化成果和表格数据库入库和检查工作;

  4.利用软件对图形和属性进行检查,并进行错误修改;

  5.其他数据制作处理工作。

数据仓库工程师岗位职责 篇17

  •在行业担任数据工程师或后端工程师超过4年

  •您将了解数据仓库的概念(建模,调整,维护)

  •您非常精通SQL,并渴望指导和教其他SQL

  •您精通Python或任何其他脚本语言和软件开发

  •您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验

  •您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的经验

  •您受到探索数据的好奇心和动力的驱动

  •您具有处理数据管道的DevOps问题的经验

  •对数据驱动业务,关键思想家,问题解决者和自我启动者的热情

  •获得认可大学的相关学科的学士学位

数据仓库工程师岗位职责 篇18

  工作职责:

  1、运用数据挖掘和机器学习方法和技术,深入挖掘和分析海量商业数据

  2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

  3、运用数据挖掘/统计学习的理论和方法,深入挖掘和分析用户行为,建设用户画像

  4、从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题

  任职要求

  —计算机、数学,统计学或人工智能等相关专业硕士以上学历,5—10年以上或相关工作经历

  —精通1—2种编程语言(Python或Java),熟练掌握常用数据结构和算法,具备比较强的'实战开发能力,能带领团队共同进步。

  —具有统计或数据挖掘背景,并对机器学习算法和理论有较深入的研究

  —熟悉数据挖掘相关算法(决策树、SVM、聚类、逻辑回归、贝叶斯)

  —具有良好的学习能力、时间和流程意识、沟通能力

  —熟悉Spark或hadoop生态分布式计算框架

  —优秀的沟通能力,有创新精神,乐于接受挑战,能承受工作压力

  —有互联网,央企,政务,金融等领域大规模数据挖掘经验者优先

数据仓库工程师岗位职责 篇19

  任职要求:

  1、软件、计算机、通讯等理工科相关专业本科及以上学历;

  2、具有3年配置管理或产品数据管理经验;

  3、熟悉计算机与网络管理;

  4、熟悉配置管理与产品数据管理知识,熟练掌握svn、plm等数据管理平台的`操作与管理;

  5、熟悉系统与信息安全知识;

  6、具有较强的逻辑思维能力及良好的沟通能力,良好的主动学习能力及执行力。

数据仓库工程师岗位职责 篇20

  岗位职责:

  1.从事数学建模及数据挖掘应用方法研究;

  2.与开发部门配合实现相应的数据分析模块的开发;

  3.制定公司数据可管理体系,建产研究用数据平台。

  任职要求:

  1.应用数学、统计学、计算机等专业硕士以上学历;

  2.具备常用机器学习、数据挖掘相关知识,会spark;

  3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;

  4.有视频、地图、文本、社交等大数据分析能力;

  5.有工业数据分析工作经验者优先。

数据仓库工程师岗位职责 篇21

  1、针对具体的业务场景需求、定义数据分析及挖掘问题;

  2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型,对数据挖掘方案进行验证、开发、改进和优化,实现数据挖掘的功能应用;

  3、搭建高扩展高性能的数据分析模型库,作为数据分析团队的基础工具;

  4、完成领导安排的其他工作。

数据仓库工程师岗位职责 篇22

  1、负责数据仓库的设计、开发、部署、维护和优化;

  2、参与公司项目数据库架构设计,及相关文档的撰写;

  3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;

  4、负责数据库技术规范建设。

数据仓库工程师岗位职责 篇23

  1、针对海量用户行为数据进行挖掘和建模,深入挖掘数据的业务价值。研究机器学习或统计学习领域的前沿技术,并能活学活用到项目中。

  2、基于对汽车广告投放业务及用户的理解,参与精准营销、个性化推荐等模型建设和领域研究,提升转化率等业务指标。

  3、根据业务需要采集相关数据,对原始数据进行ETL和归类整理,并实现流程自动化。

  4、其他大数据处理及项目开发工作等。

数据仓库工程师岗位职责 篇24

  1、对海量业务数据进行分析,并利用算法挖掘用户行为特征,发现潜在规律,建立机器学习算法并优化;

  2、利用数据挖掘技术分析、预测用户的消费行为;

  3、建立各种业务逻辑模型和数学模型,帮助公司改善运营管理,节省成本。

  任职要求:

  1、大学本科及以上学历;

  2、统计学、会计学、数学、物理等相关专业;

  3、本科5年以上同岗位工作经验,研究生3年以上同岗位工作经验;

  4、对统计学和数据挖掘算法原理有较为深刻的理解,了解数据仓库思想,熟悉SPSS、SAS、R、MAHOUT等数据挖掘软件之一;

  5、熟悉决策树、聚类、逻辑回归,关联分析、SVM,贝叶斯等数据挖掘算法,有海量数据挖掘的项目经验;

  6、有用户行为分析、用户建模、业务建模、数学建模经验优先;

  7、良好的逻辑分析能力、分析问题和解决问题的`能力,对数据敏感,良好的沟通能力。