大数据分析工程师日常工作有哪些?

如题所述

数据分析师是一个近几年来新兴的一个岗位,有人说,数据分析师是大部分时间围绕着的工作是满足业务的数据需求。业务人员既有普通运营,也有部门领导,基本有求必应。那么数据分析工程师每天都在做什么呢?日常工作有哪些?我们接着往下看。

满足业务人员的需求也分淡旺季,旺季就是做月度汇报、年度汇报的时候,或者做促销活动、推广活动的时候。特别是业务人员要做汇报的时候,会疯狂call数据分析的,单身N年的手速这个时候用得上了。
当然,淡季也不会闲着,还得做专题分析呀。得研究研究各领导拍脑门想到的数据需求:比如产品种类会不会太多,要不要精简一下,这个时候得去找数据支撑,比如80%的业绩产生于哪些产品,而长尾品又能产生多少业绩,再了解下竞争对手又是怎样的策略。再比如到了月末的时候,就得预测下一周期的业绩能完成多少,从哪块新业务增收多少,预计引流多少新用户获得多少收益,怎么拉升客单价从而增收多少收益,这时候顺便就把业务的kpi目标定下了。又比如突然有什么异常情况,日活的用户数持续下降了,那就得到业务各个环节里找原因。还比如某个业务环节存在问题没有攻破,如订单满足率还是不理想,就得四处扒拉数据去分析造成多少损失,主要是哪部分造成损失最多,还得想该如何用数据监控,责任方在哪,如何完善等······
综上就是小编整理的数据分析工程师日常工作,希望可以帮您更好的理解这个岗位。
温馨提示:内容为网友见解,仅供参考
第1个回答  2020-12-17

大数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游,大致可以分为:

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。

具体说说吧,

数据采集:

业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。

数据清洗:

原始的日志,数据是千奇百怪的

    一些字段可能会有异常取值,即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。

    一些日志的字段信息可能是多余的,下游不需要使用到这些字段做分析,同时也为了节省存储开销,需要删除这些多余的字段信息。

    一些日志的字段信息可能包含用户敏感信息,需要做脱敏处理。如用户姓名只保留姓,名字用'*'字符替换。

    数据存储:

    清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。

    数据分析统计:

    数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

    数据可视化:

    用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

    当然,大数据平台(如CDH、FusionInsight等)搭建与维护,也可能是大数据工程师工作内容的一部分喔~

希望对您有所帮助!~

本回答被网友采纳

大数据工程师的日常工作做什么?
1, 写 SQL :一般来说许多入职一两年的大数据工程师首要的工作就是写 SQL ;2 ,为集群搭大数据环境(一般公司招大数据工程师环境都现已搭好了,公司内部会有现成的大数据途径);3 ,维护大数据途径(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作);4, 数据搬家(有部分公司...

大数据工程师日常任务有哪些?
1、大数据工程师可以做大数据开发工作,开发,建设,测试和维护架构,负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。2、大数据工程师可以做数据分析工作,收集,处理和执行统计数据分析,运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用...

大数据工程有哪些工作岗位?
数据分析师:日常工作内容有三个方面,第一是临时取数,第二是报表的需求分析,第三是业务专题分析。数据挖掘工程师:日常工作内容主要有五类。第一是用户基础研究,第二是个性化推荐算法,第三是风控领域应用的模型,第四是产品的知识库,第五是文本挖掘、文本分析、语义分析、图像识别。数据产品经理:日常...

大数据工程师做什么
大数据工程师主要是,分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。1、找出过去事件的特征:大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了...

大数据工程师能做的兼职有哪些?
6、价值最高的一种兼职,类似于创业。能够通过编撰公众号类的内容账号,将专业知识进行内容积累,聚集情投意合的人,通过打赏,广告费用将知识变现。关于大数据工程师能做的兼职,就给大家介绍到这里了,其实大数据工程师兼职人员并不是很多,很多人本职工作可能有时都做不完的。

大数据分析工程师日常工作有哪些?
数据分析师是一个近几年来新兴的一个岗位,有人说,数据分析师是大部分时间围绕着的工作是满足业务的数据需求。业务人员既有普通运营,也有部门领导,基本有求必应。那么数据分析工程师每天都在做什么呢?日常工作有哪些?我们接着往下看。满足业务人员的需求也分淡旺季,旺季就是做月度汇报、年度汇报的时候...

大数据工程师做什么
大数据工程师的工作内容主要包括:数据采集、存储、处理、分析和挖掘。一、数据采集 大数据工程师的首要任务是收集数据。他们会利用各种工具和手段,从各种来源获取大量数据。这些数据可能是结构化的,比如数据库中的数字信息,也可能是非结构化的,如社交媒体上的文本信息或图片。采集数据是大数据项目的基础,...

学大数据会有什么工作?
大数据可视化工程师岗位职责:1、 依据产品业务功能,设计符合需求的可视化方案。2、 依据可视化场景不同及性能要求,选择合适的可视化技术。3、 依据方案和技术选型制作可视化样例。4、 配合视觉设计人员完善可视化样例。5、 配合前端开发人员将样例组件化。想了解更多大数据从事工作的问题, “CDA 数据分析师...

大数据工程师的工作内容是什么?
1、数据采集:业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。2、数据清洗:一些字段可能会有异常取值,即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。一些日志的字段信息...

大数据工程师的日常工作内容
小编刚看到数据两个字觉得大数据工程师应该就是做数据的,整理起来,然后进行分析这样。后来深入了解了下,其实不然,虽然可大致可以分为:数据信息采集 -> 数据字段清洗 -> 数据分析存储 -> 数据分析统计 -> 数据可视化 等几个方面但还是不一样的呢。没有想象的那么容易的呢,现在就跟着小编一起来看...

相似回答