数据挖掘系列:数据挖掘工程师工作及薪酬详细介绍

CrazyPM产品经理社区  阅读数  2022  2018-11-07 16:54:59

数据挖掘


系列:数据挖掘


工程师工作及薪酬细致
引见

文/宿痕

今天下半年计划 把数据剖析 、数据挖掘 、机器学习这些东西都撸一把,很可能以后就没有时间再来撸了。希望各位也能相互 监视 ,看看今年过年之前能不能把之前的一系列的都整理一遍。还有个音讯 就是计划 11月底会把《数据剖析 侠A的生长 故事》截稿了,出版社曾经 联络 了,而且提了很多宝贵 的倡议 ,这些我都接受 了,到时分 再扩展 些内容,也欢送 大家多倡导 导 议 ,不怕意见多。:D

好了,废话不多说,11月份、12月份重点会把数据挖掘 和数据剖析 搞两个系列,重点引见 他们分别是什么,在职场是什么状况 ,需求 控制 哪些学问 点,常见的有哪些坑,以及在各行各业都有哪些案例应用。也有不少人提议,还不如写写《25岁怎样 做到年薪百万》,哈哈,这个话题以后会写的,不过人生也不只是赚钱,不然会很单调 。

很多人不明白学习数据挖掘 以后干什么,这个问题也经常被问到。记得刚学数据挖掘 的时分 ,有一个教员 说学数据挖掘 有什么用,你以后咋找工作。当时听了,觉得很诧异 ,不知道 他为何有此一问。数据挖掘 在国外是一份很不错的工作。我喜欢数据挖掘 ,由于 它很有趣。很快乐 以后就从事这方面的工作啦。写论文之余,也思索 一下数据挖掘 工程师的职业规划。以下是从网上找的一些相关资料 引见 ,和行将 走上数据挖掘 岗位或是想想这方面展开 的朋友共享:

数据挖掘 从业人员工作剖析

1.数据挖掘 从业人员的愿景:

数据挖掘 就业的途径从我看来有以下几种,(留意 :本文所说的数据挖掘 不包括数据仓库或数据库管理员的角色)。

A:做科研(在高校、科研单位以及大型企业,主要研讨 算法、应用等)

B:算法工程师(在企业做数据挖掘 及其相关程序算法的完成 等)

C:数据剖析 师(在存在海量数据的企事业单位做咨询、剖析 等)

2.数据挖掘 从业人员切入点:

依据 上面的从业方向来说说需求 控制 的技艺 。

A:做科研:这里的科研相对来说比较 概括,属于技术型的相对高级级别,需求 对开发、数据剖析 的必备基础 学问 。

B:算法工程师:主要是完成 数据挖掘 现有的算法和研发新的算法以及依据 理论 需求 分别 中心 算法做一些程序开发完成 工作。要想扮演好这个角色,你不但需求 熟习 至少一门编程言语 如(C,C++,Java,Delphi等)和数据库原理和操作,对数据挖掘 基础 课程有所了解 ,读过《数据挖掘 概念与技术》(韩家炜著)、《人工智能及其应用》。有一点了解 以后,假定 对程序比较 熟习 的话并且时间允许,能够 寻觅 一些开源的数据挖掘 软件研讨 剖析 ,也能够 参考如《数据挖掘 :适用 机器学习技术及Java完成 》等一些教程。

C:数据剖析 师:需求 有深沉 的数理统计基础 ,能够 不知道 人工智能和计算机编程等相关技术,但是需求 熟练 运用 主流的数据挖掘 (或统计剖析 )工具。从这个方面切入数据挖掘 范畴 的话你需求 学习《数理统计》、《概率论》、《统计学习基础 :数据挖掘 、推理与预测》、《金融数据挖掘 》,《业务建模与数据挖掘 》、《数据挖掘 理论 》等,当然也少不了你运用 的工具的对应阐明 书了,如SPSS、SAS等厂商的《SAS数据挖掘 与剖析 》、《数据挖掘 Clementine应用实务》、《EXCEL 2007数据挖掘 完好 手册》等,假定 多看一些如《数据挖掘 原理》 等书籍那就更好了。
数据挖掘 人员需具备以下基本 条件,才能够 完成数据挖掘 项目中的相关任务。

一、专业技艺

本科或硕士以上学历,数据挖掘 、统计学、数据库相关专业,熟练 控制 关系数据库技术,具有数据库系统开发阅历 ;

熟练 控制 常用的数据挖掘 算法;

具备数理统计理论基础 ,并熟习 常用的统计工具软件。

二、行业学问

具有相关的行业学问 ,或者能够 很快熟习 相关的行业学问

三、协作 肉体

具有良好的团队协作 肉体 ,能够 主动和项目中其他成员紧密 协作

四、客户关系才干

具有良好的客户沟通才干 ,能够 明白 论述 数据挖掘 项目的重点和难点,擅长 调整客户对数据挖掘 的误解和过高希冀 ;

具有良好的学问 转移才干 ,能够 尽快地让模型维护人员了解 并控制 数据挖掘 办法 论及建模实施 才干 。

进阶才干 央求

数据挖掘 人员具备如下条件,能够 进步 数据挖掘 项目的实施 效率,缩短项目周期。

具有数据仓库项目实施 阅历 ,熟习 数据仓库技术及办法 论

熟练 控制 SQL言语 ,包括复杂查询、性能调优
熟练 控制 ETL开发工具和技术

熟练 控制 Microsoft Office软件,包括Excel和PowerPoint中的各种统计图形技术

擅长 将挖掘 结果和客户的业务管理相分别 ,依据 数据挖掘 的成果向客户提供有价值的可行性操作计划

五、应用及就业范畴

当前数据挖掘 应用主要集中在电信(客户剖析 ),批发 (销售预测),农业(行业数据预测),网络日志(网页定制),银行(客户狡诈 ),电力(客户呼叫),生物(基因),天体(星体分类),化工,医药等方面。当前它能处置 的问题典型在于:数据库营销(Database Marketing)、客户群体划分(Customer Segmentation &Classification)、背景剖析 (Profile Analysis)、交叉 销售(Cross-selling)等市场剖析 行为,以及客户流失性剖析 (Churn Analysis)、客户信誉 记分(Credit Scoring)、狡诈 发现(Fraud Detection)等等,在许多范畴 得到了胜利 的应用。假定 你访问著名的亚马逊网上书店会发现当你选中一本书后,会呈现 相关的举荐 数目“Customers who bought this book alsobought”,这背后就是数据挖掘 技术在发挥作用。

数据挖掘 的对象是某一专业范畴 中积聚 的数据;挖掘 过程是一个人机交互、多次 重复 的过程;挖掘 的结果要应用于该专业。因而 数据挖掘 的整个过程都离不开应用范畴 的专业学问 。“Business First, techniquesecond”是数据挖掘 的特性 。因而 学习数据挖掘 不意味着丢弃原有专业学问 和阅历 。相反,有其它行业背景是从事数据挖掘 的一大优势。如有销售,财务,机械,制造,call center等工作阅历 的,经过 学习数据挖掘 ,能够 提升个人职业层次,在不改动 原专业的状况 下,从原来的事务型角色向剖析 型角色转变。从80年代末的初露头角到90年代末的普遍 应用,以数据挖掘 为中心 的商业智能(BI)曾经 成为IT及其它行业中的一个新宠。

重点引见 下对数据挖掘 的几个岗位

数据采集剖析 专员

职位引见 :数据采集剖析 专员的主要职责是把公司运营的数据搜集 起来,再从中挖掘 出规律性的信息来指导公司的战略方向。这个职位常被疏忽 ,但相当重要。由于数据库技术最先呈现 于计算机范畴 ,同时计算机数据库具有海量存储、查找疾速 、剖析 半自动化等特性 ,数据采集剖析 专员最先呈现 于计算机行业,后来随着计算机应用的进步 扩展到了各个行业。该职位普通 提供给 懂数据库应用和具有一定统计剖析 才干 的人。有计算机专长 的统计专业人员,或学过数据挖掘 的计算机专业人员都能够 胜任此工作,不过最好能够 对所在行业的市场状况 具有一定的了解 。

求职倡议 :由于很多公司追求短期利益而不注重长期战略的现状,目前国内很多企业对此职位的注重 水平 不够。但大型公司、外企对此职位的注重 水平 较高,随着时间的推移该职位会有升温的趋向 。另外,数据采集剖析 专员很容易取得 行业阅历 ,他们在剖析 过程中能够 很随意 地把握该行业的市场状况 、客户习气 、渠道散布 等关键状况 ,因而 假定 想在某行创业,从数据采集剖析 专员干起是一个不错的选择。

市场/数据剖析

1. 市场数据剖析 是现代市场营销科学必不可少的关键环节: Marketing/Data Analyst从业最多的行业: Direct Marketing (直接面向客户的市场营销) 吧,自90年代以来,Direct Marketing越来越成为公司采购 其产品的主要伎俩 。依据 加拿大市场营销组织(Canadian MarketingAssociation)的统计数据: 仅1999年一年 Direct Marketing就发明 了470000 个工作机遇 。从1999至2000,工作职位又增加了30000个。为什么Direct Marketing需求 这么多Analyst呢? 举个例子, 随着商业竞争日益加剧,公司希望能最大限度的从广告中得到销售报答 , 他们希望能有更多的用户来响应他们的广告。所以他们就必需求 在投放广告之前做大量的市场剖析 工作。例如,依据 自己 的产品分别 目的 市场顾客的家庭收入,教育背景和消费趋向剖析 出哪些地域 的住户或居民最有可能响应公司的销售广告,置办 自己 的产品或成为客户,从而广告只针对这些特定的客户群。这样对症下药 的选择 广告的投放市场既俭省 开支 又进步 了销售报答 率。但是一切 的这些剖析 都是基于数据库,经过 数据处置 ,挖掘 ,建模得出的,其间,市场剖析 师的工作是必不可少的。

2. 行业顺应 性强: 简直 一切 的行业都会应用到数据, 所以作为一名数据/市场剖析 师不只 仅能够 在华人传统的IT行业就业,也能够 在政府,银行,批发 ,医药业,制造业和交通传输等范畴 效劳 。

算法工程师

应该来说目前算法工程师基本 上都集中在中大型企业中,由于 普通 小公司很少用到算法来处置 问题,假定 这公司就是做数据相关产业的。而算法普通 的应用场景有举荐 、广告、搜索等,所以大家常见的在广告范畴 、个性化举荐 方面是有不少的同仁。常见的央求 是懂JAVA/PYTHON/R中其中一种,能够 知道 常规的回归、随机森林、决策树、GBDT等算法,能够 有行业背景最佳等。假定 是deep learning方向可能对图论、画像辨认 等方面央求 更高些。

求职倡议 :background稍微 好一些,再把一些基本 的算法都弄明白,能说分明 之间的区别和优缺陷 ,包括常见的一些应用场景都有哪些。关于 公司来说,特别是BAT这样运用 机器学习的公司,算法工程师是很重要的一块资产。

现状与前景

数据挖掘 是顺应 信息社会从海量的数据库中提取信息的需求 而产生的新学科。它是统计学、机器学习、数据库、方式 辨认 、人工智能等学科的交叉 。在中国各重点院校中都曾经 开了数据挖掘 的课程或研讨 课题。比较 著名的有中科院计算所、复旦大学、清华大学等。另外,政府机构和大型企业也开端 注重 这个范畴 。

据IDC对欧洲和北美62家采用了商务智能技术的企业的调查剖析 发现,这些企业的3年平均 投资报答 率为401%,其中25%的企业的投资报答 率超越 600%。调查结果还显现 ,一个企业要想在复杂的环境中取得 胜利 ,高层管理者必需 能够 控制极端 复杂的商业结构 ,若没有详实的事实和数据支持,是很难办到的。因而 ,随着数据挖掘 技术的不时 改进 和日益成熟,它必将被更多的用户采用,使更多的管理者得到更多的商务智能

依据 IDC(International DataCorporation)预测说2004年估量 BI行业市场在140亿美圆 。往常 ,随着我国参与 WTO,我国在许多范畴 ,如金融、保险等范畴 将逐步 对外开放,这就意味着许多企业将面临来自国际大型跨国公司的庞大 竞争压力。国外兴隆 国度 各种企业采用商务智能的水平 曾经 远远超越 了我国。美国Palo Alto 管理集团公司1999年对欧洲、北美和日本375家大中型企业的商务智能技术的采用状况 中止 了调查。结果显现 ,在金融范畴 ,商务智能技术的应用水平 曾经 抵达 或接近70%,在营销范畴 也抵达 50%,并且在未来 的3年中,各个应用范畴 对该技术的采用 水平 都将进步 约50%。

往常 ,许多企业都把数据看成宝贵 的财富,纷繁 应用 商务智能发现其中躲藏 的信息,借此取得 巨额的报答 。国内暂时还没有官方关于数据挖掘 行业自身 的市场统计剖析 报告,但是国内数据挖掘 在各个行业都有一定的研讨 。据国外专家预测,在今后的5—10年内,随着数据量的日益积聚 以及计算机的普遍 应用,数据挖掘 将在中国构成 一个产业。

众所周知,IT就业市场竞争曾经 相当猛烈 ,而数据处置 的中心 技术—数据挖掘 更是得到了史无前例 的注重 。数据挖掘 和商业智能技术位于整个企业IT-业务构架的金字塔塔尖,目前国内数据挖掘 专业的人才培育 体系尚不健全,人才市场上知晓 数据挖掘 技术、商业智能的供给 量极小,而另一方面企业、政府机构和和科研单位对此类人才的潜在需求量极大,供需缺口极大。假定 能将数据挖掘 技术与个人已有专业学问 相分别 ,您必将开辟 职业生活 的新天地!

职业薪酬

就目前来看,和大多IT业的职位一样,数据挖掘 方面的人才在国内的需求工作也是低端饱和,高端紧缺。从BAT的招聘状况 来看,数据挖掘 范畴 相对来说门槛还是比较 高的,但是薪酬福利也相对来说比较 好,常见的比如 腾讯、阿里都会给到年薪20W+。而凶猛 的资深算法专家年薪百万也是常有的事情,所以大家在算法方面还是大有可能。另外随着金融越来越互联网化,大量的算法工程师会成为以后互联网金融公司紧缺的人才。

大家共勉!

本文关键词:数据挖掘 剖析 能够 算法 行业 技术 

 

赞助商推荐:数极客是新一代用户行为分析与数据智能平台,支持用户数据分析运营数据分析留存分析路径分析漏斗分析用户画像SEM数据分析等16种分析模型的数据分析产品,支持网站统计网站分析APP统计APP分析等分析工具,以及会员营销系统A/B测试工具等数据智能应用,支持SAAS和私有化部署,提升用户留存和转化率,实现数据驱动增长!

 

【独家稿件及免责声明】本站原创文章如需转载请联系我们,未经书面许可禁止转载,本站转载文章著作权归原作者所有,如有侵权请联系:。

增长工具