数据挖掘工程师和数据仓库工程师是指什么?

来源:百度知道 编辑:UC知道 时间:2024/05/31 20:50:52

数据挖掘各个公司都一样,有的是直接在数据库数据的基础上手工提取数据分析,有的是在OLAP多维数据集的基础上利用工具去进行挖掘。而数据仓库基本上就是利用数据库系统提供的OLAP去进行数据处理了。综合起来说,这两个职位一般都需要懂OLAP。

什么是数据挖掘?
数据挖掘是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。

1. 数据挖掘能做什么?
1)数据挖掘能做以下六种不同事情(分析方法):
· 分类 (Classification)
· 估值(Estimation)
· 预言(Prediction)
· 相关性分组或关联规则(Affinity grouping or association rules)
· 聚集(Clustering)
· 描述和可视化(Description and Visualization)

2)数据挖掘分类
以上六种数据挖掘的分析方法可以分为两类:直接数据挖掘;间接数据挖掘
· 直接数据挖掘
目标是利用可用的数据建立一个模型,这个模型对剩余的数据,对一个特定的变量(可以理解成数据库中表的属性,即列)进行描述。
· 间接数据挖掘
目标中没有选出某一具体的变量,用模型进行描述;而是在所有的变量中建立起某种关系。
· 分类、估值、预言属于直接数据挖掘;后三种属于间接数据挖掘

3)各种分析方法的简介
· 分类 (Classification)
首先从数据中选出已经分好类的训练集,在该训练集上运用数据挖掘分类的技术,建立分类模型,对于没有分类的数据进行分类。
例子:
a. 信用卡申请者,分类为低、中、高风险
b. 分配客户到预先定义的客户分片
注意: 类的个数是确定的,预先定义好的

· 估值(Estimation)
估值与分类类似,不同之处在于,分类描述的是离散型变量的输出,而估值处理连续值的输出;分类的类别是确定数目的,估值的量是不确定的。
例子:
a. 根据购买模式,估计一个家庭的孩子个数