数据治理之数据清洗办法

数据,是信息化的核心内容。数据清洗, 是整个信息化实施过程中不可缺少的一个环节,其结果质量直接关系到整个信息化的最终实施效果。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。

一、预处理阶段

预处理阶段主要做两件事情:

一是将数据导入原始容器。一般是使用数据库的形式,我们称之为原始库。

二是数据预了解。一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取部分数据,人工查看,对数据本身有一个直观的了解,可以初步发现一些问题,为之后的处理做准备。

二、格式处理

数据源是软件系统、数据库等标准化的产品的话,通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:

1、时间、日期、文本、数值、全半角、货币单位等格式不一致

这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。

对于Excel等数据处理时,最好是采用原有模板,将采集来的数据拷贝到记事本等工具去除格式,再重新拷贝回模板中。

2、“非法”字符

某些内容可能只包括一部分字符,比如身份证号,可能存在头、尾、中间的空格,逗号等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。

3、内容与字段属性不符

在人工采集的数据最容易出现此类问题,比如Excel中没有对齐,或者复制粘贴时格式、公式带过来了等等原因,导致姓名写了性别,身份证号写了手机号等各种千奇百怪的问题,都可能发生。 但该问题特殊性在于,采集工作安排不易,不能简单的以删除来处理,因此要详细识别问题类型,寻找解决办法。

格式问题是比较细节的问题,但很多分析失误都是栽在这个坑上,比如跨表关联或VLOOKUP失败、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了,把日期和年龄混了)。因此,请各位务必注意这部分清洗工作,尤其是在处理的数据是人工收集而来,要多做distinct去重查找数据内容的核验工作。

三、缺失值处理

缺失值是最常见的数据问题,处理缺失值也有很多方法,可如下分步骤进行:

1、确定缺失值范围:对每个属性都计算其缺失值比例,然后按照缺失比例和该属性的重要性,分别制定策略,可用下图表示:

2、去除不必要字段:这一步很简单,直接删掉即可……但强烈建议清洗每做一步都备份一下,或者在小规模数据上试验成功再处理全量数据,不然删错了会追悔莫及(多说一句,写SQL的时候delete一定要配where!Update必须先select)。

3、填充缺失属性值:某些缺失值可以进行填充,方法有以下三种:

Ø 以业务知识或经验常识推测填充缺失值

Ø 以同一指标的计算结果(均值、中位数、众数等)填充缺失值

Ø 以不同指标的计算结果填充缺失值

前两种方法比较好理解。关于第三种方法,举个最简单的例子:年龄、性别属性缺失,但是有身份证号,这还是多大的事么…

4、重新取数

如果某些指标非常重要,那就需要和业务人员重新获取数据。如14位、19位的身份证号码等等。

四、逻辑错误处理

使用简单逻辑推理就可以直接发现问题的数据,以下为几个常用到的方法:

1、去重

不是所有的重复都能这么简单的去掉,要根据业务的合理性进行处理。

举个栗子,某人员基础相关的数据,一个地方叫做“ABC管家渡“,某用户在系统里又录入一个”ABC官家渡“。不仔细看你都看不出两者的区别,而且就算看出来了,你能保证没有”ABC官家渡“这种地方的存在么……这种时候,要么去抱RD大腿要求人家给你写模糊匹配算法,要么肉眼看吧。

2、去除不合理值

年龄300岁,抚恤金200000万,这种的就要么删掉,要么按缺失值处理。

3、修正矛盾内容

有些字段是可以互相验证的,举例:身份证号是5102221956XXXX5718,然后年龄填28岁,性别填女,这显然是不合理的。在这种时候,需要根据字段的数据来源,来判定哪个字段提供的信息更为可靠,通过其对应的规则去除或重构不可靠的属性。

除了以上列举的情况,还有很多未列举的情况,在实际操作中要酌情处理。另外,这一步骤在之后的数据分析建模过程中有可能重复,因为即使问题很简单,也并非所有问题都能够一次找出,我们能做的是使用工具和方法,尽量减少问题出现的可能性,从而提高数据的可用性。

五、其他非需求数据处理

这一步说起来非常简单:把不必要的字段删了。

但实际操作起来,有很多问题,例如:

Ø 把看上去不需要但实际上对业务很重要的字段删了;

Ø 某个字段觉得有用,但又没想好怎么用,不知道是否该删;

Ø 一时看走眼,删错字段了。

前两种情况我给的建议是:如果数据量没有大到不删字段就没办法处理的程度,那么能不删的字段尽量不删。第三种情况,请勤备份数据……

六、关联性验证

如果你的数据有多个来源,那么有必要进行关联性验证。例如,同一个区县,存在“杨家坪”和“扬家坪”两个街道,同时具有“九龙街道”和“九龙镇”,那么需要调整部分数据了。

数据整合是个非常复杂的工作,一定要注意数据之间的关联性,尽量在分析过程中不要出现数据之间互相矛盾,而你却毫无察觉的情况。

公司名称:中焓(浙江)环境科技有限公司