本文主要是介绍脏数据清洗实践方案，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
-
一、概述
-
-
无论对于数据仓库/数据湖/数据中台，都会存在大量的脏数据，当我们在使用一张数据表时，发现其中出现大量的重复数据，活着其中的字段信息对应错误，原本ID：101 对应的name时YY，但实际存储的是XX，这种脏数据的场景就不举太多例子了肯定很常见。那么我来总结一个解决方案。
-
-
二、解决方案
-
-
现在有一张表t_1（按天分区全量），我们某一天发现t_1出现了概述中的提到的脏数据情况，那么我们大多数第一反应就是去找t_1_上游表，反馈给这个表的负责人（思路没问题）。但是当出现t_1_上游表不归属你负责，或者没办法修改的时候怎么办呢？还得保持业务数据继续？
-
-
第一步、我们要做的就是及时止损，首先排查是不是可以在t_1中进行简单清理，比如说清洗或者去重（剩余的业务数据问题，不是当前视角侧不能修改的可以先放在，稍后会提到）；
-
第二步、我们要保留t_1表，并且创建t_1_temp表（与t_1结构一样，暂时在t_1被修复前使用t_1_temp）；
-
第三步、我们统一修改t_1下游表，为依赖t_1_temp（直在t_1被修复好为止）；
-
第四步、我们生成t_1_badcase表(我们用此记录还剩多少条问题数据待解决)与t_1_待修正n（待修正表直接提供给上游表负责人或者相关业务的负责人，请求帮忙修复中间的错误数据），
-
-
这篇关于脏数据清洗实践方案的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
