SQL Server 2012 数据质量服务实战简介(Data Quality Services)

本文主要是介绍SQL Server 2012 数据质量服务实战简介(Data Quality Services),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据质量服务是包含在SQL Server 2012中的一个组件。我们需要安装数据质量服务端和客户端,这些在sqlserver 2012的安装文件中都可以找到。安装服务端以后,在我们sqlserver数据库中会出现3个新的以DQS开头的数据库

这三个数据库分别用来存储数据质量服务的知识库,总体和临时数据。

安装完成以后,我们可以用客户端来打开数据质量服务的管理界面

总体分三个大类,

知识库的管理(Knowledge Base Management)

数据质量项目(Data Quality Projects)

管理(Administration)

上图为创建知识库的界面,所有的数据质量项目都是基于知识库的,知识库里面包含具体的“域”(Domain),针对域来设定数据清理的规则。知识库我们可以看成是个表结构,域相当于字段。对域的规则可以是单独字段的也可以是组合字段的。

上图为域的管理,我们可以添加域,设置域的格式,数据类型,规则,引用等等。

当知识库建立以后,我们需要对知识库进行训练(Knowledge Base Discovery),一般情况下,我们可以取小部分真实数据来对知识库来进行训练,训练的次数越多,涵盖的情况越多,知识库也就越丰富越具体。

上图为知识库训练的界面,数据源可以是excel或者SQL Server数据库,下方设置相应的字段映射之后,就可以开始进行训练了。训练完之后,我们可以根据训练的结果可以进行设置,添加域的规则,修改域的引用等操作。

当一个知识库完成以后,我们就可以正式的使用数据质量项目来进行数据的清理。

而且在SSIS 2012中也添加了相对应的数据质量服务的组件,这样我们就可以很方便在SSIS 包中使用数据质量服务来完成数据的清洗。

当前世面上有很多行业的标准的第三方的知识库,我们也可以直接导入这些已经很成熟的知识库来对我们的数据直接进行清洗,大大的方便了我们操作一致性和准确性。

注意:当前版本下,DQS服务端不支持卸载,需要卸载的时候,需要手动删除那三个数据库,两个相对应的instance的login,master database中的一个存储过程。

这篇关于SQL Server 2012 数据质量服务实战简介(Data Quality Services)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/874971

相关文章

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

解密SQL查询语句执行的过程

《解密SQL查询语句执行的过程》文章讲解了SQL语句的执行流程,涵盖解析、优化、执行三个核心阶段,并介绍执行计划查看方法EXPLAIN,同时提出性能优化技巧如合理使用索引、避免SELECT*、JOIN... 目录1. SQL语句的基本结构2. SQL语句的执行过程3. SQL语句的执行计划4. 常见的性能优

SQL Server 中的 WITH (NOLOCK) 示例详解

《SQLServer中的WITH(NOLOCK)示例详解》SQLServer中的WITH(NOLOCK)是一种表提示,等同于READUNCOMMITTED隔离级别,允许查询在不获取共享锁的情... 目录SQL Server 中的 WITH (NOLOCK) 详解一、WITH (NOLOCK) 的本质二、工作

MySQL 强制使用特定索引的操作

《MySQL强制使用特定索引的操作》MySQL可通过FORCEINDEX、USEINDEX等语法强制查询使用特定索引,但优化器可能不采纳,需结合EXPLAIN分析执行计划,避免性能下降,注意版本差异... 目录1. 使用FORCE INDEX语法2. 使用USE INDEX语法3. 使用IGNORE IND