ssis优化

2024-04-04 07:08
文章标签 优化 ssis

本文主要是介绍ssis优化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.. 优化

 集成服务功能强大,开发管理较为复杂,往往ETL包能够实现功能,但是不能满足性能要求。下面将给出一些提高性能的建议。

1.1 用于提高速度的总体设置

1 优化数据源

1 删除不需要的列;

2)使用SQL SELECT语句从视图中提取数据;应当避免在“OLE DB源”适配器中使用“表或视图“的访问模式。

3 优化数据源查询;

2 使用平面文件及其它文件源

1 把平面文件中相邻的不需要的列组合起来;

2 将平面文件中不需要的列保留为“String”类型;

3 清除隐藏的操作

(1)    只在必要的时候进行列的解析或转换;

(2)    在“平面文件源”适配器中使用“FastParse”选项;

(3)    清除不必要的日志记录;

1.2 数据流优化

(1)    使用索引

(2)    实现并行性

(3)    清除不必要的操作

(4)    将查找引用配对; 避免使用“select * from

(5)    近可能的在SQL Server中执行以数据集为基础的操作。例如:SQL Server中比“排序”转换组件速度要快,特别是有索引时。

(6)    注意具有内部文件IO的转换。可以提高硬盘驱动器性能。

(7)    转移到64位操作系统中

(8)    监视内存密集型转换,如:“聚合”,“查找”,“排序”等

(9)    使用“查找“的部分缓存或完全缓存模式

部分缓存:适用于进入的数据具有重复性,而且只引用整个引用表中一小部分数据的时候。完全缓存:适用于当引用表比较小而进入的数据会用到整个引用表范围中所有的数据行时。

(10) 消除“聚合”,“查找”,“排序”操作

(11) 增大“DefaultBufferMaxSize”和“DefaultBufferMaxRows “,但是也不能太大

(12) 使用“EngineThreads “(引擎线程)。可以用日志测试需要的实际线程数,然后再设置一致。

(13) 设置“MaxConcurrentExecutables “(最大并行课执行程序数) 如果值为”-1“,则使用的线程数将是计算机中处理器的数量加2.如果控制流有10个数据流,如果设置为”4“,只能有4个数据流会被同时运行。要与“EngineThreads “相结合设置。

(14) 有些开销比较大的组件慎用:如:OLEDB命令、模糊查找、数据转换、导出列/到入列、字词查找。

1.3 插入性能

1 使用“SQL SERVER 目标”适配器;

2 设置“提交容量”;

3 打开“表锁”;

4 关闭约束;

5 使用“最少日志记录”;

6 再加载时考虑禁用索引;

1.4 如何利用约束理论优化

1 约束理论的5个步骤

(一)     约束的识别

(二)     决定如何利用约束

(三)     根据前面的决策协调和同步其它所有方面

(四)     提升约束的性能

(五)     如果在上述任何步骤中约束发生了变化,则回到第一步

2 最常见的最高优先约束

内存、CPU速度、CPU数量、磁盘驱动器速度、网络速度。

3 基准测试 约束和瓶颈的区别

4 性能计数器

·         Buffers in Use

·         Flat Buffers in Use

·         Private Buffers in Use

·         Rows Read

·         Rows Written

·         Buffers Spooled

这篇关于ssis优化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/875122

相关文章

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

Java实现复杂查询优化的7个技巧小结

《Java实现复杂查询优化的7个技巧小结》在Java项目中,复杂查询是开发者面临的“硬骨头”,本文将通过7个实战技巧,结合代码示例和性能对比,手把手教你如何让复杂查询变得优雅,大家可以根据需求进行选择... 目录一、复杂查询的痛点:为何你的代码“又臭又长”1.1冗余变量与中间状态1.2重复查询与性能陷阱1.

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

Python多线程应用中的卡死问题优化方案指南

《Python多线程应用中的卡死问题优化方案指南》在利用Python语言开发某查询软件时,遇到了点击搜索按钮后软件卡死的问题,本文将简单分析一下出现的原因以及对应的优化方案,希望对大家有所帮助... 目录问题描述优化方案1. 网络请求优化2. 多线程架构优化3. 全局异常处理4. 配置管理优化优化效果1.

MySQL中优化CPU使用的详细指南

《MySQL中优化CPU使用的详细指南》优化MySQL的CPU使用可以显著提高数据库的性能和响应时间,本文为大家整理了一些优化CPU使用的方法,大家可以根据需要进行选择... 目录一、优化查询和索引1.1 优化查询语句1.2 创建和优化索引1.3 避免全表扫描二、调整mysql配置参数2.1 调整线程数2.

深入解析Java NIO在高并发场景下的性能优化实践指南

《深入解析JavaNIO在高并发场景下的性能优化实践指南》随着互联网业务不断演进,对高并发、低延时网络服务的需求日益增长,本文将深入解析JavaNIO在高并发场景下的性能优化方法,希望对大家有所帮助... 目录简介一、技术背景与应用场景二、核心原理深入分析2.1 Selector多路复用2.2 Buffer

SpringBoot利用树形结构优化查询速度

《SpringBoot利用树形结构优化查询速度》这篇文章主要为大家详细介绍了SpringBoot利用树形结构优化查询速度,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一个真实的性能灾难传统方案为什么这么慢N+1查询灾难性能测试数据对比核心解决方案:一次查询 + O(n)算法解决

小白也能轻松上手! 路由器设置优化指南

《小白也能轻松上手!路由器设置优化指南》在日常生活中,我们常常会遇到WiFi网速慢的问题,这主要受到三个方面的影响,首要原因是WiFi产品的配置优化不合理,其次是硬件性能的不足,以及宽带线路本身的质... 在数字化时代,网络已成为生活必需品,追剧、游戏、办公、学习都离不开稳定高速的网络。但很多人面对新路由器

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、