一个困扰了我三天的SQL优化问题。(多条数据取最近的数据)

2024-09-04 19:58

本文主要是介绍一个困扰了我三天的SQL优化问题。(多条数据取最近的数据),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

            由于优化的方向不对,一个SQL困扰了我好几天,物化视图什么之类的,全部都试过了,还是没有解决。今天,在看这个问题的时候,灵光一现,咦,好像是这里有问题,然后改了一下,终于解决了。这个SQL,从最初的16秒,后面换了各种方法,有180秒,150秒,60多秒,试过了各种SQL,终于,优化到了0.3秒。好了,现在说下问题。

           这个SQL总共涉及了6张表,其实最主要的是做数据的统计。直接看SQL吧。

1.这个是最初的:速度是16秒。

SELECT
*
FROM
(
SELECT
A . ID,
warehousecode,
sku,
OWNER,
enname,
customername,
createtime,
(startnum + changenum) sumnum,
(startnum + changenum - locknum) availablenum,
locknum
FROM
(
SELECT
t1. ID,
t2.warehousecode,
t1.sku,
C . NAME customername,
t1.createtime,
t1. OWNER,
P .cnname enname,
(
NUMBER + COALESCE (locknumber, 0)
) startnum,
(
SELECT
COALESCE (
SUM (
(
CASE
WHEN TYPE = 'inbound' THEN
qty
ELSE
(- 1 * qty)
END
)
),
0
) AS qty
FROM
t_inventory_change tc
WHERE
tc.warehousecode = t2.warehousecode
AND tc. OWNER = t1. OWNER
AND tc.sku = t1.sku
AND tc.createtime > t1.createtime
) changeNum,
(
SELECT
COALESCE (SUM(qty), 0)
FROM
t_inventory_lock tl
WHERE
VALID = 't'
AND tl.warehousecode = t2.warehousecode
AND tl. OWNER = t1. OWNER
AND tl.sku = t1.sku
AND tl.createtime > t1.createtime
) lockNum
FROM
t_inventory_detail t1
LEFT JOIN t_inventory t2 ON t1.inventoryid = t2. ID
LEFT JOIN t_product P ON P . OWNER = t1. OWNER
AND P .status = 1
AND P .sku = t1.sku
LEFT JOIN t_customer C ON C .code = t1. OWNER
WHERE
t1.createtime = (
SELECT
MAX (t3.createtime)
FROM
t_inventory_detail t3,
t_inventory t4
WHERE
t3.inventoryid = t4. ID
AND t2.warehousecode = t4.warehousecode
AND t1.sku = t3.sku
)

) AS A
) AS T
WHERE
1 = 1
order by createtime desc


2.这个是 160 秒的

select DISTINCT t.*
,(NUMBER + COALESCE (locknumber, 0) + changenum) sumnum
,(NUMBER + COALESCE (locknumber, 0) + changenum - locknum) availablenum 
from(
select td.sku,td.warehousecode,td.owner,td.cnname,td.number,td.locknumber,td.createtime,
c.name customername,
p.cnname enname,
COALESCE(SUM(CASE WHEN tc.TYPE = 'inbound' THEN tc.qty ELSE (- 1 * tc.qty) END ) OVER(partition by tc.warehousecode,tc.OWNER,tc.sku),0) changenum,
COALESCE(SUM(tl.qty) OVER(partition by tl.warehousecode,tl.OWNER,tl.sku),0) lockNum
from(
select sku,warehousecode,owner,cnname,number,locknumber,createtime from(
select t1.sku,t2.warehousecode,t1.owner,t1.cnname,t1.number,t1.locknumber,t1.createtime,
row_number() over(partition by t1.sku,t1.owner,t2.warehousecode order by t1.createtime desc) rn 
from t_inventory_detail t1 left join t_inventory t2 on t1.inventoryid=t2.id) t where rn=1) td
left join t_product p on p.owner = td.owner and p.status = 1 and p .sku = td.sku
left join t_customer c on c.code = td.owner
left join t_inventory_lock tl on tl.warehousecode = td.warehousecode AND tl. OWNER = td. OWNER AND tl.sku = td.sku AND tl.createtime > td.createtime and VALID = 't' 
left join t_inventory_change tc on tc.warehousecode = td.warehousecode AND tc. OWNER = td. OWNER AND tc.sku = td.sku AND tc.createtime > td.createtime
) t;


3.这个是0.3秒的

SELECT
*
FROM
(
SELECT
A . ID,
warehousecode,
sku,
OWNER,
enname,
customername,
createtime,
(startnum + changenum) sumnum,
(startnum + changenum - locknum) availablenum,
locknum
FROM
(
SELECT
td. ID,
td.warehousecode,
td.sku,
C . NAME customername,
td.createtime,
td. OWNER,
P .cnname enname,
(
NUMBER + COALESCE (locknumber, 0)
) startnum,
(
SELECT
COALESCE (
SUM (
(
CASE
WHEN TYPE = 'inbound' THEN
qty
ELSE
(- 1 * qty)
END
)
),
0
) AS qty
FROM
t_inventory_change tc
WHERE
tc.warehousecode = td.warehousecode
AND tc. OWNER = td. OWNER
AND tc.sku = td.sku
AND tc.createtime > td.createtime
) changeNum,
(
SELECT
COALESCE (SUM(qty), 0)
FROM
t_inventory_lock tl
WHERE
VALID = 't'
AND tl.warehousecode = td.warehousecode
AND tl. OWNER = td. OWNER
AND tl.sku = td.sku
AND tl.createtime > td.createtime
) lockNum
FROM
(
SELECT
T . ID,
sku,
warehousecode,
OWNER,
cnname,
NUMBER,
locknumber,
createtime
FROM
(
SELECT
t1. ID,
t1.sku,
t2.warehousecode,
t1. OWNER,
t1.cnname,
t1. NUMBER,
t1.locknumber,
t1.createtime,
ROW_NUMBER () OVER (
PARTITION BY t1.sku,
t1. OWNER,
t2.warehousecode
ORDER BY
t1.createtime DESC
) rn
FROM
t_inventory_detail t1
LEFT JOIN t_inventory t2 ON t1.inventoryid = t2. ID
) T
WHERE
rn = 1
) td

LEFT JOIN t_product P ON P . OWNER = td. OWNER
AND P .status = 1
AND P .sku = td.sku
LEFT JOIN t_customer C ON C .code = td. OWNER
) AS A
) AS T
WHERE
1 = 1
 order by createtime desc


其实最主要的问题,还是出在红色标记的区别。就是有多个数据的时候,取最近的数据。最开始以为这里没有问题,一直以为是子查询的问题,后面发现并不是子查询的问题。记在这里,给自己一个教训。

这篇关于一个困扰了我三天的SQL优化问题。(多条数据取最近的数据)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136885

相关文章

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

MySQL 衍生表(Derived Tables)的使用

《MySQL衍生表(DerivedTables)的使用》本文主要介绍了MySQL衍生表(DerivedTables)的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录一、衍生表简介1.1 衍生表基本用法1.2 自定义列名1.3 衍生表的局限在SQL的查询语句select

MySQL 横向衍生表(Lateral Derived Tables)的实现

《MySQL横向衍生表(LateralDerivedTables)的实现》横向衍生表适用于在需要通过子查询获取中间结果集的场景,相对于普通衍生表,横向衍生表可以引用在其之前出现过的表名,本文就来... 目录一、横向衍生表用法示例1.1 用法示例1.2 使用建议前面我们介绍过mysql中的衍生表(From子句

六个案例搞懂mysql间隙锁

《六个案例搞懂mysql间隙锁》MySQL中的间隙是指索引中两个索引键之间的空间,间隙锁用于防止范围查询期间的幻读,本文主要介绍了六个案例搞懂mysql间隙锁,具有一定的参考价值,感兴趣的可以了解一下... 目录概念解释间隙锁详解间隙锁触发条件间隙锁加锁规则案例演示案例一:唯一索引等值锁定存在的数据案例二:

MySQL JSON 查询中的对象与数组技巧及查询示例

《MySQLJSON查询中的对象与数组技巧及查询示例》MySQL中JSON对象和JSON数组查询的详细介绍及带有WHERE条件的查询示例,本文给大家介绍的非常详细,mysqljson查询示例相关知... 目录jsON 对象查询1. JSON_CONTAINS2. JSON_EXTRACT3. JSON_TA

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。

MYSQL查询结果实现发送给客户端

《MYSQL查询结果实现发送给客户端》:本文主要介绍MYSQL查询结果实现发送给客户端方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql取数据和发数据的流程(边读边发)Sending to clientSending DataLRU(Least Rec

MySQL分区表的具体使用

《MySQL分区表的具体使用》MySQL分区表通过规则将数据分至不同物理存储,提升管理与查询效率,本文主要介绍了MySQL分区表的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录一、分区的类型1. Range partition(范围分区)2. List partition(列表分区)3. H