一个困扰了我三天的SQL优化问题。(多条数据取最近的数据)

2024-09-04 19:58

本文主要是介绍一个困扰了我三天的SQL优化问题。(多条数据取最近的数据),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

            由于优化的方向不对,一个SQL困扰了我好几天,物化视图什么之类的,全部都试过了,还是没有解决。今天,在看这个问题的时候,灵光一现,咦,好像是这里有问题,然后改了一下,终于解决了。这个SQL,从最初的16秒,后面换了各种方法,有180秒,150秒,60多秒,试过了各种SQL,终于,优化到了0.3秒。好了,现在说下问题。

           这个SQL总共涉及了6张表,其实最主要的是做数据的统计。直接看SQL吧。

1.这个是最初的:速度是16秒。

SELECT
*
FROM
(
SELECT
A . ID,
warehousecode,
sku,
OWNER,
enname,
customername,
createtime,
(startnum + changenum) sumnum,
(startnum + changenum - locknum) availablenum,
locknum
FROM
(
SELECT
t1. ID,
t2.warehousecode,
t1.sku,
C . NAME customername,
t1.createtime,
t1. OWNER,
P .cnname enname,
(
NUMBER + COALESCE (locknumber, 0)
) startnum,
(
SELECT
COALESCE (
SUM (
(
CASE
WHEN TYPE = 'inbound' THEN
qty
ELSE
(- 1 * qty)
END
)
),
0
) AS qty
FROM
t_inventory_change tc
WHERE
tc.warehousecode = t2.warehousecode
AND tc. OWNER = t1. OWNER
AND tc.sku = t1.sku
AND tc.createtime > t1.createtime
) changeNum,
(
SELECT
COALESCE (SUM(qty), 0)
FROM
t_inventory_lock tl
WHERE
VALID = 't'
AND tl.warehousecode = t2.warehousecode
AND tl. OWNER = t1. OWNER
AND tl.sku = t1.sku
AND tl.createtime > t1.createtime
) lockNum
FROM
t_inventory_detail t1
LEFT JOIN t_inventory t2 ON t1.inventoryid = t2. ID
LEFT JOIN t_product P ON P . OWNER = t1. OWNER
AND P .status = 1
AND P .sku = t1.sku
LEFT JOIN t_customer C ON C .code = t1. OWNER
WHERE
t1.createtime = (
SELECT
MAX (t3.createtime)
FROM
t_inventory_detail t3,
t_inventory t4
WHERE
t3.inventoryid = t4. ID
AND t2.warehousecode = t4.warehousecode
AND t1.sku = t3.sku
)

) AS A
) AS T
WHERE
1 = 1
order by createtime desc


2.这个是 160 秒的

select DISTINCT t.*
,(NUMBER + COALESCE (locknumber, 0) + changenum) sumnum
,(NUMBER + COALESCE (locknumber, 0) + changenum - locknum) availablenum 
from(
select td.sku,td.warehousecode,td.owner,td.cnname,td.number,td.locknumber,td.createtime,
c.name customername,
p.cnname enname,
COALESCE(SUM(CASE WHEN tc.TYPE = 'inbound' THEN tc.qty ELSE (- 1 * tc.qty) END ) OVER(partition by tc.warehousecode,tc.OWNER,tc.sku),0) changenum,
COALESCE(SUM(tl.qty) OVER(partition by tl.warehousecode,tl.OWNER,tl.sku),0) lockNum
from(
select sku,warehousecode,owner,cnname,number,locknumber,createtime from(
select t1.sku,t2.warehousecode,t1.owner,t1.cnname,t1.number,t1.locknumber,t1.createtime,
row_number() over(partition by t1.sku,t1.owner,t2.warehousecode order by t1.createtime desc) rn 
from t_inventory_detail t1 left join t_inventory t2 on t1.inventoryid=t2.id) t where rn=1) td
left join t_product p on p.owner = td.owner and p.status = 1 and p .sku = td.sku
left join t_customer c on c.code = td.owner
left join t_inventory_lock tl on tl.warehousecode = td.warehousecode AND tl. OWNER = td. OWNER AND tl.sku = td.sku AND tl.createtime > td.createtime and VALID = 't' 
left join t_inventory_change tc on tc.warehousecode = td.warehousecode AND tc. OWNER = td. OWNER AND tc.sku = td.sku AND tc.createtime > td.createtime
) t;


3.这个是0.3秒的

SELECT
*
FROM
(
SELECT
A . ID,
warehousecode,
sku,
OWNER,
enname,
customername,
createtime,
(startnum + changenum) sumnum,
(startnum + changenum - locknum) availablenum,
locknum
FROM
(
SELECT
td. ID,
td.warehousecode,
td.sku,
C . NAME customername,
td.createtime,
td. OWNER,
P .cnname enname,
(
NUMBER + COALESCE (locknumber, 0)
) startnum,
(
SELECT
COALESCE (
SUM (
(
CASE
WHEN TYPE = 'inbound' THEN
qty
ELSE
(- 1 * qty)
END
)
),
0
) AS qty
FROM
t_inventory_change tc
WHERE
tc.warehousecode = td.warehousecode
AND tc. OWNER = td. OWNER
AND tc.sku = td.sku
AND tc.createtime > td.createtime
) changeNum,
(
SELECT
COALESCE (SUM(qty), 0)
FROM
t_inventory_lock tl
WHERE
VALID = 't'
AND tl.warehousecode = td.warehousecode
AND tl. OWNER = td. OWNER
AND tl.sku = td.sku
AND tl.createtime > td.createtime
) lockNum
FROM
(
SELECT
T . ID,
sku,
warehousecode,
OWNER,
cnname,
NUMBER,
locknumber,
createtime
FROM
(
SELECT
t1. ID,
t1.sku,
t2.warehousecode,
t1. OWNER,
t1.cnname,
t1. NUMBER,
t1.locknumber,
t1.createtime,
ROW_NUMBER () OVER (
PARTITION BY t1.sku,
t1. OWNER,
t2.warehousecode
ORDER BY
t1.createtime DESC
) rn
FROM
t_inventory_detail t1
LEFT JOIN t_inventory t2 ON t1.inventoryid = t2. ID
) T
WHERE
rn = 1
) td

LEFT JOIN t_product P ON P . OWNER = td. OWNER
AND P .status = 1
AND P .sku = td.sku
LEFT JOIN t_customer C ON C .code = td. OWNER
) AS A
) AS T
WHERE
1 = 1
 order by createtime desc


其实最主要的问题,还是出在红色标记的区别。就是有多个数据的时候,取最近的数据。最开始以为这里没有问题,一直以为是子查询的问题,后面发现并不是子查询的问题。记在这里,给自己一个教训。

这篇关于一个困扰了我三天的SQL优化问题。(多条数据取最近的数据)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136885

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Vue3绑定props默认值问题

《Vue3绑定props默认值问题》使用Vue3的defineProps配合TypeScript的interface定义props类型,并通过withDefaults设置默认值,使组件能安全访问传入的... 目录前言步骤步骤1:使用 defineProps 定义 Props步骤2:设置默认值总结前言使用T

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

Web服务器-Nginx-高并发问题

《Web服务器-Nginx-高并发问题》Nginx通过事件驱动、I/O多路复用和异步非阻塞技术高效处理高并发,结合动静分离和限流策略,提升性能与稳定性... 目录前言一、架构1. 原生多进程架构2. 事件驱动模型3. IO多路复用4. 异步非阻塞 I/O5. Nginx高并发配置实战二、动静分离1. 职责2

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

解决升级JDK报错:module java.base does not“opens java.lang.reflect“to unnamed module问题

《解决升级JDK报错:modulejava.basedoesnot“opensjava.lang.reflect“tounnamedmodule问题》SpringBoot启动错误源于Jav... 目录问题描述原因分析解决方案总结问题描述启动sprintboot时报以下错误原因分析编程异js常是由Ja