分表实战一

2024-09-02 05:32
文章标签 实战 分表

本文主要是介绍分表实战一,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

现在单表超过一千万记录,虽然索引完全使用,依旧会出现慢查询。日增平均40万。
数据库要重新设计,目的提高查询速度,只查询热数据。

设计思路
  • 根据热数据时效性,保持在近三个月内,计划一年生成6张表。
  • 利用union来查询,当前月在内的近三个月或四个月的数据。
  • 牵扯查询尽量使用索引。
如何生成表?

比如2020年,生成20200102,20200304,20200506,20200708,20200910,20201112六张表
从一月到十二月,连续每两个月生成一张表
可提前把一年要用的数据表用mysql直接创建。

查询如何确定表?

依托当前月份可以直接取到表,设置一个数组来保存对应关系,这样感觉挺方便的
入库的时候直接用self:: i n t a l b e − − − − − − − 查 询 的 时 候 直 接 用 s e l f : : intalbe -------查询的时候直接用self:: intalbeself::seltalbe

		$rent_arrs = ['2020'=>['1'=>['name'=>'20200102','table'=>['20200102']],'2'=>['name'=>'20200102','table'=>['20200102']],'3'=>['name'=>'20200304','table'=>['20200102','20200304']],'4'=>['name'=>'20200304','table'=>['20200102','20200304']],'5'=>['name'=>'20200506','table'=>['20200304','20200506']],'6'=>['name'=>'20200506','table'=>['20200304','20200506']],'7'=>['name'=>'20200708','table'=>['20200506','20200708']],'8'=>['name'=>'20200708','table'=>['20200506','20200708']],'9'=>['name'=>'20200910','table'=>['20200708','20200910']],'10'=>['name'=>'20200910','table'=>['20200708','20200910']],'11'=>['name'=>'20201112','table'=>['20200910','20201112']],'12'=>['name'=>'20201112','table'=>['20200910','20201112']]],'2021'=>['1'=>['name'=>'20210102','table'=>['20210102','20201112']],'2'=>['name'=>'20210102','table'=>['20210102','20201112']],]];$y=date("Y");$m=date("n");self::$intalbe  = $rent_arrs[$y][$m]['name'];self::$seltalbe = $rent_arrs[$y][$m]['table'];
查询的时候用哪种方式比较高效呢?目前经过本地多次测试,explain查看,查询消耗时间对比,第二种速度较快,后期数据积累到一定程度,还不能确定

thinkphp5框架

第一种,利用union连接sql生成临时表查询(需要传查询条件,分页,索引)
		$w['city_id'] = 220;$page=1;$a = Db::name(self::$seltalbe[0])->field('title,date')->where($w)->buildSql();$c = Db::name(self::$seltalbe[1])->field('title,date')->where($w)->union([$a])->buildSql();$list = Db::table($c . ' temp')->order('date desc')->limit($page-1,3)->select();var_dump($list);

原生SQL

SELECT * FROM ( SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 UNION ( SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 ) ) temp ORDER BY date desc LIMIT 0,3
第二种,直接union查询(需要传查询条件,分页,索引)
		$s = Db::field('title,date')->name(self::$seltalbe[0])->union(function($query) use ($page,$w){$query->field('title,date')->name(self::$seltalbe[1])->where($w)->order('date desc')->page($page,3);})->where($w)->select();var_dump($s);

原生SQL

SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 UNION SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 ORDER BY date desc LIMIT 0,3

这篇关于分表实战一的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1129122

相关文章

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查(先问三件事)二、基础示例:requests 与证书处理三、高并发选型:

MyCat分库分表的项目实践

《MyCat分库分表的项目实践》分库分表解决大数据量和高并发性能瓶颈,MyCat作为中间件支持分片、读写分离与事务处理,本文就来介绍一下MyCat分库分表的实践,感兴趣的可以了解一下... 目录一、为什么要分库分表?二、分库分表的常见方案三、MyCat简介四、MyCat分库分表深度解析1. 架构原理2. 分

Oracle Scheduler任务故障诊断方法实战指南

《OracleScheduler任务故障诊断方法实战指南》Oracle数据库作为企业级应用中最常用的关系型数据库管理系统之一,偶尔会遇到各种故障和问题,:本文主要介绍OracleSchedul... 目录前言一、故障场景:当定时任务突然“消失”二、基础环境诊断:搭建“全局视角”1. 数据库实例与PDB状态2

Git进行版本控制的实战指南

《Git进行版本控制的实战指南》Git是一种分布式版本控制系统,广泛应用于软件开发中,它可以记录和管理项目的历史修改,并支持多人协作开发,通过Git,开发者可以轻松地跟踪代码变更、合并分支、回退版本等... 目录一、Git核心概念解析二、环境搭建与配置1. 安装Git(Windows示例)2. 基础配置(必

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分