分表实战一

2024-09-02 05:32
文章标签 实战 分表

本文主要是介绍分表实战一,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

现在单表超过一千万记录,虽然索引完全使用,依旧会出现慢查询。日增平均40万。
数据库要重新设计,目的提高查询速度,只查询热数据。

设计思路
  • 根据热数据时效性,保持在近三个月内,计划一年生成6张表。
  • 利用union来查询,当前月在内的近三个月或四个月的数据。
  • 牵扯查询尽量使用索引。
如何生成表?

比如2020年,生成20200102,20200304,20200506,20200708,20200910,20201112六张表
从一月到十二月,连续每两个月生成一张表
可提前把一年要用的数据表用mysql直接创建。

查询如何确定表?

依托当前月份可以直接取到表,设置一个数组来保存对应关系,这样感觉挺方便的
入库的时候直接用self:: i n t a l b e − − − − − − − 查 询 的 时 候 直 接 用 s e l f : : intalbe -------查询的时候直接用self:: intalbeself::seltalbe

		$rent_arrs = ['2020'=>['1'=>['name'=>'20200102','table'=>['20200102']],'2'=>['name'=>'20200102','table'=>['20200102']],'3'=>['name'=>'20200304','table'=>['20200102','20200304']],'4'=>['name'=>'20200304','table'=>['20200102','20200304']],'5'=>['name'=>'20200506','table'=>['20200304','20200506']],'6'=>['name'=>'20200506','table'=>['20200304','20200506']],'7'=>['name'=>'20200708','table'=>['20200506','20200708']],'8'=>['name'=>'20200708','table'=>['20200506','20200708']],'9'=>['name'=>'20200910','table'=>['20200708','20200910']],'10'=>['name'=>'20200910','table'=>['20200708','20200910']],'11'=>['name'=>'20201112','table'=>['20200910','20201112']],'12'=>['name'=>'20201112','table'=>['20200910','20201112']]],'2021'=>['1'=>['name'=>'20210102','table'=>['20210102','20201112']],'2'=>['name'=>'20210102','table'=>['20210102','20201112']],]];$y=date("Y");$m=date("n");self::$intalbe  = $rent_arrs[$y][$m]['name'];self::$seltalbe = $rent_arrs[$y][$m]['table'];
查询的时候用哪种方式比较高效呢?目前经过本地多次测试,explain查看,查询消耗时间对比,第二种速度较快,后期数据积累到一定程度,还不能确定

thinkphp5框架

第一种,利用union连接sql生成临时表查询(需要传查询条件,分页,索引)
		$w['city_id'] = 220;$page=1;$a = Db::name(self::$seltalbe[0])->field('title,date')->where($w)->buildSql();$c = Db::name(self::$seltalbe[1])->field('title,date')->where($w)->union([$a])->buildSql();$list = Db::table($c . ' temp')->order('date desc')->limit($page-1,3)->select();var_dump($list);

原生SQL

SELECT * FROM ( SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 UNION ( SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 ) ) temp ORDER BY date desc LIMIT 0,3
第二种,直接union查询(需要传查询条件,分页,索引)
		$s = Db::field('title,date')->name(self::$seltalbe[0])->union(function($query) use ($page,$w){$query->field('title,date')->name(self::$seltalbe[1])->where($w)->order('date desc')->page($page,3);})->where($w)->select();var_dump($s);

原生SQL

SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 UNION SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 ORDER BY date desc LIMIT 0,3

这篇关于分表实战一的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1129122

相关文章

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

Java Spring 中的监听器Listener详解与实战教程

《JavaSpring中的监听器Listener详解与实战教程》Spring提供了多种监听器机制,可以用于监听应用生命周期、会话生命周期和请求处理过程中的事件,:本文主要介绍JavaSprin... 目录一、监听器的作用1.1 应用生命周期管理1.2 会话管理1.3 请求处理监控二、创建监听器2.1 Ser

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

MQTT SpringBoot整合实战教程

《MQTTSpringBoot整合实战教程》:本文主要介绍MQTTSpringBoot整合实战教程,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录MQTT-SpringBoot创建简单 SpringBoot 项目导入必须依赖增加MQTT相关配置编写

JavaScript实战:智能密码生成器开发指南

本文通过JavaScript实战开发智能密码生成器,详解如何运用crypto.getRandomValues实现加密级随机密码生成,包含多字符组合、安全强度可视化、易混淆字符排除等企业级功能。学习密码强度检测算法与信息熵计算原理,获取可直接嵌入项目的完整代码,提升Web应用的安全开发能力 目录

Redis迷你版微信抢红包实战

《Redis迷你版微信抢红包实战》本文主要介绍了Redis迷你版微信抢红包实战... 目录1 思路分析1.1hCckRX 流程1.2 注意点①拆红包:二倍均值算法②发红包:list③抢红包&记录:hset2 代码实现2.1 拆红包splitRedPacket2.2 发红包sendRedPacket2.3 抢

springboot项目redis缓存异常实战案例详解(提供解决方案)

《springboot项目redis缓存异常实战案例详解(提供解决方案)》redis基本上是高并发场景上会用到的一个高性能的key-value数据库,属于nosql类型,一般用作于缓存,一般是结合数据... 目录缓存异常实践案例缓存穿透问题缓存击穿问题(其中也解决了穿透问题)完整代码缓存异常实践案例Red

Spring Boot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)

《SpringBoot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)》:本文主要介绍SpringBoot拦截器Interceptor与过滤器Filter深度解析... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现与实

基于C#实现MQTT通信实战

《基于C#实现MQTT通信实战》MQTT消息队列遥测传输,在物联网领域应用的很广泛,它是基于Publish/Subscribe模式,具有简单易用,支持QoS,传输效率高的特点,下面我们就来看看C#实现... 目录1、连接主机2、订阅消息3、发布消息MQTT(Message Queueing Telemetr

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx