MYSQL查询结果实现发送给客户端

MYSQL取数据和发数据的流程（边读边发）

• 1.服务端，获取一行数据，存到net_buffer中，可以理解为结果集
• 2.继续读取数据，直到net_buffer写满，调用网络接口发出去
• 3.如果发送成China编程功，就清空net_buffer
• 4.如果发送失败，就说明socket send buffer 写满了，进入等待，直到有足够的空间可写，再继续发送。

注意net_buffer满了就发给客户端而不是等查询语句查询完所有数据才发，其中net_buffer默认大小是16k,所以服务器占用内存最多是16k，不会因为查询200G的数据导致内存爆掉。

如果客户端接收数据太慢，就会导致数据在socket send buffer 堆积，导致发送数据到客户端的线程进入等待，由于net_buffer数据没有发送出去，net_buffer一直没法清空，查询语句就要等待net_buffer清空才能继续执行，导致服务端查询速度变慢。

Sending to client

假设使用show processlist发现一条语句的state是“Sending to client”，就是上面说的在等待socket send buffer 有足够空间可以将net_buffer中的数据写进去发送给客户端。

Sending Data

一个查询语句的状态是这样的：

• 1.首先将语句状态写成Sending Data
• 2.将查询需要的列信息发送给客户端China编程
• 3.继续执行查询
• 4.完成查询，将状态写成空

但是MYSQL8好像改了，我看到的是executing

LRU(Least Recently Used )算法

最近最少使用算法是一种内存淘汰机制，核心是--内存空间不足时，将最少使用的数据页淘汰

innodb管理Buffer Pool android的LRU算法，是通过链表来实现的，每个链表节点就是一个数据页。

• 1.链表中任意一个数据页被访问到时，就将这个节点放在链表的头节点
• 2.当访问一个链表中没有的数据页，需要加载到BufferPool并且放在头节点
• 3.当新节点要进来时，如果链表空间不足了，就把链表尾节点从链表中删除。

但是这个LRU在某些场景时有很大问题的

比如一个语句查询了历史数据表（python非业务热点数据表）的所有数据，这就会把链表中之前维护的热点数据页都淘汰掉，留下一些非业务热点数据页，会导致缓存命中率急剧降低，磁盘IO压力倍增。

针对这种清空，Innodb对LRU算法进行了优化

就是对链表进行了分区，前5/8是young区，后3/8是old区。

• 1.如果young的数据页被访问到了，和普通LRU算法一样，移到链表头部。
• 2.如果链表空间满了，此时有个新的数据页要加进来，和普通LRU算法一样首先把链表尾部的数据页淘汰，不过这个新的数据页不是放在链表头部，而是放在old区的第一个位置。
• 3.对于old区的数据页，每次访问都要进行判断：

如果该数据页在old待的时间大于1秒，就移动到整个链表的头节点。

如果小于1秒，就不改变位置。

这个1秒是由innodb_old_blocks_time参数控制的。

这样一来，短时间内的非热点数据只会存在于old区，一段时间内不被访问就慢慢掉到尾部被淘汰了，不会影响到真正的热点数据，它们会一直在young区。保证了不影响正常业务。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持编程China编程China编程(www.chinasem.cn)。