本文主要是介绍老司机使用 Redis 缓存复杂查询，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
点击上方“蓝字”可以关注我们哦
|转载自：baya.github.io
|原文链接：https://baya.github.io/
最近上线了一个复杂的报表, 这个报表后面是一个几百行的 sql 查询，很不幸但又是预料之中, 这个 sql 查询性能非常低下，并且需要在网站的一个访问量非常大的页面显示这个 sql 的查询结果。幸运的是这个查询结果不需要
实时更新，只要每天更新一次即可, 于是为这个 sql 查询加上缓存就成为了一个很好的优化方法。开始我们使用 Rails.cache 来缓存这个查询结果，Rails.cache 的 backend 配置如下:
# config/environments/production.rb
couch_host = YAML.load_file(Rails.root.join("config/couch.yml")).symbolize_keys[:host]
config.cache_store = :mem_cache_store, couch_host , { :namespace => 'rails_cache' }
# config/couch.yml
host: xxx.xxx.xxx.xxx:xxx
从上面的代码可以看出我们使用了 couchdb 作为 Rails.cache 的 backend, 我开始不太清楚为什么会使用 couchdb, 因为我们的系统中已经使用了 Redis, 并且 Redis 无论是使用舒适度还是性能都不输 couchdb, 后来我打开 Gemfile 发现:
# Gemfile
gem 'rails', '3.0.9'
#gem 'redis-rails', '3.1.3'
#gem "redis-store", "~> 1.0.0"
我们看到 redis-rails 和 redis-store 都被加在了 Gemfile 里，然后又被注释掉了，由此我估计前面的同事也想使用 Redis, 但是由于我们的 Rails 版本过老(现在 Rails 5 都发布了，我们还在使用 Rails 3), 导致 redis-rails 和 redis-store 无法使用，而我们既不想冒升级 Rails 的风险(这个升级的跨度有点大了), 也不愿意花时间去改造 redis-store 使其兼容 Rails 3(每天改 ticket 已经让人心力交瘁了,这个借口让自己无法反驳)。 报表上线之初，没有什么问题，后来随着数据量变大，发现报表展示的速度变慢但由于还可以容忍，也就没有去花时间去研究速度变慢的原因，直到不久运行 couchdb 的机器莫名宕机，造成整个网站 502(前端请求拿不到缓存就会去读数据库，这个查询很耗时就一直挂着，请求量一大数据库就受不住了，导致整个网站不可访问), 这时候我们决定重新设计下这个报表的缓存。我们的设计如下:
使用 Redis 替换 couchdb, 主要原因是对 Redis 熟悉，并且系统中的很多异步队列服务用的是 Redis，非常稳定。
前端请求只能从 Redis 中读取已经被缓存的查询结果，而不能直接读数据库，如果缓存为空则返回空数组，这样做是为了防止数据库被大量的耗时请求拖垮，保证整个网站的可访问性。
缓存的过期时间设置为 999 天，其实就是缓存不过期的意思，并且写一个 rake task 每天运行一次用于更新 Redis 缓存。
这个设计的 2 和 3 步其实就是一个典型的生产&消费模式, rake task 作为生产者每天定时生成一次查询结果存入 Redis, 前端请求作为消费者通过读取 Redis 获得查询结果供页面展示。
有了设计我们并不急于编写代码，而是画一个设计图，一方面是为了梳理下思路看看设计是否会有缺陷，另一方面是为了更好地编写代码。
设计图如下:
通过设计图我们可以看到数据是单向流动的, 这样生产者和消费者是互不干扰的隔离状态, 前端请求不生产数据，只从 Redis 中拿数据，这样情况下前端请求对数据库的访问压力几乎为0。从设计图中我们也可以看出我们的代码大概会
分成三部分:
1、生产者的代码
2、Redis的代码(主要是读写 Redis)
3、消费者的代码
其中生产者和消费者都依赖 Redis 的代码, 因为两者都需要和 Redis 产生交互。
Redis 相关代码
前面说过由于我们使用的 Rails 版本过低, 将 Redis 整合到 Rails.cache 会是一件比较费力费时的事情，所以我们将直接使用 Reids。
首先配置 Redis,
# config/redis_store.yml
cache:
host: xxx.xxx.xxx.xxx
port: xxx
db: 2
driver: hiredis
thread_safe: true
timeout: 200
# config/initializers/redis.rb
$redis = Redis.new(YAML.load_file("#{Rails.root}/config/redis_store.yml").symbolize_keys[:cache])
从上面的代码中可以看到我们定义了一个全局变量 $redis 用来访问 Redis。
接下来是将 $redis 封装到一个 service 中，这样做的目的是方便进行测试，也便于使用及以后的扩展。
class ReportCacheService
def initialize(data = {})
# 设置过期时间
@expire_in = data[:expire_in]
# 强制更新缓存，用于生产者生产数据
@refresh_cache = data[:refresh_cache]
end
# block 里面是数据计算的过程
def call(&block)
if @refresh_cache == true
res = nil
else
res = read()
end
if res.nil?
res = block.call
write(res)
end
res
end
# 读缓存
def read
value = $redis.get(@key)
if value.present?
JSON.parse(value)
end
end
# 写缓存
def write(res)
value = res.to_json
value = $redis.set(@key, value)
$redis.expire(@key, @expire_in)
true
end
end
这样我们就完成了 Redis 这部分的代码，接下来是生产者的代码。
生产者代码
我们将和报表相关的业务和逻辑封装到了一个叫 StmReport 的模型中, 我们为 StmReport 定义了一个 class 方法: warm_cache 用于生产报表数据。
# app/models/stm_report.rb
class StmReport
NON_EXPIRED = 999.days.seconds
def self.warm_cache(parasm = {})
# refresh_cache: true 表示强制更新缓存，即生产数据
# 生产的数据的过期时间是 999 天
cs = ReportCacheService.new(key: build_cache_key(params),
refresh_cache: true,
expire_in: NON_EXPIRED)
cs.call do
# do some heavy works
...
end
end
end
接着我们编写一个 rake task， 并且使用 crontab 每天定时运行此 rake task 用于生产数据。
# lib/tasks/cron.rake
task :warn_stm_report_cache => :environment do
puts "#{DateTime.now}: start cron warm cache"
StmReport.warm_cache(qualified: true)
StmReport.warm_cache(qualified: true, per_page: 50)
puts "#{DateTime.now}: end cron warm cache"
end
生产者的代码也完成，接下来是消费者的代码。
消费者的代码
在本文中，消费的过程即创建报表的过程, 创建报表的过程很自然地也封装到了 StmReport 模型中,
class StmReport
NON_EXPIRED = 999.days.seconds
def self.create(params = {})
cs = ReportCacheService.new(key: build_cache_key(params))
# 从缓存中读取数据
items = cs.read
# 如果缓存中没有数据即返回空数组，避免从数据库中查询数据
items = [] if items.nil?
# do some other works
...
end
end
这样整个实现就完成了，重新上线后的报表运行地非常稳定迅速，证明这个实现是成功的。
我知道一种学习
○
于坚
这篇关于老司机使用 Redis 缓存复杂查询的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
