|
|
51CTO旗下网站
|
|
移动端

从SpringBoot构建十万博文聊聊缓存穿透,并发量过大该如何抗压?

在博客系统中,为了提升响应速度,加入了 Redis 缓存,把文章主键 ID 作为 key 值去缓存查询,如果不存在对应的 value,就去数据库中查找 。这个时候,如果请求的并发量很大,就会对后端的数据库服务造成很大的压力。

作者:Java架构学习交流来源:今日头条|2020-01-16 11:10

 前言

在博客系统中,为了提升响应速度,加入了 Redis 缓存,把文章主键 ID 作为 key 值去缓存查询,如果不存在对应的 value,就去数据库中查找 。这个时候,如果请求的并发量很大,就会对后端的数据库服务造成很大的压力。

造成原因

  • 业务自身代码或数据出现问题
  • 恶意攻击、爬虫造成大量空的命中,会对数据库造成很大压力

案例分析

由于文章的地址是这样子的:

https://blog.52itstyle.top/49.html

大家很容易猜出,是不是还有 50、51、52 甚至是十万+?如果是正儿八经的爬虫,可能会读取你的总页数。但是有些不正经的爬虫或者人,还真以为你有十万+博文,然后就写了这么一个脚本。

  1. for num in range(1,1000000): 
  2.  //爬死你,开100个线程 

解决方案

设置布隆过滤器,预先将所有文章的主键 ID 哈希到一个足够大的 BitMap 中,每次请求都会经过 BitMap 的拦截,如果 Key 不存在,直接返回异常。这样就避免了对 Redis 缓存以及底层数据库的查询压力。

这里我们使用谷歌开源的第三方工具类来实现:

  1. <dependency> 
  2.  <groupId>com.google.guava</groupId> 
  3.  <artifactId>guava</artifactId> 
  4.  <version>25.1-jre</version> 
  5. </dependency> 

编写布隆过滤器:

  1. /** 
  2.  * 布隆缓存过滤器 
  3.  */ 
  4. @Component 
  5. public class BloomCacheFilter { 
  6.  public static BloomFilter<Integer> bloomFilter = null
  7.  @Autowired 
  8.  private DynamicQuery dynamicQuery; 
  9.  /** 
  10.  * 初始化 
  11.  */ 
  12.  @PostConstruct 
  13.  public void init(){ 
  14.  String nativeSql = "SELECT id FROM blog"
  15.  List<Object> list = dynamicQuery.query(nativeSql,new Object[]{}); 
  16.  bloomFilter = BloomFilter.create(Funnels.integerFunnel(), list.size()); 
  17.  list.forEach(blog ->bloomFilter.put(Integer.parseInt(blog.toString()))); 
  18.  } 
  19.  /** 
  20.  * 判断key是否存在 
  21.  * @param key 
  22.  * @return 
  23.  */ 
  24.  public static boolean mightContain(long key){ 
  25.  return bloomFilter.mightContain((int)key); 
  26.  } 

然后,每一次查询之前做一次 Key 值校验:

  1. /** 
  2.  * 博文 
  3.  */ 
  4. @RequestMapping("{id}.shtml"
  5. public String page(@PathVariable("id") Long id, ModelMap model) { 
  6.  if(BloomCacheFilter.mightContain(id)){ 
  7.  Blog blog = blogService.getById(id); 
  8.  model.addAttribute("blog",blog); 
  9.  return "article"
  10.  }else
  11.  return "error"
  12.  } 

效率

那么,在数据量很大的情况下,效率如何呢?我们来做个实验,以 100W 为基数。

  1. public static void main(String[] args) { 
  2.  int capacity = 1000000; 
  3.  int key = 6666; 
  4.  BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), capacity); 
  5.  for (int i = 0; i < capacity; i++) { 
  6.  bloomFilter.put(i); 
  7.  } 
  8.  /**返回计算机最精确的时间,单位纳妙 */ 
  9.  long start = System.nanoTime(); 
  10.  if (bloomFilter.mightContain(key)) { 
  11.  System.out.println("成功过滤到" + key); 
  12.  } 
  13.  long end = System.nanoTime(); 
  14.  System.out.println("布隆过滤器消耗时间:" + (end - start)); 

布隆过滤器消耗时间:281299,约等于 0.28 毫秒,匹配速度是不是很快?

错判率

万事万物都有所均衡,既然效率如此之高,肯定其它方面定有所牺牲,通过测试我们发现,过滤器有 3% 的错判率,也就是说,本来没有的文章,有可能通过校验被访问到,然后报错!

  1. public static void main(String[] args) { 
  2.  int capacity = 1000000; 
  3.  BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), capacity); 
  4.  for (int i = 0; i < capacity; i++) { 
  5.  bloomFilter.put(i); 
  6.  } 
  7.  int sum = 0; 
  8.  for (int i = capacity + 20000; i < capacity + 30000; i++) { 
  9.  if (bloomFilter.mightContain(i)) { 
  10.  sum ++; 
  11.  } 
  12.  } 
  13.  //0.03 
  14.  DecimalFormat df=new DecimalFormat("0.00");//设置保留位数 
  15.  System.out.println("错判率为:" + df.format((float)sum/10000)); 

通过源码阅读,发现 3% 的错判率是系统写死的。

  1. public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions) { 
  2.  return create(funnel, expectedInsertions, 0.03D); 

当然我们也可以通过传参,降低错判率。测试了一下,查询速度稍微有一丢丢降低,但也只是零点几毫秒级的而已。

  1. BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), capacity,0.01); 

那么如何做到零错判率呢?答案是不可能的,布隆过滤器,错判率必须大于零。为了保证文章 100% 的访问率,正常情况下,我们可以关闭布隆校验,只有才突发情况下开启。比如,可以通过阿里的动态参数配置 Nacos 实现。

  1. @NacosValue(value = "${bloomCache:false}", autoRefreshed = true
  2. private boolean bloomCache; 
  3. //省略部分代码 
  4. if(bloomCache||BloomCacheFilter.mightContain(id)){ 
  5.  Blog blog = blogService.getById(id); 
  6.  model.addAttribute("blog",blog); 
  7.  return "article"
  8. }else
  9.  return "error"

小结

缓存穿透大多数情况下都是恶意攻击导致的空命中率。虽然十万博客还没有被百度收录,每天也就寥寥的几十个IP,但是梦想还是有的,万一实现了呢?所以,还是要做好准备的!

【编辑推荐】

  1. 架构:缓存设计 你懂吗?
  2. HTTP缓存机制有时候就是这么简单,4步即可理解
  3. 大到阿里,小到三线公司,缓存在大型分布式系统中的应用
  4. 缓存成神路:Redis读写分离难以理解?
  5. 老生常谈!数据库如何存储时间?你真的知道吗?
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

Python应用场景实战手册

Python应用场景实战手册

Python应用场景实战手册
共3章 | KaliArch

118人订阅学习

一步到位玩儿透Ansible

一步到位玩儿透Ansible

Ansible
共17章 | 骏马金龙1

193人订阅学习

云架构师修炼手册

云架构师修炼手册

云架构师的必备技能
共3章 | Allen在路上

132人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微