|
|
51CTO旗下网站
|
|
移动端

基于内存和 Redis 的两级 Java 缓存框架

J2Cache 是 OSChina 目前正在使用的两级缓存框架(要求至少 Java 8)。第一级缓存使用内存(同时支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二级缓存使用 Redis(推荐)/Memcached 。

作者:struggledhard来源:今日头条|2019-07-10 15:41

【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》

 简介

J2Cache 是 OSChina 目前正在使用的两级缓存框架(要求至少 Java 8)。***级缓存使用内存(同时支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二级缓存使用 Redis(推荐)/Memcached 。 由于大量的缓存读取会导致 L2 的网络成为整个系统的瓶颈,因此 L1 的目标是降低对 L2 的读取次数。 该缓存框架主要用于集群环境中。单机也可使用,用于避免应用重启导致的缓存冷启动后对后端业务的冲击。

J2Cache 已经有 Python 语言版本了,详情请看 https://gitee.com/ld/Py3Cache

视频介绍:http://v.youku.com/v_show/id_XNzAzMTY5MjUy.html

J2Cache 的两级缓存结构

L1: 进程内缓存(caffeineehcache)

L2: Redis/Memcached 集中式缓存

数据读取

  • 读取顺序 -> L1 -> L2 -> DB
  • 数据更新
  • 从数据库中读取***数据,依次更新 L1 -> L2 ,发送广播清除某个缓存信息
  • 接收到广播(手工清除缓存 & 一级缓存自动失效),从 L1 中清除指定的缓存信息

J2Cache 配置

配置文件位于 core/resources 目录下,包含三个文件:

  • j2cache.properties J2Cache 核心配置文件,可配置两级的缓存,Redis 服务器、连接池以及缓存广播的方式
  • caffeine.properties 如果一级缓存选用 Caffeine ,那么该文件用来配置缓存信息
  • ehcache.xml Ehcache 的配置文件,配置说明请参考 Ehcache 文档
  • ehcache3.xml Ehcache3 的配置文件,配置说明请参考 Ehcache 文档
  • network.xml JGroups 网络配置,如果使用 JGroups 组播的话需要这个文件,一般无需修改

实际使用过程需要将所需的配置文件复制到应用类路径中,如 WEB-INF/classes 目录。

J2Cache 运行时所需 jar 包请查看 core/pom.xml

测试方法

  1. 安装 Redis
  2. git clone https://gitee.com/ld/J2Cache
  3. 修改 core/resource/j2cache.properties 配置使用已安装的 Redis 服务器
  4. 在命令行中执行 mvn package -DskipTests=true 进行项目编译
  5. 打开多个命令行窗口,同时运行 runtest.sh
  6. 在 > 提示符后输入 help 查看命令,并进行测试

使用方法

J2Cache 默认使用 Caffeine 作为一级缓存,使用 Redis 作为二级缓存。你还可以选择 Ehcache2 和 Ehcache3 作为一级缓存。

准备工作

  1. 安装 Redis
  2. 新建一个基于 Maven 的 Java 项目

一. 引用 Maven

net.oschina.j2cache j2cache-core xxxxx

中央仓库地址:https://mvnrepository.com/artifact/net.oschina.j2cache/j2cache-core

二. 准备配置

拷贝 j2cache.properties 和 caffeine.properties 到你项目的源码目录,并确保这些文件会被编译到项目的 classpath 中。如果你选择了 ehcache 作为一级缓存,需要拷贝 ehcache.xml 或者 ehcache3.xml 到源码目录(后者对应的是 Ehcache 3.x 版本),这些配置文件的模板可以从 https://gitee.com/ld/J2Cache/tree/master/core/resources 这里获取。

使用你喜欢的文本编辑器打开 j2cache.properties 并找到 redis.hosts 项,将其信息改成你的 Redis 服务器所在的地址和端口。

我们建议缓存在使用之前都需要预先设定好缓存大小及有效时间,使用文本编辑器打开 caffeine.properties 进行缓存配置,配置方法请参考文件中的注释内容。

例如:default = 1000,30m #定义缓存名 default ,对象大小 1000,缓存数据有效时间 30 分钟。 你可以定义多个不同名称的缓存。

三. 编写代码

Test.java

  1. public static void main(String[] args) { 
  2.  CacheChannel cache = J2Cache.getChannel(); 
  3.   
  4.  //缓存操作 
  5.  cache.set("default""1""Hello J2Cache"); 
  6.  System.out.println(cache.get("default""1")); 
  7.  cache.evict("default""1"); 
  8.  System.out.println(cache.get("default""1")); 
  9.   
  10.  cache.close(); 

编译并运行查看结果,更多的用法请参考 CacheChannel.java 接口的方法。

请注意 cache.close() 方法只需在程序退出时调用。

四. 动态构建 J2Cache 实例

  1. J2CacheConfig config = new J2CacheConfig(); 
  2. //填充 config 变量所需的配置信息 
  3. J2CacheBuilder builder = J2CacheBuilder.init(config); 
  4. CacheChannel channel = builder.getChannel(); 
  5. //进行缓存的操作 
  6. channel.close(); 

五. 集群测试

为了方便测试集群模式下 J2Cache 的运行,我们提供了一个命令行小程序,请参考此页面前面的 “测试方法”。

常见问题

1、J2Cache 的使用场景是什么?

首先你的应用是运行在集群环境,使用 J2Cache 可以有效降低节点间的数据传输量;其次单节点使用 J2Cache 可以避免应用重启后对后端业务系统的冲击。

2、为什么不能在程序中设置缓存的有效期

在程序中定义缓存数据的有效期会导致缓存不可控,一旦数据出问题无从查起,因此 J2Cache 的所有缓存的有效期都必须在 一级缓存 的配置中预设好再使用。

3、如何使用 JGroups 组播方式(无法在云主机中使用)

首先修改 j2cache.properties 中的 j2cache.broadcast 值为 jgroups,然后在 maven 中引入

  1. <dependency> 
  2.  <groupId>org.jgroups</groupId> 
  3.  <artifactId>jgroups</artifactId> 
  4.  <version>3.6.13.Final</version> 
  5. </dependency> 

4、如何使用 ehcache 作为一级缓存

首先修改 j2cache.properties 中的 j2cache.L1.provider_class 为 ehcache 或者 ehcache3,然后拷贝 ehcache.xml 或者 ehcache3.xml 到类路径,并配置好缓存,需要在项目中引入对 ehcache 的支持:

  1. <dependency><!-- Ehcache 2.x //--> 
  2.  <groupId>net.sf.ehcache</groupId> 
  3.  <artifactId>ehcache</artifactId> 
  4.  <version>2.10.4</version> 
  5. </dependency> 
  6. <dependency><!-- Ehcache 3.x //--> 
  7.  <groupId>org.ehcache</groupId> 
  8.  <artifactId>ehcache</artifactId> 
  9.  <version>3.4.0</version> 
  10. </dependency> 

5、如何使用 RabbitMQ 作为消息通知

首先修改 j2cache.properties 中的 j2cache.broadcast 为 rabbitmq,然后在 j2cache.properties 中配置 rabbitmq.xxx 相关信息。

需要在项目中引入对 rabbitmq 的支持:

  1. <dependency> 
  2.  <groupId>com.rabbitmq</groupId> 
  3.  <artifactId>amqp-client</artifactId> 
  4.  <version>5.3.0</version> 
  5. </dependency> 

6、如何使用 RocketMQ 作为消息通知

首先修改 j2cache.properties 中的 j2cache.broadcast 为 rocketmq,然后在 j2cache.properties 中配置 rocketmq.xxx 相关信息。

需要在项目中引入对 rabbitmq 的支持:

  1. <dependency> 
  2.  <groupId>org.apache.rocketmq</groupId> 
  3.  <artifactId>rocketmq-client</artifactId> 
  4.  <version>4.3.0</version> 
  5.  <scope>provided</scope> 
  6. </dependency> 

7、如何使用 memcached 作为二级缓存

首先修改 j2cache.properties 中的 j2cache.L2.provider_class 为 memcached,然后在 j2cache.properties 中配置 memcached.xxx 相关信息。

需要在项目中引入对 memcached 的支持:

  1. <dependency> 
  2.  <groupId>com.googlecode.xmemcached</groupId> 
  3.  <artifactId>xmemcached</artifactId> 
  4.  <version>2.4.5</version> 
  5. </dependency> 

8、为什么 J2Cache 初始化时,连接本机的 Redis 非常慢,要 5 秒以上?

如果出现这种情况,请在系统 hosts 里配置机器名和IP地址的对应关系,例如:

  1. 127.0.0.1 localhost 
  2. 127.0.0.1 winter-notebook.local 
  3. ::1 localhost 
  4. ::1 winter-notebook.local 

9、使用何种 Redis 的存储模式***? generic 还是 hash ?

推荐使用 generic 存储模式,这也是 J2Cache 默认的存储模式,hash 模式***的问题是无法单独对 key 进行 expire 设置。

项目地址

https://gitee.com/ld/J2Cache

【编辑推荐】

  1. Java开发常犯的10个错误,打死都不要犯
  2. JavaScript开发常用工具函数
  3. Web前端:征服 JavaScript 面试之什么是闭包?
  4. Java EE 规范重命名为 Jakarta EE
  5. 5大常用jquery插件,JavaScript框架小常识
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

292人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

647人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

软件设计师考试考前冲刺预测卷及考点解析

本书依据最新版《软件设计师考试大纲》的考核要求,深入研究了历年软件设计师考试试题的命题风格和试题结构,对考查的知识点进行了提炼,并...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客