本站首页 收藏本站
广告位联系

APP正在开发中...
返回顶部
您的位置： 主页 > 数据库 > Redis >

收藏
分享到

使用Jedis线程池returnResource异常注意事项

Redis 来源：互联网 作者：秩名 发布时间：2022-03-24 22:51:48 人浏览
摘要

在线上环境发现了一个工作线程异常终止 看日志先是一些SocketTimeoutException，然后突然有一个ClassCastException 1 2 3 4 5 redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException:

在线上环境发现了一个工作线程异常终止

看日志先是一些SocketTimeoutException，然后突然有一个ClassCastException

1

2

3

4

5

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

...

java.lang.ClassCastException: [B cannot be cast to java.lang.Long

        at redis.clients.jedis.Connection.getIntegerReply(Connection.java:208)

        at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)

经过在本地人工模拟网络异常的情境，最终复现了线上的这一异常。

又经过深入分析（提出假设-->验证假设），最终找出了导致这一问题的原因。

见如下示例代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

JedisPool pool = ...;

Jedis jedis = pool.getResource();

String value = jedis.get("foo");

System.out.println("Make SocketTimeoutException");

System.in.read(); //等待制造SocketTimeoutException

try {

    value = jedis.get("foo");

    System.out.println(value);

} catch (JedisConnectionException e) {

    e.printStackTrace();

}

System.out.println("Recover from SocketTimeoutException");

System.in.read();  //等待恢复

Thread.sleep(5000); // 继续休眠一段时间 等待网络完全恢复

boolean isMember = jedis.sismember("urls", "baidu.com");

以及日志输出

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

bar

Make SocketTimeoutException

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

Recover from SocketTimeoutException

    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:210)

    at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:47)

    at redis.clients.jedis.Protocol.process(Protocol.java:131)

    at redis.clients.jedis.Protocol.read(Protocol.java:196)

    at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:283)

    at redis.clients.jedis.Connection.getBinaryBulkReply(Connection.java:202)

    at redis.clients.jedis.Connection.getBulkReply(Connection.java:191)

    at redis.clients.jedis.Jedis.get(Jedis.java:101)

    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:23)

Caused by: java.net.SocketTimeoutException: Read timed out

    at java.net.SocketInputStream.socketRead0(Native Method)

    at java.net.SocketInputStream.read(SocketInputStream.java:152)

    at java.net.SocketInputStream.read(SocketInputStream.java:122)

    at java.net.SocketInputStream.read(SocketInputStream.java:108)

    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:204)

    ... 8 more

Exception in thread "main" java.lang.ClassCastException: [B cannot be cast to java.lang.Long

    at redis.clients.jedis.Connection.getIntegerReply(Connection.java:208)

    at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)

    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:32)

分析

等执行第二遍的get("foo")时，网络超时，并未实际发送 get foo 命令，等执行sismember时，网络已恢复正常，并且是同一个jedis实例，于是将之前的get foo命令（已在输出流缓存中）一并发送。

执行顺序如下所示

1

2

3

4

127.0.0.1:9379> get foo"bar"127.0.0.1:9379> sismember urls baidu.com(integer) 1127.0.0.1:9379> get foo

"bar"

127.0.0.1:9379> sismember urls baidu.com

(integer) 1

故在上述示例代码中最后的sismember得到的结果是get foo的结果，即一个字符串，而sismember需要的是一个Long型，故导致了ClassCastException。

执行redis的逻辑

为什么线上会出现这一问题呢？原因是其执行redis的逻辑类似这样：

1

2

3

4

5

6

7

8

9

10

11

while(true){

        Jedis jedis = null;

    try {

        jedis = pool.getResource();

        //some redis operation here.

    } catch (Exception e) {

       logger.error(e);

    } finally {

        pool.returnResource(jedis);

    }

}

因若是网络异常的话，pool.returnResource(jedis)仍能成功执行，即能将其返回到池中（这时jedis并不为空）。等网络恢复后，并是多线程环境，导致后续其他某个线程获得了同一个Jedis实例（pool.getResource()），

若该线程中的jedis操作返回类型与该jedis实例在网络异常期间第一条未执行成功的jedis操作的返回类型不匹配（如一个是get，一个是sismember），则就会出现ClassCastException异常。

这还算幸运的，若返回的是同一类型的话（如lpop("queue_order_pay_failed"),lpop("queue_order_pay_success")）,那我真不敢想象。

如在上述示例代码中的sismember前插入一get("nonexist-key")(redis中不存在该key,即应该返回空).

1

2

3

4

value = jedis.get("nonexist-key");

System.out.println(value);

boolean isMember = jedis.sismember("urls", "baidu.com");

System.out.println(isMember);

实际的日志输出为

1

2

3

4

bar

Exception in thread "main" java.lang.NullPointerException

    at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)

    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:37)

分析:

get("nonexist-key")得到是之前的get("foo")的结果, 而sismember得到的是get("nonexist-key")的结果,而get("nonexist-key")返回为空,于是这时是报空指针异常了.

解决方法：

不能不管什么情况都一律使用returnResource。更健壮可靠以及优雅的处理方式如下所示：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

while(true){

    Jedis jedis = null;

    boolean broken = false;

    try {

        jedis = jedisPool.getResource();

        return jedisAction.action(jedis); //模板方法

    } catch (JedisException e) {

        broken = handleJedisException(e);

        throw e;

    } finally {

        closeResource(jedis, broken);

    }

}

 

/**

 * Handle jedisException, write log and return whether the connection is broken.

 */

protected boolean handleJedisException(JedisException jedisException) {

    if (jedisException instanceof JedisConnectionException) {

        logger.error("Redis connection " + jedisPool.getAddress() + " lost.", jedisException);

    } else if (jedisException instanceof JedisDataException) {

        if ((jedisException.getMessage() != null) && (jedisException.getMessage().indexOf("READONLY") != -1)) {

            logger.error("Redis connection " + jedisPool.getAddress() + " are read-only slave.", jedisException);

        } else {

            // dataException, isBroken=false

            return false;

        }

    } else {

        logger.error("Jedis exception happen.", jedisException);

    }

    return true;

}

/**

 * Return jedis connection to the pool, call different return methods depends on the conectionBroken status.

 */

protected void closeResource(Jedis jedis, boolean conectionBroken) {

    try {

        if (conectionBroken) {

            jedisPool.returnBrokenResource(jedis);

        } else {

            jedisPool.returnResource(jedis);

        }

    } catch (Exception e) {

        logger.error("return back jedis failed, will fore close the jedis.", e);

        JedisUtils.destroyJedis(jedis);

    }

}

补充

Ubuntu本地模拟访问redis网络超时：

sudo iptables -A INPUT -p tcp --dport 6379 -j DROP

恢复网络：

sudo iptables -F

补充：

若jedis操作逻辑类似下面所示的话，

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Jedis jedis = null;

try {

    jedis = jedisSentinelPool.getResource();

    return jedis.get(key);

}catch(JedisConnectionException e) {

    jedisSentinelPool.returnBrokenResource(jedis);

    logger.error("", e);

    throw e;

}catch (Exception e) {

    logger.error("", e);

    throw e;

}

finally {

    jedisSentinelPool.returnResource(jedis);

}

若一旦发生了JedisConnectionException，如网络异常，会先执行returnBrokenResource，这时jedis已被destroy了。然后进入了finally，再一次执行returnResource，这时会报错：

1

2

3

redis.clients.jedis.exceptions.JedisException: Could not return the resource to the pool

    at redis.clients.util.Pool.returnResourceObject(Pool.java:65)

    at redis.clients.jedis.JedisSentinelPool.returnResource(JedisSentinelPool.java:221)

临时解决方法

1

2

jedisSentinelPool.returnBrokenResource(jedis);

jedis=null; //这时不会实际执行returnResource中的相关动作了

但不建议这样处理，更严谨的释放资源方法见前文所述。
版权声明 : 本文内容来源于互联网或用户自行发布贡献，该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权， 违法违规的内容， 请发送邮件至2530232025#qq.cn(#换@)举报，一经查实，本站将立刻删除。

您可能感兴趣的文章 :

原文链接 : https://blog.csdn.net/erica_1230/article/details/72795128
    Tag :
相关文章
  • spring boot集成redis基础入门实例介绍
    redis 支持持久化数据，不仅支持key-value类型的数据，还拥有list，set，zset，hash等数据结构的存储。 可以进行master-slave模式的数据备份 更多

  • redis批量操作pipeline管道操作方法

    redis批量操作pipeline管道操作方法
    redis | pipeline（管道） 背景 Redis是一种基于客户端-服务端模型以及请求/响应的TCP服务。这意味着通常情况下一个请求会遵循以下步骤： 客户

  • springboot整合使用云服务器上的Redis方法

    springboot整合使用云服务器上的Redis方法
    一、前提条件 修改redis.conf配置文件 1、protected-mode yes（默认的） 修改成 protected-mode no，解除保护模式 2、注释掉绑定ip ，绑定ip的话，使得

  • 阿里云服务器部署Redis并整合Spring Boot的介绍

    阿里云服务器部署Redis并整合Spring Boot的介绍
    一、什么是Redis redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zs

  • 生产redisson延时队列不消费问题排查解决

    生产redisson延时队列不消费问题排查解决
    问题描述 项目使用redisson延时队列功能，实现直播的开播提醒，突然有一天业务爆出问题，未触发开播提醒。 初步排查 首先通过查询生产日

  • Redis主从复制分步讲解使用

    Redis主从复制分步讲解使用
    主服务器（master）启用二进制日志 选择一个唯一的server-id 创建具有复制权限的用户 从服务器（slave）启用中继日志， 选择一个唯一的serv
  • Redis中HyperLogLog的使用介绍
    HyperLogLog，基数统计； 那什么是基数？ 比如有两个数组 数组A = [1,2,3,4,5]; 数组B = [3,4,5,6,7]; 这时候基数就是[1,2,3,4,5,6,7]，总共有7个数； 就是

  • Redis中的持久化介绍

    Redis中的持久化介绍
    1. 前言 为什么要进行持久化？：持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数据

  • Redis源码设计剖析之事件处理示例介绍

    Redis源码设计剖析之事件处理示例介绍
    1. Redis事件介绍 Redis服务器是一个 事件驱动程序 ，所谓事件驱动就是输入一条命令并且按下回车，然后消息被组装成 Redis 协议的格式发送给

  • Mysql应用安装后找不到my.ini文件的解决过程

    Mysql应用安装后找不到my.ini文件的解决过程
    一、背景 我在两台电脑上安装了MySQL Server 8.0，准备继续做主从配置，这时候就需要用到my.ini文件进行配置，但是我找不到my.ini文件。 我的
推荐阅读
最新更新
友情链接
  • 本站所有内容来源于互联网或用户自行发布，本站仅提供信息存储空间服务，不拥有版权，不承担法律责任。如有侵犯您的权益，请您联系站长处理！
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计