内存维度控制key的长度key的一般都是采用字符串,而字符串的底层数据结构为sds,sds 结构中会包含字符串长度、分配空间大小等元数据信息,当key字符串的长度增加时,sds中的元数据也会占用更多内存空间,为了减少key的占用空间,我们可用根据业务名来使用相应的英文缩写来表示。例如user用u表示,message 用m来表示。
避免存储bigkey我们既要注意key的长度,同时也需要关注value的大小,redis是使用单线程读写数据,bigkey 的读写操作会阻塞线程,降低redis的处理效率。
如何查询bigkey我们可以通过--bigkey的命令来查看redis中所占用的bigkey的信息,具体的命令如下:
redis-cli -h 127.0.0.1 -p 6379 -a 'xxx' --bigkeys
从上述图所示,我们可以查看到redis中的key占用了32098个bytes,需要进行相关优化的。
建议:
如果key为string类型,建议value的存放值的大小为10kb左右。
如果key为list/hash/set/zset类型,建议存放元素的的数量控制在1万以下。
选择合适的数据类型redis针对所存储的数据类型进行了优化,同时也对内存进行了相应的优化。关乎数据结果的相关知识,可以参考之前的文章。
例如:string和set在存储int数据时,会采用整数编码存储。hash、zset在元素数量比较少时,会采用压缩列表(ziplist)存储,在存储比较多的数据时,才会转换为哈希表和跳表。
采用高效的序列化和压缩方法redis中的字符串都是使用二进制安全的字节数组来保存的,所以我们可以把业务的序列化成二进制写入redis,但是采用不同的序列化,所占用的空间大少不一样。protostuff的序列化比java内置的序列化更有效率,且占用的空间更少。为了减少空间占用,我们可以对json和xml数据格式进行压缩存储,可选的压缩算法包括gzip和snappy。
设置redis最大内存和淘汰策略我们根据业务的数据量提前预估内存大小,从而避免redis的内存持续膨胀,导致占用过多资源。
关于如何设置淘汰策略,需要集合实际的业务特性来选择:
volatile-lru / allkeys-lru:优先保留最近访问过的数据
volatile-lfu / allkeys-lfu:优先保留访问次数最频繁的数据
volatile-ttl :优先淘汰即将过期的数据
volatile-random / allkeys-random:随机淘汰数据
控制redis实例的大小redis单实例的内存大小建议设置在2~6gb之间。由于rdb快照和主从集群数据同步都能快速完成,不会阻塞正常请求的处理。
定时清除内存碎片频繁的新增修改会导致内存碎片的增多,因此需要及时清理内存碎片。
redis提供了info memory命令可以查看内存使用信息,具体如下:
说明:
used_memory_rss是操作系统实际分配给 redis的物理内存空间。
used_memory 是 redis 为了保存数据实际申请使用的空间。
mem_fragmentation_ratio=used_memory_rss/ used_memory
mem_fragmentation_ratio 大于1但小于1.5。这种情况是合理的。
如果mem_fragmentation_ratio大于1.5,意味着内存碎片率已经达到50%以上。在这种情况下,通常需要采取一些措施来减少内存碎片率。具体的内存清理措施,将在后续的文章中进行讲解。
性能维度禁止使用keys、flushall、flushdb命令keys 按照key内容进行匹配,返回符合匹配条件的键值对,该命令需要对redis的全局哈希表进行全表扫描,严重阻塞 redis主线程。
flushall 删除redis实例上的所有数据,如果数据量很大,会严重阻塞redis主线程。
flushdb,删除当前数据库中的数据,如果数据量很大,会阻塞redis主线程。
优化建议我们需要在线上要禁用这些命令。具体的做法是,管理员采用rename-command命令在配置文件中对这些命令进行重命名,让客户端无法使用这些命令。
慎用全量操作的命令对于集合类型的来说,在未清楚集合数据大小的情况下,慎用查询集合中的全量数据,例如hash的hetall、set的smembers命令、lrange key 0 -1 或者zrange key 0 -1等命令,因为这些命令会对hash或者set类型的底层数据进行全量扫描,当集合数据量比较大时,会阻塞redis的主线程。
优化建议:
当元素数据量较多时,可以用sscan、hscan 命令分批返回集合中的数据,减少对主线程的阻塞。
慎用复杂度过高命令redis执行复杂度过高的命令,会消耗更多的 cpu 资源,导致主线程中的其它请求只能等待。常见的复杂命令如下:sort、sinter、sinterstore、zunionstore、zinterstore 等聚合类命令。
优化建议:
当需要执行排序、交集、并集操作时,可以在客户端完成,避免让redis进行过多计算,从而影响redis性能。
设置合适的过期时间redis通常用于保存热数据。热数据一般都有使用的时效性。因此,在数据存储的过程中,应根据业务对数据的使用时间合理地设置数据的过期时间。否则写入redis的数据会一直占用内存,如果数据持续增增长,会达到机器的内存上限,造成内存溢出,导致服务崩溃。
采用批量命令代替个命令当我们需要一次性操作多个key时,可以使用批量命令来处理,批量命令可以减少客户端与服务端的来回网络io次数。
string或者hash类型可以使用 mget/mset替代 get/set,hmget/hmset替代hget/hset
其它数据类型使用pipeline命令,一次性打包发送多个命令到服务端执行。
pipeline具体使用:redistemplate.executepipelined(new rediscallback<string>() { @override public string doinredis(redisconnection connection) throws dataaccessexception { for (int i = 0; i < 5; i++) { connection.set(("test:" + i).getbytes(), "test".getbytes()); } return null; } });
高可用维度按照业务部署不同的实例不同的业务线来部署 redis 实例,这样当其中一个实例发生故障时,不会影响到其它业务。
避免单点问题业务上根据实际情况采用主从、哨兵、集群方案,避免单点故障,影响业务的正常使用。
合理的设置相关参数针对主从环境,我们需要合理设置相关参数,具体内容如下:
合理的设置repl-backlog参数:如果repl-backlog设置过小,当写流量比较大的场景下,主从复制中断可能会引发全量复制数据的风险。
合理设置slave client-output-buffer-limit:当从库复制发生问题时,过小的 buffer会导致从库缓冲区溢出,从而导致复制中断。
以上就是redis优化实例分析的详细内容。