1、bitmap是什么使用一个位来表示元素的值或状态，该元素本身即为key。bitmap可以极大地节省存储空间，因为我们知道8个bit可以组成一个byte。2^32次方40亿数据只需要500m内存，需要内存少了8倍
2、setbit命令介绍 setbit key offset value #设置bitmapkey为20220328 uid为100的用户已签到1setbit 20220320 100 1 setbit 20220320 200 1 setbit 20220321 100 1setbit 20220321 300 1 getbit 20220320 100 #返回1,说明这个用户已签到了 bitcount 20220320 #获取bitmap数量
bitmap的坑
127.0.0.1:6400> setbit bittest 100 1 #设置不存在的offset返回0(integer) 0127.0.0.1:6400> setbit bittest 100 1 #设置已存在的offset返回1(integer) 1
setbit maxkey 4000000000 1 #直接弄了你600多m内存
/** * 布隆过滤器bloom filter * 1.百万分之一的概率哈希冲突,所以有存在的不一定存在，但是不存在的百分百不存在 * 2.不能删除,删除的时候不能简单的直接置为0,可能会影响其他元素的判断,其实问题不大一般生产数据也不会删除的,都是软删除 * 3.新增数据时候写入bloom filter * 4.2^32次方40亿数据内存占用才600m,超级省内存,查找速度非常快,160m内存可以在千万级数据做到1%的误判 * 5.bitmap根据offset去申请内存的,所以要省内存的情况要限制offset值 */ public function bloomaction(){ $t1 = time(); for($i=0;$i<99;$i++){ $bl = new bloomfilter(); //$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time(); $str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999); p($str); $res1 = $bl->jshash($str);//两次哈希3s,md5哈希重复的概率是百万分之一 p($res1); } //p($res); $t2 = time(); echo $t2-$t1; } /** * 布隆过滤器初始化 bloom filter 执行 php index.php "index/demo/loaddb2bloom" */ public function isexistbloomaction(){ $redis = rediscursor(); $email = input("email","","trim"); $tel = input("tel",""); $result = false; $msg = ""; if(filter_var($email,filter_validate_email)){ $key1 = "bloom_user_email"; $offset = bloomfilter::jshash($email); $result = $redis->getbit($key1,$offset); $msg = $email; }elseif($tel){ $key2 = "bloom_user_telephone"; $offset = bloomfilter::jshash($tel); $result = $redis->getbit($key2,$offset); $msg = $tel; } $result?apisuccess($msg.",已存在"):apierror($msg.",不存在"); } /** * 布隆过滤器初始化 bloom filter 执行 php index.php "index/demo/loaddb2bloom" */ public function loaddb2bloomaction(){ $time1 = time(); $redis = rediscursor(); $key1 = "bloom_user_email"; $key2 = "bloom_user_telephone"; //setbit() offset 必须是数字,value必须是1或0 //$redis->setbit($key,30,1); $table = "user"; $pkid = "id"; $field1 = "email"; $field2 = "telephone"; $maxid = db::name($table)->max($pkid); $size = 5000; $page = ceil($maxid/$size); for($i=0;$i<$page;$i++){ $start = $i*$size; $where = " $pkid between ".$start." and ".($start+$size); $res = db::name($table)->where($where)->field("$field1,$field2")->select(); if($res){//同步到bitmap foreach($res as $k=>$v){ //布隆过滤器 1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希冲突可能用100w分之一的可能重复) //所以注册的时候判断不存在的,百分百可以注册，存在的可以查询一下数据库是否真的不存在 $value1 = bloomfilter::jshash($v["$field1"]); $value2 = bloomfilter::jshash($v["$field2"]); $redis->setbit($key1,$value1,1);//email去重 $redis->setbit($key2,$value2,1);//mobile去重 } } $time2 = time(); echo $where." 消耗时间 ".($time2-$time1).php_eol; } $time3 = time(); echo " 总消耗时间 ".($time3-$time1).php_eol; }
<?php class bloomfilter{ /** * 下面的哈希函数随便用一个都行,都是把字符串转换成数字 */ /** * hash方法类 * 由justin sobel编写的按位散列函数 * update：denny * 返回之前做了内存限制在160m,超过10亿的哈希后的数值,把它限制在10亿内,此时1000w的数据可做到1%误判,内存不差这600多m的话就别限制了 * 因为redis的bitmap申请内存是看offset申请内存的,setbit mykey 400000000 1，这样直接申请了600m内存 */ public static function jshash($string, $limitmemory=true,$len = null) { $hash = 1315423911; $len || $len = strlen($string); for($i = 0; $i < $len; $i++) { $hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2)); } $hashnum = ($hash % 0xffffffff) & 0xffffffff; //为了节省内存,超过10亿就对半拆,10亿,这时候大约是130m内存占用,千万级数据可以做到1%误判率,内存足够可以不用判断,直接生成就行了 //如果数据过4000w的话不用限制了,因为生成的数据最大也是2^32次方40多亿,此时内存占用大概在600m封顶了 if($limitmemory){ if($hashnum>4000000000){ $hashnum = intval($hashnum/5); }elseif($hashnum>3000000000){ $hashnum = intval($hashnum/4); }elseif($hashnum>2000000000){ $hashnum = intval($hashnum/3); } } return $hashnum; }}
以上就是redis中的bitmap实例分析的详细内容。