用ip2addr函数直接读取ip数据库文件是效率最高的,相比用mysql数据库存储ip数据,用sql查询是效率最低的。但是ip数据库文件qqwry.dat是gb2312编码的。现在我需要utf-8编码的地理位置结果。如果用mysql方法,可以在数据存入数据库时就转换为utf-8编码,一劳永逸。但是qqwry.dat文件又无法修改,只能把ip2addr函数的输出结果再进行动态转换。
动态转换gb->utf-8编码至少有四种方法:
用php的iconv扩展转换
用php的mb_string扩展转换
用对换表转换,对换表存储在mysql数据库中
用对换表转换,对换表存储在文本文件中
前两种方法要服务器作了相应设置(编译安装了相应扩展)才能使用。我的虚拟主机没有这两个扩展,只好考虑后两种方法。前两个方法本文也不进行测评。
测评程序如下(func_ip.php参见《ip地址->地理位置转换的测评》一文):
> 6);
$str .= chr(0x80 | $c & 0x3f);
} elseif ($c $str .= chr(0xe0 | $c >> 12);
$str .= chr(0x80 | $c >> 6 & 0x3f);
$str .= chr(0x80 | $c & 0x3f);
} elseif ($c $str .= chr(0xf0 | $c >> 18);
$str .= chr(0x80 | $c >> 12 & 0x3f);
$str .= chr(0x80 | $c >> 6 & 0x3f);
$str .= chr(0x80 | $c & 0x3f);
}
return $str;
}
function gb2utf8_sql($strgb) {
if (!trim($strgb)) return $strgb;
$strret = ;
$intlen = strlen($strgb);
for ($i = 0; $i if (ord($strgb{$i}) > 127) {
$strcurr = substr($strgb, $i, 2);
$intgb = hexdec(bin2hex($strcurr)) - 0x8080;
$strsql = select code_unicode from nnstats_gb_unicode
where code_gb = .$intgb. limit 1
;
$resresult = mysql_query($strsql);
if ($arrcode = mysql_fetch_array($resresult)) $strret .= u2utf8($arrcode[code_unicode]);
else $strret .= ;
$i++;
} else {
$strret .= $strgb{$i};
}
}
return $strret;
}
function gb2utf8_file($strgb) {
if (!trim($strgb)) return $strgb;
$arrlines = file(gb_unicode.txt);
foreach ($arrlines as $strline) {
$arrcodetable[hexdec(substr($strline, 0, 6))] = hexdec(substr($strline, 7, 6));
}
$strret = ;
$intlen = strlen($strgb);
for ($i = 0; $i if (ord($strgb{$i}) > 127) {
$strcurr = substr($strgb, $i, 2);
$intgb = hexdec(bin2hex($strcurr)) - 0x8080;
if ($arrcodetable[$intgb]) $strret .= u2utf8($arrcodetable[$intgb]);
else $strret .= ;
$i++;
} else {
$strret .= $strgb{$i};
}
}
return $strret;
}
function encodeip($strdotquadip) {
$arripsep = explode('.', $strdotquadip);
if (count($arripsep) != 4) return 0;
$intip = 0;
foreach ($arripsep as $k => $v) $intip += (int)$v * pow(256, 3 - $k);
return $intip;
//return sprintf('%02x%02x%02x%02x', $arripsep[0], $arripsep[1], $arripsep[2], $arripsep[3]);
}
function getmicrotime() {
list($msec, $sec) = explode( , microtime());
return ((double)$msec + (double)$sec);
}
for ($i = 0; $i $strip = mt_rand(0, 255)...mt_rand(0, 255)...mt_rand(0, 255)...mt_rand(0, 255);
$arraddr[$i] = ip2addr(encodeip($strip));
}
$resconn = mysql_connect(localhost, netnest, netnest);
mysql_select_db(test);
// 测评mysql查询的编码转换
$dbltimestart = getmicrotime();
for ($i = 0; $i $strutf8region = gb2utf8_sql($arraddr[$i][region]);
$strutf8address = gb2utf8_sql($arraddr[$i][address]);
}
$dbltimeduration = getmicrotime() - $dbltimestart;
// 测评结束并输出结果
echo $dbltimeduration; echo \r\n;
// 测评文本文件查询的编码转换
$dbltimestart = getmicrotime();
for ($i = 0; $i $strutf8region = gb2utf8_file($arraddr[$i][region]);
$strutf8address = gb2utf8_file($arraddr[$i][address]);
}
$dbltimeduration = getmicrotime() - $dbltimestart;
// 测评结束并输出结果
echo $dbltimeduration; echo \r\n;
?>
测评两次结果(精确到3位小数,单位是秒):
mysql查询转换:0.112
文本查询转换:10.590
mysql查询转换:0.099
文本查询转换:10.623
可见这次是mysql方法遥遥领先于文件查询法。但是现在还不急于使用mysql方法,因为文本文件方法之所以如此耗时,主要因为它每次转换都要把整个gb_unicode.txt读入内存,而gb_unicode.txt又是文本文件,格式如下:
0x2121 0x3000 # ideographic space
0x2122 0x3001 # ideographic comma
0x2123 0x3002 # ideographic full stop
0x2124 0x30fb # katakana middle dot
0x2125 0x02c9 # modifier letter macron (mandarin chinese first tone)
……
0x552a 0x6458 #
0x552b 0x658b #
0x552c 0x5b85 #
0x552d 0x7a84 #
……
0x777b 0x9f37 #
0x777c 0x9f3d #
0x777d 0x9f3e #
0x777e 0x9f44 #
文本文件效率较低,于是考虑把文本文件转换为二进制文件,然后用折半法查找这个文件,而不需要把整个文件读入内存。文件格式为:文件头2字节,存储记录数;接着一条接一条记录存入文件,每条记录4字节,前2字节对应gb代码,后2字节对应unicode代码。转换程序如下:
$v) {
$strdata = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
fwrite($filegbu, $strdata);
}
fclose($filegbu);
?>
执行程序后就获得了二进制的gb->unicode对照表gbu.dat,并且数据记录按gb代码排了序,便于折半法查找。使用gbu.dat进行转码的函数如下:
function gb2utf8_file1($strgb) {
if (!trim($strgb)) return $strgb;
$filegbu = fopen(gbu.dat, rb);
$strbuf = fread($filegbu, 2);
$intcount = ord($strbuf{0}) + 256 * ord($strbuf{1});
$strret = ;
$intlen = strlen($strgb);
for ($i = 0; $i if (ord($strgb{$i}) > 127) {
$strcurr = substr($strgb, $i, 2);
$intgb = hexdec(bin2hex($strcurr)) - 0x8080;
$intstart = 1;
$intend = $intcount;
while ($intstart $intmid = floor(($intstart + $intend) / 2);
$intoffset = 2 + 4 * ($intmid - 1);
fseek($filegbu, $intoffset);
$strbuf = fread($filegbu, 2);
$intcode = ord($strbuf{0}) + 256 * ord($strbuf{1});
if ($intgb == $intcode) {
$intstart = $intmid;
break;
}
if ($intgb > $intcode) $intstart = $intmid;
else $intend = $intmid;
}
$intoffset = 2 + 4 * ($intstart - 1);
fseek($filegbu, $intoffset);
$strbuf = fread($filegbu, 2);
$intcode = ord($strbuf{0}) + 256 * ord($strbuf{1});
if ($intgb == $intcode) {
$strbuf = fread($filegbu, 2);
$intcodeu = ord($strbuf{0}) + 256 * ord($strbuf{1});
$strret .= u2utf8($intcodeu);
} else {
$strret .= ;
}
$i++;
} else {
$strret .= $strgb{$i};
}
}
return $strret;
}
把其加到原来的测评程序,对三种方法同时测评2次得到数据(精确到3位小数,单位:秒):
mysql方法:0.125
文本文件方法:10.873
二进制文件折半法:0.106
mysql方法:0.102
文本文件方法:10.677
二进制文件折半法:0.092
可见二进制文件折半法还比mysql法略有优势。但是上述测评都是对短的地理位置进行转码,如果对较长的文本转码又如何呢?我找来5个blog的rss 2.0文件,都是gb2312编码。测评三种方法对5个文件编码耗费的时间,2次测量数据如下(精确到3位小数,单位:秒):
mysql方法:7.206
文本文件方法:0.772
二进制文件折半法:5.022
mysql方法:7.440
文本文件方法:0.766
二进制文件折半法:5.055
可见对长的文本是用文本文件的方法最优,因为转码对照表读入内存后,转码就可以很高效了。既然如此,我们还可以尝试改进一下,把文本文件方法改为:转码对照表从二进制文件gbu.dat读入内存,而不是文本文件。测评数据如下(精度和单位同上):
从文本文件读入对照表:0.766
从二进制文件读入对照表:0.831
从文本文件读入对照表:0.774
从二进制文件读入对照表:0.833
表明这次改进失败了,从文本文件读入转码对照表更高效。
总结:用php对gb编码到utf-8编码的动态转换,如果每次转换的文本很小,适宜用二进制文件结合折半法转换;如果每次转换的文本较大,适宜用文本文件存储转码对照表,并在转换前一次性把对照表读入内存。