发表日:2008/7/2
原文链接:http://gihyo.jp/dev/feature/01/memcached/0001
这个系列文章的链接在这里:
第1次:http://www.phpchina.com/html/29/n-35329.html第2次:http://www.phpchina.com/html/30/n-35330.html第3次:http://www.phpchina.com/html/31/n-35331.html第4次:http://www.phpchina.com/html/32/n-35332.html href=http://www.phpchina.com/html/32/n-35332.html>第5次:http://www.phpchina.com/html/32/n-35333.html href=http://www.phpchina.com/html/32/n-35333.html> href=http://www.phpchina.com/html/32/n-35332.html>
我是mixi株式会社开发部系统运营组的长野。 日常负责程序的运营。从今天开始,将分几次针对最近在web应用的可扩展性领域 的热门话题memcached,与我公司开发部研究开发组的前坂一起, 说明其内部结构和使用。
memcached是什么?memcached的特征协议简单基于libevent的事件处理内置内存存储方式memcached不互相通信的分布式安装memcachedmemcached的安装memcached的启动用客户端连接使用cache::memcached使用cache::memcached连接memcached保存数据获取数据删除数据增一和减一操作总结memcached是什么?memcached 是以livejournal 旗下danga interactive 公司的brad fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 facebook、 vox、livejournal等众多服务中 提高web应用扩展性的重要因素。
许多web应用都将数据保存到rdbms中,应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中,就会出现rdbms的负担加重、数据库响应恶化、 网站显示延迟等重大影响。
这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。 一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度、 提高可扩展性。
图1 一般情况下memcached的用途
memcached的特征memcached作为高速运行的分布式缓存服务器,具有以下的特点。
协议简单基于libevent的事件处理内置内存存储方式memcached不互相通信的分布式协议简单memcached的服务器客户端通信并不使用复杂的xml等格式, 而使用简单的基于文本行的协议。因此,通过telnet 也能在memcached上保存数据、取得数据。下面是例子。
$ telnet localhost 11211 trying 127.0.0.1... connected to localhost.localdomain (127.0.0.1). escape character is '^]'. set foo 0 0 3 (保存命令) bar (数据) stored (结果) get foo (取得命令) value foo 0 3 (数据) bar (数据)
协议文档位于memcached的源代码内,也可以参考以下的url。
http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt基于libevent的事件处理libevent是个程序库,它将linux的epoll、bsd类操作系统的kqueue等事件处理功能 封装成统一的接口。即使对服务器的连接数增加,也能发挥o(1)的性能。 memcached使用这个libevent库,因此能在linux、bsd、solaris等操作系统上发挥其高性能。 关于事件处理这里就不再详细介绍,可以参考dan kegel的the c10k problem。
libevent: http://www.monkey.org/~provos/libevent/the c10k problem: http://www.kegel.com/c10k.html内置内存存储方式为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。 由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。 另外,内容容量达到指定值之后,就基于lru(least recently used)算法自动删除不使用的缓存。 memcached本身是为缓存而设计的服务器,因此并没有过多考虑数据的永久性问题。 关于内存存储的详细信息,本连载的第二讲以后前坂会进行介绍,请届时参考。
memcached不互相通信的分布式memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么,怎样进行分布式呢? 这完全取决于客户端的实现。本连载也将介绍memcached的分布式。
图2 memcached的分布式
接下来简单介绍一下memcached的使用方法。
安装memcachedmemcached的安装比较简单,这里稍加说明。
memcached支持许多平台。
linuxfreebsdsolaris (memcached 1.2.5以上版本)mac os x另外也能安装在windows上。这里使用fedora core 8进行说明。
memcached的安装运行memcached需要本文开头介绍的libevent库。fedora 8中有现成的rpm包, 通过yum命令安装即可。
$ sudo yum install libevent libevent-devel
memcached的源代码可以从memcached网站上下载。本文执笔时的最新版本为1.2.5。 fedora 8虽然也包含了memcached的rpm,但版本比较老。因为源代码安装并不困难, 这里就不使用rpm了。
下载memcached:http://www.danga.com/memcached/download.bmlmemcached安装与一般应用程序相同,configure、make、make install就行了。
$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz $ tar zxf memcached-1.2.5.tar.gz $ cd memcached-1.2.5 $ ./configure $ make $ sudo make install
默认情况下memcached安装到/usr/local/bin下。
memcached的启动从终端输入以下命令,启动memcached。
$ /usr/local/bin/memcached -p 11211 -m 64m -vv slab class 1: chunk size 88 perslab 11915 slab class 2: chunk size 112 perslab 9362 slab class 3: chunk size 144 perslab 7281 中间省略 slab class 38: chunk size 391224 perslab 2 slab class 39: chunk size 489032 perslab 2 <23 server listening <24 send buffer was 110592, now 268435456 <24 server listening (udp) <24 server listening (udp) [127.0.0.1:11211], compress_threshold => 10_000 }); $memcached->add($key, $value, $expires); my $ret = $memcached->get($key); print $ret\n;
在这里,为cache::memcached指定了memcached服务器的ip地址和一个选项,以生成实例。 cache::memcached常用的选项如下所示。
选项说明servers用数组指定memcached服务器和端口compress_threshold数据压缩时使用的值namespace指定添加到键的前缀另外,cache::memcached通过storable模块可以将perl的复杂数据序列化之后再保存, 因此散列、数组、对象等都可以直接保存到memcached中。
保存数据向memcached保存数据的方法有
addreplaceset它们的使用方法都相同:
my $add = $memcached->add( '键', '值', '期限' ); my $replace = $memcached->replace( '键', '值', '期限' ); my $set = $memcached->set( '键', '值', '期限' );
向memcached保存数据时可以指定期限(秒)。不指定期限时,memcached按照lru算法保存数据。 这三个方法的区别如下:
选项说明add仅当存储空间中不存在键相同的数据时才保存replace仅当存储空间中存在键相同的数据时才保存set与add和replace不同,无论何时都保存获取数据获取数据可以使用get和get_multi方法。
my $val = $memcached->get('键'); my $val = $memcached->get_multi('键1', '键2', '键3', '键4', '键5');
一次取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键值, 其速度要比循环调用get快数十倍。
删除数据删除数据使用delete方法,不过它有个独特的功能。
$memcached->delete('键', '阻塞时间(秒)');
删除第一个参数指定的键的数据。第二个参数指定一个时间值,可以禁止使用同样的键保存新数据。 此功能可以用于防止缓存数据的不完整。但是要注意,set函数忽视该阻塞,照常保存数据
增一和减一操作可以将memcached上特定的键值作为计数器使用。
my $ret = $memcached->incr('键'); $memcached->add('键', 0) unless defined $ret;
增一和减一是原子操作,但未设置初始值时,不会自动赋成0。因此, 应当进行错误检查,必要时加入初始化操作。而且,服务器端也不会对 超过2 32时的行为进行检查。
总结这次简单介绍了memcached,以及它的安装方法、perl客户端cache::memcached的用法。 只要知道,memcached的使用方法十分简单就足够了。
下次由前坂来说明memcached的内部结构。了解memcached的内部构造, 就能知道如何使用memcached才能使web应用的速度更上一层楼。 欢迎继续阅读下一章。
版权声明:可以任意转载,但转载时必须标明原作者charlee、原始链接以及本声明。
http://www.bkjia.com/phpjc/735134.htmlwww.bkjia.comtruehttp://www.bkjia.com/phpjc/735134.htmltecharticle发表日:2008/7/2 原文链接:http://gihyo.jp/dev/feature/01/memcached/0001 这个系列文章的链接在这里: 第1次:http://www.phpchina.com/html/29/n-35329.html 第...