一、高性能数据库的选择 ---- 在数据库的应用开发中,常常会遇到性能和代价的之间矛盾。以作者在开发股市行 情查询和交易系统中遇到的问题为例,要在实时记录1000多只股票每分钟更新一次的行 情数据的同时,响应大量并发用户的数据查询请求。考虑到性价比和
一、高性能数据库的选择
---- 在数据库的应用开发中,常常会遇到性能和代价的之间矛盾。以作者在开发股市行
情查询和交易系统中遇到的问题为例,要在实时记录1000多只股票每分钟更新一次的行
情数据的同时,响应大量并发用户的数据查询请求。考虑到性价比和易维护性,系统又
要求在基于pc服务器,windows nt平台的软硬件环境下实现。开始,我们采用了ms sql
server 6.5 作为数据库系统,用visual c++ 6.0开发了访问数据库的前端,应用odbc
数据接口,在进行了大量的数据库配置和程序优化后,发现仍不能满足性能要求。后采
用sql server的db-library接口,绕过了odbc解释层,可以每秒更新行情数据30次,同
时支持20-30个左右的并发用户进行行情查询,基本满足要求(单台pc服务器,单pii3
50 cpu,内存128m,scsi硬盘)。有没有可能进一步提高系统的性能和负载能力呢?经
过分析,数据库服务器是系统的瓶颈。当然,可以采用unix服务器+大型数据库的系统
平台,但其开发、运行、维护的费用比微机+windows nt平台的费用高出数倍。我们在
其它一些系统的开发中,也经常遇到这样的矛盾。如何在微机平台上建立大容量、高效
率、易维护、高性价比的数据库系统呢?
---- 考察国内基于微机平台的数据库应用系统,典型的如网易的分布式邮件系统,采用
了freebsd+mysql的平台,其容量、负载能力和响应速度都很优秀。作者查阅了mysql的
相关文档,发现mysql是gnu软件(即opensource自由软件)中非常优秀的数据库系统,
它完全符合sql92 (entry level)和 odbc( level 0-2)规范,在符合posix规范的操
作系统上实现了非常高效的关系型数据库管理系统。根据mysql提供的文档,它的数据操
作堪称所有数据库中最高效的,benchmark如下表:
reading 2000000 rows by index
database seconds
mysql 367
mysql_odbc 464
db2_odbc 1206
informix_odbc 121126
ms-sql_odbc 1634
oracle_odbc 20800
solid_odbc 877
sybase_odbc 17614
inserting (350768) rows
database seconds
mysql 381
mysql_odbc 619
db2_odbc 3460
informix_odbc 2692
ms-sql_odbc 4012
oracle_odbc 11291
solid_odbc 1801
sybase_odbc 4802
(run on the same nt 4.0 machine)
---- 从mysql的benchmark中可以看到,mysql的性能非常出众(当然,测试的mysql系统
可能作了优化,被测数据可能是针对mysql选择的),而且mysql提供了对windows nt的
支持。windows nt+mysql能否成为构建高性能数据库应用的理想选择呢?作者用mysql
的数据接口改写了程序,经过一段时间的运行,证明mysql确实是高效而稳定的数据库,
非常适合构建大容量、高效率、易维护、高性价比的数据库应用系统。现将mysql的安装
、运行、开发的心得与大家共享。
二、mysql的安装和运行
---- 首先从http://www.mysql.com/(国内用户可以从http://www.freecode.com.cn/m
irror/mysql/)下载mysql的执行代码及源代码。注意,windows nt用户要选择nt下的执
行代码,我下载的是mysql-shareware-3.22.32-win.zip。解包后执行setup,按屏幕提
示即可完成安装。
---- 拷贝mysql根目录(c:\mysql)下的my-example.cnf到c:\my.cnf,按文件中的提示
编辑my.cnf(如果mysql的根目录是c:\mysql,可暂不改动my.cnf)。在nt的控制台窗口
中,进入mysql的执行目录(c:\mysql\bin),执行
---- c:\mysql\bin\mysqld-shareware --standalone
---- 则mysql的数据库引擎启动。打开另一nt控制台窗口,执行
---- c:\mysql\bin\mysql mysql
---- 建立数据库连接,出现“mysql>”提示符后,执行
---- mysql > delete from user where host='localhost' and user='';
---- mysql > quit
---- 删除所有的非授权用户。
---- 然后执行
---- c:\mysql\bin\mysqladmin reload
---- c:\mysql\bin\mysqladmin -u root password your_password
---- 其中,your_password是你选择的数据库管理员的口令,必须妥善保管。
---- 如果要每次都以管理员身份连接数据库,则编辑c:\my.cnf,在[client]段中加入
:
user=root
password= your_password
如果要停止mysql的数据库引擎,可以执行
c:\mysql\bin\mysqladmin -u=root -p shutdown
按提示输入管理员口令后,mysql的数据库引擎停止。
三、mysql客户端应用的开发
---- mysql提供了丰富的数据接口api,包括c、c++、perl、php、python、tcl等api和
jdbc,odbc接口。出于性能考虑,我们采用了mysql的c api进行开发。现以visual c++
环境为例,作一简单介绍。
---- 新建一win32 console application的project,把“c:\mysql\include”添加到编
译选项的包含路径中(在project options中加入 /i d:\mysql\include&quounter.cgol.net 魈迦缦拢?
#include
#include
#include
#include
int main( int argc, char * argv[] )
{
char sztargetdsn[] = test;
char szsqltext[500]=;
char aszflds[ 25 ][ 25 ];
mysql * mydata ;
mysql_res * res ;
mysql_field * fd ;
mysql_row row ;
int i,j,k;
bool bcreate = true;
if ( (mydata = mysql_init((mysql*) 0))
//初始化数据结构
&& mysql_real_connect( mydata, null,
//连接数据库
root, your_password , sztargetdsn,
mysql_port, null, 0 ) )
{
if(bcreate)
{
sprintf(szsqltext, //构造sql语句
create table mytable
//新建一张表
(time datetime, s1 char(6),
s2 char(11), s3 int, s4 int));
if (mysql_query( mydata, szsqltext))
//执行sql语句
{//执行sql语句出错
errlog( can't create table) ;
mysql_close( mydata ) ;
return false ;
}
}
sprintf(szsqltext,
insert into mytable
//向表中插入数据
values('2000-3-10 21:01:30',
//注意时间的格式
'test','mysqltest',2000,3));
if (mysql_query( mydata, szsqltext))
{//执行sql语句出错
errlog( can't insert data to table) ;
mysql_close( mydata ) ;
return false ;
}
sprintf(szsqltext, select * from mytable );
if (mysql_query( mydata, szsqltext))
//进行数据检索
{
//执行sql语句出错
mysql_close( mydata ) ;
return false ;
}
else
{
res = mysql_store_result( mydata ) ;
//取得查询结果
i = (int) mysql_num_rows( res ) ;
//取得有效记录数
printf( query: %s\n%ld records found:
\n, szsqltext, i ) ;
for ( i = 0 ; fd = mysql_fetch_field( res ) ;
i++ )
strcpy( aszflds[ i ], fd->name ) ;
//取得各字段名
for (i=1; row = mysql_fetch_row( res ); )
//依次读取各条记录
{j = mysql_num_fields( res ) ;
//取得记录中的字段数
printf( record #%ld:-\n, i++ ) ;
for ( k = 0 ; k //输出各字段的值
printf( fld #%d (%s): %s\n, k + 1, aszflds[ k ],
(((row[k]==null)||
(!strlen(row[k])))?null:row[k])) ;
puts( ==============================\n ) ;
}
mysql_free_result( res ) ;
}
}
else
{//连接数据库出错
errlog( can't connect to the mysql server ) ;
mysql_close( mydata ) ;
return false ;
}
mysql_close( mydata ) ;
return true ;
}
---- 对其中几个函数作简单说明,详细说明,可参考mysql文档:
---- 1. mysql *mysql_init(mysql *mysql)
---- 初始化一个类型为mysql的数据结构,为执行mysql_real_connect()做准备。参数
mysql为指向该结构的指针,如果mysql为null,则新建并初始化一个mysql的数据结构。
新建的结构将在mysql_close()中释放。
---- 若成功,返回初始化的mysql数据结构的指针,否则返回null。
---- 2. mysql *mysql_real_connect(mysql *mysql, const char *host,
---- const char *user, const char *passwd, const char *db,
---- unsigned int port, const char *unix_socket, unsigned int client_flag)
---- 与mysql数据库引擎建立连接。在执行进一步的数据操作之前,必须保证mysql_re
al_connect()成功返回。
---- 参数mysql是mysql_init()的返回值;
---- 参数host是运行mysql数据库引擎的机器的tcp/ip主机名,如为null则默认为“lo
calhost”;
---- 参数user和passwd是mysql数据库的合法用户和口令;
---- 参数db是连接的数据库名;
---- 参数port,unix_socket和client_flag一般取默认值。
---- 3. int mysql_query(mysql *mysql, const char *query)
---- 执行query字符串中的sql语句,query必须以0结尾。如果成功,返回0。
---- 4. mysql_res *mysql_store_result(mysql *mysql)
---- 返回select,show,describe, explain等语句执行的结果。函数新建一个mysql_
res的数据结构,把结果存储在该结构中。如果查询没有匹配的结果,则返回空数据集。
处理完结果集后,必须调用mysql_free_result()。
---- 如果出错,返回null,否则返回mysql_res结构的指针。
---- 5. mysql_row mysql_fetch_row(mysql_res *result)
---- 取回结果集中的下一条记录,如果没有记录或出错,返回null。一条记录中的字段
数可以用mysql_num_fields(result)获得,各字段的值可以用row[0] 到 row[mysql_nu
m_fields(result)-1]的数组来访问。
---- 在工程的链接选项中,加入c:\mysql\lib\libmysql.lib的接口库,把libmysql.d
ll复制到操作系统的system目录下(c:\winnt\system32),就可以编译运行了。
---- 到这里,一个简单的数据库应用就开发完成了。当然,mysql有一套功能丰富的ap
i,大家可以查看文档。另外,如果需要跨平台的移植性,可以考虑用mysql的odbc接口
。可以自己配置mysql的odbc连接属性,也可以下载myodbc-2.50.29-nt.zip工具包来配
置。
四、总结
---- 作者用mysql在windows nt上构建了高性能、高稳定性的数据库系统。这样,既可
以利用windows nt和visual c++的友好界面,又可以获得mysql的强大功能。实践证明,
这种方案成本低(别忘了mysql是免费的)、效率高、开发周期短、运行稳定(mysql的
稳定性在yahoo、163、263等站点获得了极高的评价)。
---- 目前,我的股市行情查询和交易系统已经获得了每秒钟记录70-100条股票行情数
据,同时响应50个并发用户进行数据查询的性能,而系统的开发、运行成本却大幅降低
。如果您正为pc上的数据库效率发愁,不妨也来试试mysql吧。