工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。 00.建立测试环境 01.使用sql server import and export tool 02.使用generate scripts 03.使用bcp 04.使用sqlbulkcopy 0
工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。
00.建立测试环境
01.使用sql server import and export tool
02.使用generate scripts
03.使用bcp
04.使用sqlbulkcopy
05.使用linked server进行数据迁移
06.使用redgate的sql data compare
07.结果对比
可以先看下测试的结果
00.建立测试环境建立一个测试的环境,一个数据源数据库,香港服务器,版本为sql server 2008,一个目标数据库,版本为sql server 2000。
实验环境如下图所示,源数据库使用语句生成了100万的测试数据。
建立测试表并生成100万的测试数据
if object_id() is not nulldrop table demotable go create table demotable(col1 varchar(50) ,col2 varchar(50) ,col3 varchar(50)) insert into demotableselect top 1000000newid() ,newid() ,newid()from master..spt_values t1inner join master..spt_values t2 on 1 = 1inner join master..spt_values t3 on 1 = 1
01.使用sql server import and export tool使用sql server import and export tool进行数据的导出,也可以在目标数据库端使用import进行导入,这部分套件也是ssis的一部分。
在源数据库上右键,选择task -> export data
分别填写源数据库和目标数据库的连接信息。
选择“copy data from one or more tables or views”
选择需要导数据的表,并且可以编辑列的mapping关系。
可以选择立即执行或者存储为ssis的包,用于执行计划等其他用途。
这里我们选择立即执行。
注意导入的时候如果遇到如下的错误
error 0xc02020f4: data flow task: the column tel cannot be processed because more than one code page (936 and 1252) are specified for it.
(sql server import and export wizard)
是因为两边的数据库的collation设置不一样造成的,需要设置同样的collation。
02.使用generate scripts生成脚本在源数据库上右键,选择task -> geneate scripts...
配置相关信息,注意选择数据库的版本并将script data设置成true。
这里需要注意,美国空间,因为有100万的数据,香港空间,所以导出的sql文件就有400多m,所以用sql server management studio是打不开的。
所以只能使用sqlcmd执行。
sqlcmd语句
c:\>sqlcmd -i export.sql -d exportdatademo_destination -s 192.168.21.165 -u sa -p 1234567890
用时约28分钟
03.使用bcp进行导出导入在尝试了前面两个效率低下的工具之后,我们终于开始尝试下sql server中专门用于导数据的工具:bcp。
关于bcp的详细用法可以参见msdn的帮助文档。
我们先使用bcp导出数据。
-u和-p后面分别为数据库的用户名和密码。
我们可以看到100万的数据导出仅用了1.8秒。
现在我们再使用bcp进行导入。
执行后发现,导入数据使用了20.8秒,还是很快的。
用时1.872秒+20.810秒=22.682秒
04.使用sqlbulkcopy.net framework 2.0中增加的sqlbulkcopy类可以进行高效的数据迁移动作,这也为代码实现数据迁移提供了接口。
并且sqlbulkcopy类提供了修改字段mapping关系的方法columnmappings。
使用sqlbulkcopy类进行数据迁移