测试文件信息 10g dec 12 14:10 a111g dec 12 14:32 a210g dec 12 14:10 b111g dec 12 14:35 b2 gpfdist 方案一 单台服务器 drop table if exists host_1;drop external table if exists exttable_ext_1_host;drop table if exists host_1_err;create table
测试文件信息10g dec 12 14:10 a111g dec 12 14:32 a210g dec 12 14:10 b111g dec 12 14:35 b2
gpfdist方案一 单台服务器drop table if exists host_1;drop external table if exists exttable_ext_1_host;drop table if exists host_1_err;create table host_1 (like sourcetable) distributed randomly;create external table exttable_ext_1_host (like sourcetable) location ('gpfdist://10.2.22.81:9999/a*') format 'text' (delimiter as ',' null as '' escape 'off') encoding 'utf8' log errors into host_1_err segment reject limit 100 percent;insert into host_1 select * from exttable_ext_1_host;
方案二 两台服务器drop table if exists host_2;drop external table if exists exttable_ext_2_host;drop table if exists host_2_err;create table host_2 (like sourcetable) distributed randomly;create external table exttable_ext_2_host (like sourcetable) location ('gpfdist://10.2.22.81:9999/b1','gpfdist://10.2.22.82:9999/b2') format 'text' (delimiter as ',' null as '' escape 'off') encoding 'utf8' log errors into host_2_err segment reject limit 100 percent;insert into host_2 select * from exttable_ext_2_host;
gpload方案三gpload单台
---version: 1.0.0.1database: gpdbuser: gpadminhost: 10.4.2.4port: 5432gpload: input: - source: local_hostname: - 10.2.22.81 port: 9999 file: - /data/ptest/a* - format: text - delimiter: ',' - escape: 'off' - null_as: '' - encoding: utf8 - error_limit: 10000 - error_table: host_1_err output: - table: host_1 - mode: insert
方案四gpload两台
测试结果为了防止缓存干扰测试，经过多次测试结果如下，可以发现方案二明显优于方案一
. 文件信息s文件 | 文件大小 | 入库大小 | 插入记录数量 | 异常记录数量------| --------------------------------------------方案一 | 21gb | 25gb |49826141 |2199方案二 | 21gb | 25gb | 52108083| 1867
. 加载耗时
不清楚为什么第1次读取的时候（测试序列一的方案一/二）和之后的差别这么大可能与gpfs有关系
方案四的b机文件读取失败,而且整个测试过程中方案三/四感觉并不是非常稳定（hang住），鉴于方案三对比方案一并没有太大优势,而且通过观察方案四可以发现a机加载的时间已经达到22.24s，对比方案二可能并不会有优势，因此未完成测试
测试次序 方案一 方案二方案三方案四
测试次序一 440403.263 ms 204201.096 ms 36.41 seconds 22.24 seconds+b?
测试次序二 35854.612 ms 26303.240 ms 方案三 方案四
测试次序三 42007.990 ms 25593.730 ms 方案三 方案四
测试次序四 43795.502 ms 25706.479 ms 方案三 方案四
测试次序五 36576.681 ms 26405.977 ms 方案三 方案四
-eof-