bitscn.com
[记录]千万数据存入mysql
存入1千万条数据，用hibernate存
数据的定义都很简单:
sql代码 create table testentity2 ( id varchar(255) not null, description varchar(255), name varchar(255), primary key (id) )
主键生成策略uuid
防止数据过大
设置 50
同时代码里也是50次 flush一下 clear一下 在eclipse的环境中 内存占用在500m左右
每10w条打印一次 如果不使用batch_size 也不flush和clear 内存会在2g左右
并且也会发生内存溢出的错误:（但前面几次的速度非常可观 到第280万条的时候堆溢出)
但这些只是存在session的缓存里 没有真正uncommit到数据库 所以到底有多快...不好说...
正在插入
1:1 2:2 3:2 4:3 5:3 6:5 7:5 8:7 9:7 10:7 11:8 12:8 13:8 14:11 15:11 16:11 17:12 18:15 19:15 20:15 21:16 22:16 23:17 24:17 25:24 26:28 27:35 28:49 exception in thread main java.lang.outofmemoryerror: gc overhead limit exceeded at org.hibernate.engine.internal.statefulpersistencecontext.addentry(statefulpersistencecontext.java:539) at org.hibernate.event.internal.abstractsaveeventlistener.performsaveorreplicate(abstractsaveeventlistener.java:249) at org.hibernate.event.internal.abstractsaveeventlistener.performsave(abstractsaveeventlistener.java:192) at org.hibernate.event.internal.abstractsaveeventlistener.savewithgeneratedid(abstractsaveeventlistener.java:135) at org.hibernate.event.internal.defaultsaveorupdateeventlistener.savewithgeneratedorrequestedid(defaultsaveorupdateeventlistener.java:206) at org.hibernate.event.internal.defaultsaveeventlistener.savewithgeneratedorrequestedid(defaultsaveeventlistener.java:55) at org.hibernate.event.internal.defaultsaveorupdateeventlistener.entityistransient(defaultsaveorupdateeventlistener.java:191) at org.hibernate.event.internal.defaultsaveeventlistener.performsaveorupdate(defaultsaveeventlistener.java:49) at org.hibernate.event.internal.defaultsaveorupdateeventlistener.onsaveorupdate(defaultsaveorupdateeventlistener.java:90) at org.hibernate.internal.sessionimpl.firesave(sessionimpl.java:764) at org.hibernate.internal.sessionimpl.save(sessionimpl.java:756) at org.hibernate.internal.sessionimpl.save(sessionimpl.java:752) at org.cc.data.test.datagenerator.main(datagenerator.java:25)
然后分别做一下测试 先把batch_size设置为10 每10次 flush和clear：
正在插入
1:37
2:72
3:108
4:144
.......
50和100的测试和这个结果也大同小异就不测试了
其他的以后再写了..
bitscn.com