求助
postgresql吧
全部回复
仅看楼主
level 9
数据导入比较高效率的方法。要求导入时去重。我现在的方法是插入一条检测一下是否有重,效率非常低。300万大概得4个小时。求大神指教,越详细越好,小弟第一次弄数据库,谢谢!
2015年10月19日 23点10分 1
level 5
建立一个数据库唯一约束。使用insert into语句。这个语句只此一次插入多条记录。在数据库函数里写,屏蔽,唯一错误
2015年11月23日 13点11分 2
level 5
300万数据来源于本地的数据表,还是外面的数据?
2015年11月23日 13点11分 3
level 5
这方法我没有应用过,我是根据自己的经验想出来的。
2015年11月23日 13点11分 4
level 5
因为你扏行数据库的insert语,他在后台写日志要写很久的。
2015年11月23日 13点11分 5
level 5
在大量数据插入时使用批量插入语句:insert into table1 (id, name) values (1, 'a'), (2, 'b'), (3, 'c'), ...
2015年11月23日 23点11分 6
使用 官方文档: DO -- execute an anonymous code block http://www.postgresql.org/docs/current/static/sql-do.html
2015年11月23日 23点11分
level 5
错误代码列表里查到对应的错误代码: Appendix A. PostgreSQL Error Codes http://www.postgresql.org/docs/current/static/errcodes-appendix.html
2015年11月23日 23点11分 8
level 5
1、建立数据库唯一约束
2、你做个变量来设置一次可以插入多少条记录,根据这个变量生成对应的SQL:
do $$begin
BEGIN
insert into table1 (id, name) values (1, 'a'), (2, 'b'), (3, 'c'), ...
EXCEPTION --销毁已经存在非规范命名的索引异常
WHEN unique_violation THEN
END;
end$$;
2015年11月24日 00点11分 9
使用最新的9.5版本数据库,insert ... 后面还可以跟 on confilict (...) do nothing 语句,好方法
2016年01月14日 14点01分
虽然还是不太懂,但是还是谢谢你
2016年01月22日 08点01分
level 3
你永远不知道未来的自己有多强大!同意的顶起
2016年03月03日 12点03分 10
1