sqoop从oracle拖数据到hive,数据量过大时内存溢出问题,求解答
sqoop吧
全部回复
仅看楼主
level 1
lchsb 楼主
最近在搞一个sqoop拖数据的项目,一开始数据量在10000的时候一切正常,然后数据量60w的时候报了异常
如下图:
然后网上搜索,加了一个 -z-compress压缩参数,60w的正常了,后来增加到3000w,然后这个错误有出现了,求大佬给看下,增加hadoop系数的方法,我去找了上头,不给增加,只能从sqoop来解决。
2018年08月03日 01点08分 1
level 1
lchsb 楼主
图片超标,发不出来
我修改下
2018年08月03日 01点08分 2
level 1
lchsb 楼主
Container [pid=6398,containerID=container_
15323158881
50_0232_01_000003] is running beyond virtual memory limits. Current usage: 448.1 MB of 1 GB physical memory used; 7.3 GB of 5 GB virtual memory used. Killing container.
2018年08月03日 02点08分 3
1