level 1
最近在搞一个sqoop拖数据的项目,一开始数据量在10000的时候一切正常,然后数据量60w的时候报了异常
如下图:
然后网上搜索,加了一个 -z-compress压缩参数,60w的正常了,后来增加到3000w,然后这个错误有出现了,求大佬给看下,增加hadoop系数的方法,我去找了上头,不给增加,只能从sqoop来解决。
2018年08月03日 01点08分
1
level 1
Container [pid=6398,containerID=container_
15323158881
50_0232_01_000003] is running beyond virtual memory limits. Current usage: 448.1 MB of 1 GB physical memory used; 7.3 GB of 5 GB virtual memory used. Killing container.
2018年08月03日 02点08分
3