Hive on tez资源问题请教
hive吧
全部回复
仅看楼主
level 3
亚洲小李子º 楼主
大家好， 请教下哈， 用hive on tez情况下单个任务把集群资源吃完了， 导致其它定时任务无法启动报错， 我解决了vcores数不足的问题， 现在内存又不够用了，，， 数据大概好几百G这样， 集群资源5个T，vcores800个， 大家有没好的建议？
2021年10月30日 08点10分 1
level 1
兴美tingting
请问这个问题后来怎么处理的？
2021年11月12日 10点11分 2
亚洲小李子º
加参数限制内存cpu
2021年11月15日 05点11分
level 1
prince小陈1
请问具体通过什么参数限制啊 ，我也遇到了相同的问题，但是没找到相关参数设置
2021年11月24日 07点11分 3
亚洲小李子º
Tez container大小， mapper分片数量
2021年11月26日 04点11分
prince小陈1
@亚洲小李子º 这两个控制不了向yarn申请的资源数，tez还是会一次性向yarn申请本次计算的最大资源。控制map数和container只是控制了整个任务的最大资源，但是不能自由控制申请多少
2021年11月29日 01点11分
亚洲小李子º
Map数控制的是总共使用的虚拟cpu数， 一个cpu一个container， 每个container大小控制了就可以用限制内存使用， 为什么会控制不了， 你的关注点不要放yarn的配置上
2021年11月29日 01点11分
亚洲小李子º
@prince小陈1 自由控制多少要去计算了， 根据数据量大小大致算一算要用多少资源， 然后去配核数和container大小
2021年11月29日 01点11分
level 1
没意见💤
楼主你好，我也遇到了同样的问题，除了通过限制mr的数量来限制这个之外，还有没有其他好的办法呢
2022年09月30日 02点09分 4
1