mongoDB去重数据量太大报错怎么办?
mongodb吧
全部回复
仅看楼主
level 7
ILYXS2000 楼主
db.loginInfoHistory.distinct('phone').length
我在这个loginInfoHistory中,查询手机号的用户数量,需要用distinct去重。
数据量少的时候没问题,数据量大了,就会报错:
Error: distinct failed: { "ok" : 0, "errmsg" : "distinct too big, 16mb cap", "code" : 17217 }
去重数据太大,超过16MB
怎么办?
2017年06月27日 08点06分 1
level 7
ILYXS2000 楼主
哈哈哈,完美解决了!!!想知道吗?嘿嘿嘿
2017年07月05日 01点07分 3
楼主如何解决的,也不分享分享[泪]
2017年07月30日 05点07分
@world🔥 请问你解决了吗?我今天也遇到了distinct返回结果集超过16M的问题[啊]
2017年07月30日 11点07分
@world🔥 下面
2017年08月01日 00点08分
@楼主great 下面
2017年08月01日 00点08分
level 2
可以私聊请教些问题么
2017年07月19日 10点07分 4
level 1
楼主怎么解决的,我也遇到了该问题,不吝赐教。
2017年07月30日 10点07分 5
下面
2017年08月01日 00点08分
level 7
ILYXS2000 楼主
开始我试了一下,改成这个:
db.loginInfoHistory.aggregate([{$group: {_id: {"phone": "$phone"}}}]).count()
能用,但是后来数据量又大了,还是会出现超过16M的报错。
然后我就用hive把mongoDB的数据导入进去,在hive里进行查询即可。
2017年08月01日 00点08分 6
level 1
想问问大佬是怎么把mongodb的数据放到hive里面的
2018年05月23日 08点05分 7
1