弄了个superagent-charset,中文网页解析什么的方便多了
nodejs吧
全部回复
仅看楼主
level 8
gbk , gb2312 的还是比较多吧,国内
像alipay , qq主站 , sohu 都是
但是nodejs不支持 gbk,gb2312 等编码,可以通过 iconv-lite 解析
var assert = require('assert');
var request = require('superagent-charset');
request.get('http://www.sohu.com/')
.charset('gbk')
.end(function(err,res) {
assert(res.text.indexOf('搜狐') > -1);
});
现在用这个superagent-charset可以调一下charset方法,就可以了用res.text了
https://github.com/magicdawn/superagent-charset
代码就几行,自己用起来比较省心,分享下...
2015年01月17日 11点01分 1
level 8
自己做撒发...
2015年01月17日 11点01分 2
嗯~API更改可以看这个 https://github.com/magicdawn/superagent-charset/blob/master/CHANGELOG.md 里面包含了重要更改,以及这么做的原因。
2016年03月23日 03点03分
level 8
一个断言, 覆盖率90% +
2015年08月08日 03点08分 9
level 8
是API有变化
可以这样使用
var request = require('superagent-charset')(require('superagent'));
2016年03月23日 03点03分 13
1