弄了个superagent-charset,中文网页解析什么的方便多了
nodejs吧
全部回复
仅看楼主
level 8
gbk , gb2312 的还是比较多吧,国内
像alipay , qq主站 , sohu 都是
但是nodejs不支持 gbk,gb2312 等编码,可以通过 iconv-lite 解析
var assert = require('assert');
var request = require('superagent-charset');
request.get('http://www.sohu.com/')
.charset('gbk')
.end(function(err,res) {
assert(res.text.indexOf('搜狐') > -1);
});
现在用这个superagent-charset可以调一下charset方法,就可以了用res.text了
https://github.com/magicdawn/superagent-charset
代码就几行,自己用起来比较省心,分享下...
2015年01月17日 11点01分 1
level 8
自己做撒发...
2015年01月17日 11点01分 2
嗯~API更改可以看这个 https://github.com/magicdawn/superagent-charset/blob/master/CHANGELOG.md 里面包含了重要更改,以及这么做的原因。
2016年03月23日 03点03分
level 5
标记 回头试试
2015年01月18日 06点01分 3
level 11
应该是对superagent的扩展版啊
不错,如果需要解析gbk,可以试试。
2015年01月19日 01点01分 4
是插件扩展吧,不是包装的,npm 出一个 peerDependency , 就是为了插件 和 宿主的关系的...也好理解
2015年01月19日 06点01分
level 1
牛逼,多谢楼主,之前一直苦逼用buff拼接。
2015年03月02日 03点03分 5
level 2

2015年05月25日 03点05分 6
level 6
留个爪迹
2015年05月26日 09点05分 7
level 3
我也看到peerDependency了,学习了。原来那个superagent是以utf8去取数据吧,然后再用iconv转也是不行的。
2015年08月07日 09点08分 8
是的, peerDependency 对于插件来说, 作为peer依赖比较合理
2015年08月08日 03点08分
有人用, 我去加个持续集成 + 覆盖率去~~~
2015年08月08日 03点08分
在travis ci 上不能访问国内网址... 算了
2015年08月08日 03点08分
level 8
一个断言, 覆盖率90% +
2015年08月08日 03点08分 9
level 1
楼主,我用了superagent-charset, 现在报superagent.get is not a function
2016年03月22日 06点03分 10
level 1
2016年03月22日 06点03分 11
level 1
我勒个去
刚去看了最新文档
用法变了,要charset(superagent)
2016年03月22日 07点03分 12
不好意思~是的~变化可以看 changelog, 这个是因为 peerDependency 不好管理来着。
2016年03月23日 03点03分
level 8
是API有变化
可以这样使用
var request = require('superagent-charset')(require('superagent'));
2016年03月23日 03点03分 13
1