手把手教你写nodejs爬虫. - nodejs吧

level 2

姐姐肥皂掉了楼主

大家喜欢什么资源先说下就用第一个人说的做.不然我就自己决定了
影视游戏文章娱乐啥的. 说吧
自带甜点. [怒]

2017年02月09日 14点02分 1

level 2

姐姐肥皂掉了楼主

先占位明天更新.

2017年02月09日 14点02分 2

level 1

叫我颜色额

大沙包

2017年02月09日 14点02分 3

level 1

生物地质

爬mdn

2017年02月10日 00点02分 4

level 7

雷德斯基

爬msdn

2017年02月10日 01点02分 5

姐姐肥皂掉了

OK 我先去看看是不是异步加载数据的

2017年02月10日 02点02分

level 2

姐姐肥皂掉了楼主

先说下项目前的准备:
1.安装nodejs(不多说)
2.安装需要的包(cheerio和request)
3.动手

2017年02月10日 03点02分 6

level 1

814886110雪落

坐等更新

2017年02月13日 06点02分 7

姐姐肥皂掉了

来了来了

2017年02月13日 07点02分

level 2

姐姐肥皂掉了楼主

首先随便找个盘创建目录. /nodejs/tieba/app.js,我是在D盘.
npm install request
npm install request
然后先将库引用进来.
var request = require("request");
var cheerio = require("cheerio");

2017年02月13日 07点02分 8

level 2

姐姐肥皂掉了楼主

写个小说采集的吧实用一些
http://www.biquge.com/xuanhuanxiaoshuo/
思路：先用request 发送get请求.不用post 因为不用登陆就能看.
就采集这一块吧:

先看看代码,发送get后console下body

2017年02月13日 07点02分 9

level 2

姐姐肥皂掉了楼主

下面分析那一块的源代码.我用的是Chrome浏览器,右键,检查.

这里不说基础.cheerio是一个类似jquery的东西
将html加载近来

2017年02月13日 07点02分 10

level 2

姐姐肥皂掉了楼主

var $ = cheerio.load(body);
然后就可以写了,看上图的html结构.
这里只采集小说的url和图片地址.下面是完整代码

2017年02月13日 07点02分 11

level 2

姐姐肥皂掉了楼主

至于采集内容看了上面的教程如果你还不会我就没办法了...

2017年02月13日 07点02分 12

level 1

814886110雪落

我先看看，研究研究，我新手啊，nodejs的异步编程弄的我很不习惯，我之前做java的，所以不明白的问题，我会给大神留言的！

2017年02月15日 05点02分 13

姐姐肥皂掉了

没事没事

2017年02月20日 15点02分

level 13

三间北房

不错，学习学习

2017年03月07日 05点03分 14

level 1

AR370254

烦啊

2017年03月17日 10点03分 15