〖20220320〗〖蚁问友答〗写了个简单爬虫,自动爬取antwiki上的标本图
蚂蚁吧
全部回复
仅看楼主
level 11
路兮發
这帖子怎么还没加精
2022年03月31日 13点03分
16
level 13
小裸蛹🍀
楼主
今天抽时间修了一下bug,又加了一些功能,2.0版本已经上传了,还是上面的链接。虽然没什么人关注,咱也得善始善终是吧
2022年04月14日 08点04分
17
level 10
飞翔的小蜜罐
虽然不知道电脑怎么操作,但收藏了
2022年04月14日 08点04分
18
小裸蛹🍀
就下载下来双击就行啊
2022年04月14日 08点04分
level 13
小裸蛹🍀
楼主
这次主要的变化是加了一个保存下载记录的功能。有的属比较大,下载完可能要很长时间,这中间就很有可能因为各种原因中断,上个版本就只能从头再来。这个版本的程序如果在运行中被关掉,再次打开的时候就会显示上次下载的进度,然后就可以继续下载。
2022年04月14日 08点04分
19
level 13
小裸蛹🍀
楼主
并且上个版本很多图片会搜索不到,这次解决了这个问题。就目前测试来看,都能搜索到并且下载下来了。
目前还有的一个小问题是,有的标本图除了点击它本身可以进高清图的链接,它右下角还有一个按键也可以,所以就导致程序运行的时候输出的图片个数会多一点,下面的图片名也有一样的,不过保存到本地的还是只有一个,所以不是很大的问题,先不管了。
2022年04月14日 08点04分
20
level 13
小裸蛹🍀
楼主
2.1版本已上传,添加了一个记录下载失败的功能。如果有图片下载失败,会实时输出,也会在log文件里记录,这就需要手动访问图片然后手动下载。
2022年04月15日 14点04分
22
level 1
贴吧用户_QJ2ZbQ7
快点申精吧
2022年04月16日 12点04分
23
吧务
level 12
雪寂oled
2022年04月16日 13点04分
24
level 14
S聆听风的声音
不错
2022年04月16日 14点04分
25
level 7
小黑蚁
这种图片能拿来用吗?会不会侵权
2022年09月13日 19点09分
26
小裸蛹🍀
看你要怎么用了。手动都可以下载,用爬虫也一样的
2022年09月14日 04点09分
level 13
小裸蛹🍀
楼主
antweb爬虫:
https://tieba.baidu.com/p/8205600152
2023年01月02日 01点01分
27
level 10
大聪明的甲虫工坊
好吧,我蒙了,你是在干什么呀?
2023年01月02日 03点01分
28
小裸蛹🍀
标题不都写了,自动下载标本图
2023年01月02日 09点01分
吧务
level 16
Snowkings
试了一下,非常好用。
下面是一些建议:
1.最好能按种名自动添加文件夹,将相应的图片存入对应的文件夹中。这样对于像蚁属这样的大属来说非常有用。如果所有图片都在一个文件夹里,之后再去区分,会非常耗时。另外,有些蚁种分类地位有过变更,图片的文件名不一定是有效的拉丁名,靠查log记录分辨也比较费时。
2.如果能列出查询的属包含的所有种,再具体选择下载哪些种的图片就好了。虽然这样可能做起来比较麻烦,但是在只需要十几个种的图片,而这个属有好几百种的情况下,可以节省非常多的时间。
最后,感谢楼主为蚁友们做的这个爬数据软件,辛苦啦!
ps:昨天这段儿回复到Antweb那个帖子上了。
2023年01月04日 15点01分
29
小裸蛹🍀
很切实的建议,我试着实现一下
2023年01月05日 03点01分
level 14
当风过时
以前试着做过这个站的爬虫,但是下载很慢,而且经常断连,我估计是服务器小水管,为了减少资源占用或者是防爬虫做的限制,就类似于中国蚁网防复制的感觉,就我而言,还是建议尽量少去爬吧
2023年01月05日 10点01分
30
首页
1
2