dirhunt v0.6.0发布:查找没有bruteforce的web目录
2018年11月2日出版·2018年11月2日更新
Dirhunt是一个网络爬虫优化搜索和分析目录。如果服务器启用了“索引”模式，这个工具可以找到有趣的东西。如果目录列表没有启用，Dirhunt也很有用。它检测带有错误404错误的目录，其中创建了一个空索引文件来隐藏内容等等。
Dirhunt不使用蛮力。但它也不只是一个爬虫。这个工具比其他工具更快，因为它最小化了对服务器的请求。通常，这个工具需要5-30秒，这取决于网站和服务器。
特性
一次处理一个或多个站点。
处理“索引”页面并报告感兴趣的文件。
检测转向器。
检测在目录中创建的用于隐藏内容的空白索引文件。
处理一些html文件以搜索新的目录。
404错误页面和检测假404错误。
通过标记过滤结果。
最后分析结果。
更新日志v0.6.0
在谷歌上搜索(问题2)
查找和使用自由随机代理(问题33)
提取日期并匹配不同的日期文件(问题26)
处理页面的限制(51期和52期)
参数代理中的Mult操作符(*)(问题55)
切换到域列表(问题39)
警告:urllib3。connectionpool:连接池已满，丢弃连接(isse #56)
@ TypeError: ' NoneType '对象不在url中可订阅。py，第147行(第57期)
捕获UrlInfo读取异常(问题58)
在resp.raw错误。读(MAX_RESPONSE_SIZE, decode_content=True)(问题#59)

这个是用kali工具爬行的吗？

教我，大哥

爬这个有什么用，看不懂