Python3.x标准库提供了编写网页爬虫的大部分功能，其中最重要的是urllib和urllib2模块，它们提供了访问URL和HTTP协议的工具。其他常用的模块还包括BeautifulSoup和Scrapy，BeautifulSoup用于解析和处理HTML和XML文件，而Scrapy是一个功能强大的Python框架，用于快速构建和运行网络爬虫。此外，还有很多其他有用的模块，如re模块用于正则表达式匹配，socket模块用于处理网络连接等。

Python标准库提供了许多有用的模块和类，用于编写Web爬虫。以下是Python标准库中用于编写Web爬虫的主要模块：
1. urllib：提供了处理URL的模块，包括读取、解析和下载网页等功能。
2. requests：提供了更加简洁和易用的API，用于发送HTTP请求和处理响应，包括GET、POST、PUT、DELETE等请求方法。
3. re：用于正则表达式处理，用于从HTML等文本中提取所需数据。
4. BeautifulSoup：用于解析HTML和XML文档的Python库，可以从HTML文档中提取所需数据。
5. json：用于处理JSON格式数据，可以将从API返回的JSON数据转换为Python对象。
6. csv：用于处理CSV格式数据，可以将从Web抓取的数据存储到CSV文件中。
这些模块提供了广泛的功能，足以满足大多数Web爬虫的需求。当然，还有第三方库比如Scrapy等专用于爬虫的库，提供的更加完整的爬虫框架，更加适合复杂的Web爬虫任务。
非职业选手requests就足够了