urllib.robotparser — robots.txt 解析器¶
源代码: Lib/urllib/robotparser.py
此模块提供一个单独的类 RobotFileParser，用于回答关于特定的用户代理是否可以获取发布 robots.txt 文件的网站上的 URL 的问题。 有关 robots.txt 文件结构的更多详细信息，请参见 http://www.robotstxt.org/orig.html。
- class urllib.robotparser.RobotFileParser(url='')¶
此类提供读取、解析和回答关于 url 处的
robots.txt文件的问题的方法。- set_url(url)¶
设置指向
robots.txt文件的 URL。
- read()¶
读取
robots.txtURL 并将其提供给解析器。
- parse(lines)¶
解析 lines 参数。
- can_fetch(useragent, url)¶
如果根据已解析的
robots.txt文件中包含的规则，允许 useragent 获取 url，则返回True。
- mtime()¶
返回上次获取
robots.txt文件的时间。 这对于需要定期检查新的robots.txt文件的长时间运行的网络爬虫很有用。
- modified()¶
将上次获取
robots.txt文件的时间设置为当前时间。
- crawl_delay(useragent)¶
从
robots.txt中返回所讨论的 useragent 的Crawl-delay参数的值。 如果没有这样的参数，或者它不适用于指定的 useragent，或者此参数的robots.txt条目具有无效的语法，则返回None。3.6 版本新增。
以下示例演示了 RobotFileParser 类的基本用法
>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True