网站 robots.txt 的作用是?
A: 表明该网站有多少个机器人守护
B: 记录了所有爬虫访问的记录
C: 表明了哪些页面可以爬取哪些不能
A: 表明该网站有多少个机器人守护
B: 记录了所有爬虫访问的记录
C: 表明了哪些页面可以爬取哪些不能
举一反三
- 网站的robots.txt的作用是什么 A: 告知用户本网站有robots.txt中列出的子站点 B: 方便网络爬虫爬取本站数据 C: 供开发者查阅,方便网站开发 D: 告知爬虫robots.txt中列出的子站点不要爬取
- 如果一个网站的根目录下没有robots.txt文件,下面哪个说法是不正确的? A: 网络爬虫可以肆意爬取该网站内容。 B: 网络爬虫可以不受限制的爬取该网站内容并进行商业使用。 C: 网络爬虫应该以不对服务器造成性能骚扰的方式爬取内容。 D: 网络爬虫的不当爬取行为仍然具有法律风险。
- 如果目标网站有反爬虫声明,那么对方在被爬虫爬取以后,可以根据哪些操作来起诉使用爬虫的公司? A: 服务器日志 B: 数据库日志记录 C: 程序日志记录 D: 服务器监控
- 网站通过robots.txt文件可以限定网络爬虫的访问范围。
- Robots.txt有什么作用() A: 使搜索引擎不能访问网站 B: 使百度不能访问网站 C: 使google不能访问网站 D: 控制搜索引擎访问网站