每个网站都有robots.txt文件
举一反三
- 关于网络爬虫协议文件robots.txt，说法错误的是（） A: 一个网站可以放多个不同robots文件 B: robots文件不可以用xml格式命名 C: disallow用来描述不希望被访问到的一个URL D: robots文件可以放在任何位置
- robots.txt与meta robots html在使用过程中的区别，以下说法正确的是（ ） A: robots.txt文件这个方式下页面会被抓取 B: robots.txt文件这个方式下页面不会被抓取 C: robots.txt文件这个方式下页面会被收录 D: meta robots html页面会被抓取但不会被索引
- robots.txt文件主要放在网站根目录下。
- robots.txt文件放在哪里（） A: 网站根目录下 B: 网站子栏目下 C: 网站内容页面 D: 网站图片文件
- 网站通过robots.txt文件可以限定网络爬虫的访问范围。