下列选项中，关于robots.txt文件的说法正确的是（）
A: robots.txt文件存放于空间根目录下
B: robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
C: 如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
D: robots.txt文件只需要存放在空间任意位置就行
A: robots.txt文件存放于空间根目录下
B: robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
C: 如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
D: robots.txt文件只需要存放在空间任意位置就行
A,B,C
举一反三
- robots.txt与meta robots html在使用过程中的区别，以下说法正确的是（ ） A: robots.txt文件这个方式下页面会被抓取 B: robots.txt文件这个方式下页面不会被抓取 C: robots.txt文件这个方式下页面会被收录 D: meta robots html页面会被抓取但不会被索引
- 关于网络爬虫协议文件robots.txt，说法错误的是（） A: 一个网站可以放多个不同robots文件 B: robots文件不可以用xml格式命名 C: disallow用来描述不希望被访问到的一个URL D: robots文件可以放在任何位置
- Robots.txt文件的作用是禁止搜索引擎抓取网站中某些内容，存放位置是（ ）
- robots.txt文件主要放在网站根目录下。
- robots.txt的作用是（）。 A: 禁止搜索引擎蜘蛛抓取特定URL B: 给搜索引擎蜘蛛提供网站地图文件 C: 以上都对
内容
- 0
robots.txt文件放在哪里（） A: 网站根目录下 B: 网站子栏目下 C: 网站内容页面 D: 网站图片文件
- 1
每个网站都有robots.txt文件
- 2
网站通过robots.txt文件可以限定网络爬虫的访问范围。
- 3
下列哪个文件应存放在网站根目录下（）。 A: robots.txt B: config.php C: backup.zip D: logo.jpg
- 4
百度robots工具具有以下哪项功能（） A: 实时查看网站在百度中已生效的robots文件内容 B: 支持通知百度更新网站的robot文件 C: 支持对robots文件进行语法及逻辑校验 D: 能够按照规则生成robots文件 E: 以上全都是