robots.txt与meta robots html在使用过程中的区别，以下说法正确的是（ ）
A: robots.txt文件这个方式下页面会被抓取
B: robots.txt文件这个方式下页面不会被抓取
C: robots.txt文件这个方式下页面会被收录
D: meta robots html页面会被抓取但不会被索引
A: robots.txt文件这个方式下页面会被抓取
B: robots.txt文件这个方式下页面不会被抓取
C: robots.txt文件这个方式下页面会被收录
D: meta robots html页面会被抓取但不会被索引
B,D
举一反三
- 使用了meta robots标签的页面在任何情况下都会被抓取。
- 关于网络爬虫协议文件robots.txt，说法错误的是（） A: 一个网站可以放多个不同robots文件 B: robots文件不可以用xml格式命名 C: disallow用来描述不希望被访问到的一个URL D: robots文件可以放在任何位置
- 下面哪个说法是不正确的？? Robots协议可以作为法律判决的参考性“行业共识”。|Robots协议是互联网上的国际准则，必须严格遵守。|Robots协议是一种约定。|Robots协议告知网络爬虫哪些页面可以抓取，哪些不可以。
- 网站诊断的内容主要包括网站收录、关键词排名、网站链接、抓取错误与统计、robots文件以及网站内容等。
- Which of the following is the main idea of this article? A: Robots B: Uses of Robots C: Development of Robots D: Advantages of Robots
内容
- 0
百度robots工具具有以下哪项功能（） A: 实时查看网站在百度中已生效的robots文件内容 B: 支持通知百度更新网站的robot文件 C: 支持对robots文件进行语法及逻辑校验 D: 能够按照规则生成robots文件 E: 以上全都是
- 1
下列选项中，关于robots.txt文件的说法正确的是（） A: robots.txt文件存放于空间根目录下 B: robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件 C: 如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面 D: robots.txt文件只需要存放在空间任意位置就行
- 2
代表Web页面文件的是( ) A: wps B: html C: txt D: gif
- 3
Which of the following statements is NOT true of robots A: It's difficult to prevent robots from contacting people. B: The behavior of robots will be more unforeseeable. C: Robots in the future will be more intelligent than those today. D: Programming robots through a cramped room is the most difficult task
- 4
Robots.txt文件的作用是禁止搜索引擎抓取网站中某些内容，存放位置是（ ）