关于网络爬虫协议文件robots.txt,说法错误的是:
举一反三
- 关于网络爬虫协议文件robots.txt,说法错误的是() A: 一个网站可以放多个不同robots文件 B: robots文件不可以用xml格式命名 C: disallow用来描述不希望被访问到的一个URL D: robots文件可以放在任何位置
- 网站通过robots.txt文件可以限定网络爬虫的访问范围。
- 下面哪个说法是不正确的?? Robots协议可以作为法律判决的参考性“行业共识”。|Robots协议是互联网上的国际准则,必须严格遵守。|Robots协议是一种约定。|Robots协议告知网络爬虫哪些页面可以抓取,哪些不可以。
- robots.txt与meta robots html在使用过程中的区别,以下说法正确的是( ) A: robots.txt文件这个方式下页面会被抓取 B: robots.txt文件这个方式下页面不会被抓取 C: robots.txt文件这个方式下页面会被收录 D: meta robots html页面会被抓取但不会被索引
- 以下关于网络爬虫爬取数据的说法错误的是( )。 A: 爬取数据应该获取客户授权或者爬取公开数据 B: 遵循robots C: 不公开爬虫源码和数据 D: 提高爬取速度和效率