robots.txt文件主要放在网站根目录下。
举一反三
- robots.txt文件放在哪里() A: 网站根目录下 B: 网站子栏目下 C: 网站内容页面 D: 网站图片文件
- 关于网络爬虫协议文件robots.txt,说法错误的是() A: 一个网站可以放多个不同robots文件 B: robots文件不可以用xml格式命名 C: disallow用来描述不希望被访问到的一个URL D: robots文件可以放在任何位置
- 当前目录为根目录,要删除C:盘根目录下WS子目录中后缀为.TXT的所有文件,可使用()。
- 当前目录为根目录,要删除C:盘根目录下WS子目录中后缀为.TXT的所有文件,可使用()。 A: DELC:*.TXT B: DELWS*.TXT C: DELWS*.TXT D: DELC:WS*.TXT
- 下列哪个文件应存放在网站根目录下()。 A: robots.txt B: config.php C: backup.zip D: logo.jpg