• 2022-06-14
    robots.txt与meta robots html在使用过程中的区别,以下说法正确的是( )
    A: robots.txt文件这个方式下页面会被抓取
    B: robots.txt文件这个方式下页面不会被抓取
    C: robots.txt文件这个方式下页面会被收录
    D: meta robots html页面会被抓取但不会被索引