最新文章:

  • robots.txt文件是干嘛用的

      robots.txt简介robots.txt文件是一个提供给搜索引擎蜘蛛读取并遵循严格的语法内容所组成的文本文件,也称为“机器人排除协议”,它不是任何组织制定的官方标准,但是所有主流的搜索引擎都遵循它的规则。它是告诉搜索引擎蜘蛛,该网站哪些内容是可以抓取,哪些内容是禁止抓取的的方法之一。它是一个纯文本文件,存放在站点根目录下。它的设置虽然很简单,...

    1. 评论数:0
    2. 2020年6月12日17时