如何避免博客(wordpress搭建)在预览文章时,被搜索引擎抓取呢?

谢谢!
2025-03-17 11:19:47
推荐回答(2个)
回答1:

可以在根目录的robots,txt文件里面修改相应的设置:

robots.txt文件用法举例
  例1、禁止所有搜索引擎访问网站的任何部分
  User-agent: *
  Disallow: /
  例2、允许所有的robot访问
  User-agent: *
  Disallow:
  (或者也可以建一个空文件 "/robots.txt" file)
  例3、禁止某个搜索引擎的访问
  User-agent: BadBot
  Disallow: /
  例4、允许某个搜索引擎的访问
  User-agent: baiduspider
  Disallow:
  User-agent: *
  Disallow: /
  例5、一个简单例子
  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /tmp/
  Disallow: /joe/
  需要注意的是对每一个目录必须分开声明,而不要写成:“Disallow: /cgi-bin/ /tmp/”。
  User-agent:后的* 具有特殊的含义,代表“any robot”,所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现。

回答2:

就如robot文件就可以了