高分悬赏,最近百度蜘蛛经常抓取状态码500的页面(wordpress中的"你无权浏览草稿")应该怎么解决。

2024-11-19 09:34:05
推荐回答(1个)
回答1:

设置Robots.txt限制百度蜘蛛爬行改路径就可以了。
例:User-agent: *
Disallow: /admin/
Disallow: /images/