robots协议怎么书写？

2025-02-25 06:26:10

推荐回答（3个）

回答1：

#
# robots.txt for 你的网站安装包，或者你的网站名
#

User-agent: *
Disallow(不允许): /不想被收的目录/
Disallow(不允许）: /不想被收的目录/

(结束。把括号内中文去了。把其他的转换成要求。格式为.TXT，扔在根目录下。记得不要把根目录填上去就行了。若是某个网页，就填绝对路径。)

回答2：

如果你不确定的文件最好不要放入网站中，百度蜘蛛最不喜欢404页面，或者是内部格局混乱的页面。

回答3：

如果你网站没有什么不能让引擎见的东西，最好不要写这个文件，最好不要！