我想知道怎么看百度蜘蛛是否爬过我的网站,需要我怎么看日志,请说的具体些,具体操作。谢谢~~~~~~~~~~

我不想用什么工具
2025-01-05 12:09:31
推荐回答(1个)
回答1:

2010-12-27 20:31:30 W3SVC199 69.42.209.25 GET /viewNews.asp newsId=108 80 - 66.249.67.181 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0 28822
这一条记录代表谷歌机器人到访过你的网站,应该很容易看出来吧。只要你了解一般搜索引擎爬行器的名称就应该知道了。Googlebot-谷歌机器人,Baiduspider-百度搜索蜘蛛
等。