bethebot一个网站让你模拟yahoo或个google的网页bot所有网站都将对bot开放所有网页http://www.avivadirectory.com/bethebot/搜索引擎都会有一个网页bot给引擎数据库添加网页当bot访问一个网站时网站就会读取bot的headhead就会告诉网站自己是baidu、google或者yahoo的网页bot所有网页将会无条件开放。。。不信找个打不开的网页试试

百度经常抽原因：有点像windows里的碎片整理，经常搬运文件，以达到搜索引擎数据库的高效运转，当我们访问一个正在搬运的网页中，百度只能提示你要访问的网页不存在。。。囧。。。