level 3
幽凉落
楼主
从零开始学SEO——robots协议
robots协议的含义：也称为爬虫协议、机器人协议，全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。
robots协议Robot是什么：Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
robots协议的目的：1.搜索技术应服务于人，同时尊重信息提供者意愿并维护其隐私权。2.网站有义务保护其使用者的个人信息和隐私不被侵犯。
robots协议的格式：Robots.txt。应该放置在网站根目录下。
robots协议的写法格式：格式：User-agent: 蜘蛛名称Disallow: 内容名称Allow:内容名称参数说明：User-agent 指定搜索引擎蜘蛛名称；Disallow要禁止抓取的内容；Allow允许抓取的内容
robots协议的robot名称有很多，简单的介绍几个，谷歌：googlebot ，百度：baiduspider ，MSN：MSNbot，雅虎：Slurp，有道：YoudaoBot，搜搜：Sosospider，搜狗：sogou spider，360：360Spider，alexa：ia_archiver。也就是SEO中常说的探测器（Robot）是搜索引擎用来抓取网页的工具，它是一个软件或者说一系列自动程序。不同的搜索引擎给他们自己的探测器（Robot）起不同的名字。
robots协议中的通配符说明，他们代表着不一样的含义“*”表示所有搜索引擎，用于指定蜘蛛使用。“~”表示以某字符串开头。“$”表示以某字符串结尾。“/”表示当前目录下的所有内容。
欢迎访问1688bus信息分享中心！每日一帖，SEO实战技巧，从零开始学SEO
http://www.1688business.cn
2016年11月30日 06点11分
1
robots协议的含义：也称为爬虫协议、机器人协议，全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。
robots协议Robot是什么：Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
robots协议的目的：1.搜索技术应服务于人，同时尊重信息提供者意愿并维护其隐私权。2.网站有义务保护其使用者的个人信息和隐私不被侵犯。
robots协议的格式：Robots.txt。应该放置在网站根目录下。
robots协议的写法格式：格式：User-agent: 蜘蛛名称Disallow: 内容名称Allow:内容名称参数说明：User-agent 指定搜索引擎蜘蛛名称；Disallow要禁止抓取的内容；Allow允许抓取的内容
robots协议的robot名称有很多，简单的介绍几个，谷歌：googlebot ，百度：baiduspider ，MSN：MSNbot，雅虎：Slurp，有道：YoudaoBot，搜搜：Sosospider，搜狗：sogou spider，360：360Spider，alexa：ia_archiver。也就是SEO中常说的探测器（Robot）是搜索引擎用来抓取网页的工具，它是一个软件或者说一系列自动程序。不同的搜索引擎给他们自己的探测器（Robot）起不同的名字。
robots协议中的通配符说明，他们代表着不一样的含义“*”表示所有搜索引擎，用于指定蜘蛛使用。“~”表示以某字符串开头。“$”表示以某字符串结尾。“/”表示当前目录下的所有内容。
欢迎访问1688bus信息分享中心！每日一帖，SEO实战技巧，从零开始学SEO
http://www.1688business.cn