level 11
updevil
楼主
大家帮忙看看我的robots.txt写法对吗?我用的是帝国cms。我把所有包含index.html的都封了,比如http://www.drourou.com 封掉了http://www.drourou.com/index.html
另外我问下,栏目列表页有分页:
http://www.drourou.com/duorouDIY/ 第一页
http://www.drourou.com/duorouDIY/index_2.html 第二页
是不是只需要让百度收录第一页就可以了?(集中权重)
内容如下:
User-agent: *
Disallow: /d/
Disallow: /e/
Disallow: /*index*.html
Sitemap: http://www.drourou.com/sitemap.xml
2016年04月11日 13点04分
1
另外我问下,栏目列表页有分页:
http://www.drourou.com/duorouDIY/ 第一页
http://www.drourou.com/duorouDIY/index_2.html 第二页
是不是只需要让百度收录第一页就可以了?(集中权重)
内容如下:
User-agent: *
Disallow: /d/
Disallow: /e/
Disallow: /*index*.html
Sitemap: http://www.drourou.com/sitemap.xml