您当前的位置:首页 > seo技术 > robots.txt问题请教


robots.txt问题请教

作者:大红SEO 时间:2014-11-18 22:39:17 来源:

我 的论坛robots.txt里面多了Sitemap: http://www.wgowgow.com/sitemap.xml (不是我添加的)这个应该是地图对不。如果将http://www.wgowgow.com/sitemap.xml (去掉Sitemap:可以打开)打开里面显示几乎都是带“?”的内容,带问号的应该是动态的。如果这个是为了不让蜘蛛抓取动态那他存在是对的,但是别人 的robots.txt里没有这条。是伪静态没做好吗?也做过伪静态的啊。请各位指点一下。333大红seo
333大红seo
          还有个问题:我不想让蜘蛛抓取某个帖子在robots.txt里面添加Disallow: /帖子的url     这样做对不?用不用加**号或/333大红seo
333大红seo
333大红seo
333大红seo

sitemap表示的是网站地图,但是看你的地图内容,几乎都是首页,只是加了不同参数,看着是要搞你的意思,就是让你的首页有大量重复页面,然后让你的首页降权。看看是否有人故意做的手脚。333大红seo

欢迎关注大红seo的博客,您也可以关注我的微信:beyondnever 或者加我QQ:502791664

.

在线客服

咨询客服