# 网站爬虫总爬动态地址?别怕,插件来助力!
你是否留意到,即便网站设置了伪静态,在流量统计中,仍能看到不少搜索引擎蜘蛛执着地爬取动态地址。这蜘蛛,就是不按常理出牌!
比如,网站开启伪静态后,正常伪静态地址该是http://www.xxx.com/thread-809-1-1.html ,可爬虫却爬向http://www.xxx.com/forum.php?mod=viewthread&tid=809这样的动态地址。这有啥坏处呢?
- **降低搜索引擎好感**:动态地址对搜索引擎极不友好。蜘蛛爬到动态地址,会降低对网站的好感,爬取积极性下降,收录自然难以提升。
- **分散网站权重**:对搜索引擎而言,http://www.xxx.com/thread-809-1-1.html和http://www.xxx.com/forum.php?mod=viewthread&tid=809虽是内容相同,但被视为不同地址,导致网站权重分散,不利于SEO。
## 插件神奇效果
当输入动态网址或爬虫爬到帖子动态地址时,插件会强制通过301方式将地址转到伪静态地址。301能传递权重,这就解决了权重分散问题,把动态地址权重集中到伪静态地址。而且,强制转到伪静态地址,让网站主动向搜索引擎示好,有助于提高收录和权重。
## 搜索引擎增强模式
本插件支持搜索引擎增强模式。正常情况下,为不影响用户体验,带参数的url不强制转化。开启此模式后,插件能自动识别蜘蛛,在不影响用户正常体验的前提下,对蜘蛛来访时带参数的url进行强制转换,针对蜘蛛转换更多url,实现SEO优化目的。
解压密码: None
暂无评论内容