九月资源网-不以盈利为目的,仅仅为个人学习、研究或者欣赏。若未注明来源,请联系添加。如果侵犯到您的版权,请联系删除相关文章。

关于搜索引擎蜘蛛爬取wp-login问题

学习笔记 Thor 4周前 (11-10) 16次浏览 已收录 0个评论 扫描二维码
文章目录[隐藏]

前言

最近没怎么看自己的网站关键词和排名了。但还是偶尔会在后台日志查看搜索引擎蜘蛛抓取的情况。

发现问题

BaiduSpider(百度蜘蛛)大量的抓取一些wp-login?的页面

GET /wp-login.php?redirect_to=https%3A%2F%2Fwww.sir8.cn%2F556.html
GET /wp-login.php?redirect_to=https%3A%2F%2Fwww.sir8.cn%2F556.html

这只是其中一部分,打开后面的链接,发现是文章内容页。然后我去查了页面源代码

找到是登陆注册这里的问题,这就好办了。

解决方法

设置robots

我是将robots里的内容里加上了新的禁止url

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login
Allow: /wp-admin/admin-ajax.php

这样就能很好的阻止百度抓取这种页面(我使用的这种)

加属性

a标签可以加上rel="nofollow" 的属性,来阻止搜索引擎的抓取循环。(前提知道主题这里的更改目录)


本文标题:关于搜索引擎蜘蛛爬取wp-login问题
若文件有解压密码,默认为:www.sir8.cn
本站提供的一切软件、教程和内容信息仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途。
如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。
如有侵权,请联系邮箱shidao144@gmail.com进行删除处理。
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址