屏蔽一些国外或国内5118、桔子SEO的蜘蛛

上面先容屏障外洋一些网站阐发平台的蜘蛛的方式。

有些网站蜘蛛爬起来比baidu、google还要勤劳,频仍的爬取会增长服务器的必定负荷,对付服务器机能急急的小火伴很是合用。

外洋常见非搜刮引擎蜘蛛列表:

SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

1、robots.txt协定修改(以上7个蜘蛛都遵照robots协定)

User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /


2、浮图等防火墙增长UA黑名单

在浮图防火墙中增长如上UA头,或者者批量导入,花式以下:

[“SemrushBot”,”DotBot”,”MegaIndex.ru”,”MauiBot”,”AhrefsBot”,”MJ12bot”,”BLEXBot”]

 

屏蔽一些国外或国内5118、桔子SEO的蜘蛛

 

海内5118以及桔子这种爬虫影响力有限,这里暂不处置。

 

给TA打赏
共{{data.count}}人
人已打赏
建站技巧

腾讯云函数免费额度和计费调整通知(奇葩行为源自时代的产物)

2022-12-25 21:33:29

建站技巧

ZBlog的火车头采集免登录发布模块下载及使用教程

2022-12-25 21:33:31

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索