阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞

相信你还记得360搜索引擎不遵守robots协议被百度抓到挂机的事件。我们不评判谁对谁错。今天我们将讨论如何禁止这些不遵循robots协议的搜索引擎抓取我们不希望它们抓取的内容。

不久前，WordPress官方插件目录中增加了一个名为Blackhole for Bad Bots的插件，用于清理这些不守规矩的搜索引擎蜘蛛。这个插件的原理很有意思。robots.txt文件中添加了一个虚拟链接。一旦蜘蛛试图访问它，该插件将禁止蜘蛛访问网站中的其他页面。行为良好的蜘蛛自然不会访问这个链接，可以畅通无阻地抓取网站允许搜索引擎收录的页面。

这相当于设置了一个巧妙的陷阱。如果你遵守规则，我自然欢迎你。如果你不遵守规则，你就会踏入我设下的陷阱。哦，对不起，这里不欢迎你。更好的是，普通用户看不到这个隐藏的链接，遵循robots协议的搜索引擎不受影响。

功能特性设置简单，代码干净。基于WordPress API的开发功能简单而具体，具有轻量级、高性能和高灵活性。您可以轻松地重置阻止的蜘蛛列表。您可以通过设置页面设置来删除单个被阻止的蜘蛛插件，而无需在背景中添加静音。后台工作，不会影响正常用户的访问。通过whois查找被阻止的僵尸程序，以光学方式接收电子邮件c-alert所有主要搜索引擎都已被列入白名单。不会被屏蔽。自定义显示给被阻止的搜索引擎的消息。一键重置插件设置。如果你的网站不是基于WordPress，那也没关系。只要你用的语言是PHP，就可以通过Blackhole的独立PHP版本实现同样的功能！

白名单默认情况下，该插件不会屏蔽以下任何主流搜索引擎。以下搜索引擎默认添加到插件的白名单中，插件也允许我们在设置中手动添加其他搜索引擎到白名单中。

AOL . combaidubingbot/MSNDuckDuckGoGooglebotTeomaYahoo！Yandex如果你的网站不是基于WordPress的，也可以使用PHP版本的插件。

这几篇文章你可能也喜欢：

• 暂无相关推荐文章

本文由主机参考刊发，转载请注明：阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞 https://zhujicankao.com/89837.html