垃圾爬虫为啥禁止不了？ - 国外vps主机测评

各路大神的回复：

注册： ​这​种​直​接UA​屏​蔽​吧   ​​​​

魔鬼筋肉人： 这不都是规矩的robot.txt吗？守规矩的人遇到不讲理的也是白搭

hasamol7468： 让他爬呗，这个有啥

h20： 你那个只是口头声明告诉他 不要爬。但是他可以不遵守规则继续爬 你得拉黑他 IP 或者禁 UA

雪丫鬟： 你的站可真够卡的，刷新+一分多才打开内容页，电信

nicestill： 要的就是这效果。反正就是挂个样子。域名不能空着。 不过没那么夸张吧，买的老鹰的虚拟主机。我开了listspeed

杀猪的： 怀疑你是不是用的1元一年的空间，进入内容页一分多，返回首页几十秒，再次进入内容页最少一分多，整站图片加载更别提了

雪丫鬟： 有爬虫不好么

杀猪的： 没有。是老鹰主机的虚拟主机。原来体验那么差，我自己访问还行。

这几篇文章你可能也喜欢：

• PacificRack，黑色星期五特别优惠，美国便宜VPS云服务器低至1折，美国洛杉矶QN自营机房，KVM虚拟架构，2核4G内存100Mbps带宽，仅15美元/年，约1.25美元/月
• 咸鱼云SaltyFishCloud，黑色星期五特别优惠，海外便宜低价VPS云服务器7折，德国CN2 GIA混合线路，KVM虚拟架构，1核1G内存300Mbps带宽，14.28美元/季
• PacificRack，黑色星期五特别优惠，全场VPS云服务器5折，美国洛杉矶自营机房，KVM虚拟架构，1核512M内存100Mbps带宽，12.5美元/年
• PacificRack，黑色星期五特别优惠，国外便宜混合服务器低至3折，终身循环优惠，E5-2650v2处理器16G内存100Mbps带宽，30美元/月，可升级1Gbps带宽，无限制支持虚拟化
• #实时更新#最新2021年主机商双十一活动汇总，国内外VPS主机商双11促销优惠活动汇总，海外免备案VPS云服务器/独立服务器超大带宽不限流量双11活动

本文由主机参考刊发，转载请注明：垃圾爬虫为啥禁止不了？ - 国外vps主机测评 https://zhujicankao.com/8067.html