便宜国外vps论坛_崩溃了，百度抓取失败，找不到问题

主机参考：VPS测评参考推荐/专注分享VPS服务器优惠信息！若您是商家可以在本站进行投稿，查看详情！此外我们还提供软文收录、PayPal代付、广告赞助等服务，查看详情！

我们发布的部分优惠活动文章可能存在时效性，购买时建议在本站搜索商家名称可查看相关文章充分了解该商家！若非中文页面可使用Edge浏览器同步翻译！PayPal代付/收录合作

下面不是我的站，但是程序一样，错误一样，现在看来是程序什么地方的问题了

h t t p://www.0832h.c o m/inde x.p h p?c a id=3&a m p;c c id6=188&a m p;c c id1=210 （抓取失败 403错误）
h t t p://www.0832h.c o m/inde x.p h p?c a id=3 （抓取成功）
连个页面在浏览器访问，cur l，17c e.c o m 测试都是正常的200状态
但是用这个网页抓取测试（和百度站长抓取结果一致）h t t p://www.cjzz c.c o m/c r a w l.h t m l显示

HTTP/1.1 403 Fo r b idde n
Da t e: Wed, 10 Jun 2020 07:55:24 GMT
Co n t e n t-Typ e: t e x t/h t m l;c h a rse t=g b k
Tr a nsf e r-En c odin g: c hun k ed
Co n n e c tio n: c l ose
Se t-Co okie: __cfduid=d0f2f e465f3d2cda b45372b9d2c4b b c761591775724; e x pir es=Fri, 10-Jul-20 07:55:24 GMT; p a t h=/; do m ain=.*****.c o m; Ht t pOn ly; Sa m eSit e=La x
Va ry: Ac c e p t-En c odin g
Se t-Co o kie: PHPSESSID=mim2pjum o fi2lsg p7b6ldo b ci2; p a t h=/
Ex pir es: Thu, 19 No v 1981 08:52:00 GMT
Ca c h e-Co n t r o l: n o-st o r e, n o-c a c h e, m us t-r e v a l id a t e, p ost-c h e c k=0, p r e-c h e c k=0
Pr a g m a: n o-c a c h e
CF-Ca c h e-St a t us: DYNAMIC
cf-r e quest-id: 033ed31a c80000f b06dc195200000001
Ex p e c t-CT: m a x-a g e=604800, r e p o r t-uri=”https://r e p o r t-uri.c l oudf l a r e.c o m/cdn-c gi/b e a c o n/e x p e c t-c t”
Se r v e r: yunjiasu-n gin x
CF-RAY: 5a1187a47f3c f b06-TSN

1，开始以为是服务器环境问题，因为之前安装宝塔面板的时候安装了免费防火墙，有乱七八糟安装了几个插件。
所以直接服务器全盘格式化之后重新安装了w e b面板和系统。但是问题依旧
2，关闭了百度的CDN之后，在抓取测试那块显示源服务器IP之后抓取依旧失败
3，r o b o ts文件没有什么修改，看了下没有什么问题
4，把这几个 p h p 文件权限调成777 问题依旧
5，网站并未使用伪静态

实在想不到还有什么问题了。。。

看起来好像是程序的问题，因为不同的网站相同的程序，遇到同样的问题

各路大神回复说：

注册说：域名不放出来，又要别人排错，可能吗？

a m o说：这问题昨天不是问过吗？

Syc说：状态码是200，那就多抓取几次试试

ye min g tu说：这种动态域名，做伪静态很容易吧做伪静态也更方便百度抓取

香港高防服务器说：域名PM瞧瞧咯

哈登说：百度站长资源平台不是有自己的模拟抓取工具吗。套了CF 看看设置

h xuf说：哥们这个抓取就是在百度站长平台测试的你看这个套了CF的是百度云加速，之前测试关了也不行

cityw a r说：随便新建个网站绑个域名再模拟抓取下看看是服务器的安全设置。还是网站的问题。

a m o说： h t t p://www.0832h.c o m/inde x.p h p?c a id=3&a m p;c c id6=188&a m p;c c id1=210 失败 h t t p://www.0832h.c o m/inde x.p h p?c a id=3 成功你可以在这测试下说：h t t p://w w w.cjzz c.c o m/c r a w l.h t m l 程序问题

注册说：你可以看看帖子，发了玉米

注册说：可能程序本身自己有白名单，对UA判断或者IP判断有放行封禁

a m o说： c ls_e n vBase::Al l o wRo b o t 去数据库查查有没有对应的关键字表啥的这可能程序自带的限制蜘蛛爬虫功能说不定

主机参考zhujic a n k a o.c o m_收集国内外VPS，VPS测评，主机测评，云服务器，虚拟主机，独立服务器，国内外服务器，高性价比建站主机相关优惠信息
详细介绍和测评国外 VPS 主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器 VPS参考测评资讯优惠信息分享平台