主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情! |
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作 |
VPS主机服务器优惠分享、二手交易综合交流社区、国外便宜VPS主机论坛:https://www.hostccn.com
主机参考(zhujicankao.com)网友大佬发文说:
今日头条网页,使用PHP无法读取它的源码,使用curl会返回error几个字符,而使用 file_get_contents直接返回空,模拟浏览器post和get的方法都试过了,直接返回空白或错误。 |
注册网友回复说: 在本地使用浏览器的另存为,可以下载完整的源码,但是在服务器上用PHP来读取却总是出错。
唐王李世民网友回复说: 有些网页是先加载网页框架 然后 在通过js 来加载实际内容的
dollck网友回复说: 你能说说你是怎么模拟浏览器的post和get么? file_get_contents直接返回空 状态码是多少? 返回的response header中有什么内容?
alk19t网友回复说: php发送请求的时候把 request headers 参数和浏览器一模一样提交过去。
gdtv网友回复说: 没留意返回状态码,网页上返回error几个字母或者空白,调试了几个UA,都是返回301,header我截图发原文中,谢谢您了。
注册网友回复说: 我把部份代码发1楼了,麻烦您看看有什么不对,谢谢您了
唐王李世民网友回复说: 可以取到哈,你请求头一定要把cookie带过去,这个站点加了无感知盾
唐王李世民网友回复说: 不知道是不是我的问题,我用浏览器访问你给出的https://www.ixigua.com/6981346230844686862 这个链接,页面是空白的。
kosuo网友回复说: 好的,谢谢您了,我明天看一看,只需添加cookies就可以了吗?
xiaoxiaobai网友回复说: 模拟请求user agent
唐王李世民网友回复说: cookies是指定一个就可以了吗? 谢谢您了
dollck网友回复说: 已经模拟UA了,但是不行,有时候返回error,有时候返回空白,谢谢您了
唐王李世民网友回复说: 火狐浏览器有些傻,在火狐下会有时候这样。
注册网友回复说: 不要随便在网上复制代码后就直接运行,每个网站的http request header都不一样,如果没有反爬虫机制,又不需要鉴权,那就可以。如果有哪怕一点点的反爬虫机制,你复制的代码就没有办法得到你预期的效果了。
解憂雜貨店网友回复说: 不是,进页面的时候会到无感知盾,这边加载一个cookie然后302到真实的页面,你要取的是这个cookie
kosuo网友回复说: 应该如何取cookies呢?谢谢您了
唐王李世民网友回复说: 浏览器进到正常首页,在header里就有,直接复制用就行
kosuo网友回复说: 西瓜的需要referer,而且请求是个ajax地址才可以获取到作品列表。。。 我这几天 准备写个西瓜视频监控的软件 。。。
唐王李世民网友回复说: 下面是仅仅带UA访问返回的内容,从内容可以看出关键代码就是生成__ac_signature、__ac_nonce等cookie后然后跳转,只是单纯的做了简单的防爬 ,你只要把这个cookie生成逻辑弄懂完全可以用PHP模拟生成出来! function _f1(e, t) { if (“string” != typeof t) return; var o, n = e + “=”, r = t.split(/[;&]/); for (var e = 0; e < r.length; e++) { for (o = r[e]; ” ” === o.charAt(0);) o = o.substring(1, o.length); if (0 === o.indexOf(n)) return o.substring(n.length, o.length) } return “” } function _f2(e) { return _f1(e, document.cookie) } function _f3(e, t, o) { try { o && (window.sessionStorage && window.sessionStorage.setItem(e, t), window.localStorage && window.localStorage.setItem(e, t)); var n = 31536e6; document.cookie = e + “=; expires=Mon, 20 Sep 1970 00:00:00 UTC; path=/;”, document.cookie = e + “=” + t + “; expires=” + new Date((new Date).getTime() + n).toGMTString() + “; path=/;” } catch (e) {} } window.byted_acrawler.init({ aid: 99999999, dfp: !0 }); var __ac_nonce = _f2(“__ac_nonce”), __ac_signature = window.byted_acrawler.sign(“”, __ac_nonce); _f3(“__ac_signature”, __ac_signature), _f3(“__ac_referer”, document.referrer || “__ac_blank”, !0); try { sessionStorage.setItem(“__ac_ns”, performance.timing.navigationStart) } catch (e) {}; window.location.reload(); 复制代码
无知灰灰网友回复说: 那么问题来了,怎么把cookie生成逻辑的函数改成php来实现呢? 我在采集另一个网站的时候也遇到同样的问题,后来我用headerless浏览器去运行cookie生成的相关js代码,获取跳转后的url,再用php去抓取这个url,不过这样比较麻烦也比较慢。
注册网友回复说: 看JS相关代码来实现就对了,如果你想省事,可以再装个NODE.JS 做成函数接口,PHP传递相关参数后直接返回结果也可以的。
注册网友回复说: https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js
主机参考zhujicankao.com_收集国内外VPS,VPS测评,主机测评,云服务器,虚拟主机,独立服务器,国内外服务器,高性价比建站主机相关优惠信息
详细介绍和测评国外VPS主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器VPS参考测评资讯优惠信息分享平台
主要提供VPS云服务器相关话题的社区论坛。讨论VPS云服务器、VPS主机、VPS优惠码、VPS特价优惠分享、香港美国日本韩国VPS等令人激动的话题
tag:
vps论坛,香港vps论坛,美国vps论坛,vps主机论坛,美国vps主机论坛,vps交流论坛,日本vps论坛,国外vps论坛,美国主机论坛,主机论坛,全球主机论坛,全球vps论坛,主机交流论坛,免费vps论坛,vps优惠论坛,国外vps优惠,香港vps优惠,vps优惠码,hostccn.com
这几篇文章你可能也喜欢:
- 搬瓦工VPS,限量款套餐补货,美国CN2 GIA/日本软银/荷兰AS9929,1Gbps超大高端网络线路,KVM虚拟架构,1核1G内存1Gbps带宽,80美元/年,机房可随意切换
- CloudCone,美国Win系统VPS云服务器少量补货,美国洛杉矶MC机房,KVM虚拟架构,3核4G内存1Gbps带宽,17.49美元/月
- LOCVPS,双12特惠,香港免备案VPS云服务器终身65折,香港葵湾机房,CN2+BGP/CN2网络,KVM虚拟架构,1核2G内存2Mbps带宽不限流量,29.25元/月
- 恒创科技,全场3折优惠起,免备案香港VPS云服务器低至28元/月,香港/美国,新增多款特价服务器,1核1G内存5Mbps带宽不限流量,292元/年
- 萤光云,香港VPS云服务器测评报告,回国优化线路,香港VPS测评,萤光云VPS好不好?萤光云香港VPS云服务器值得购买吗?
本文由主机参考刊发,转载请注明:便宜国外vps论坛_PHP无法获取网页源码的问题 https://zhujicankao.com/64279.html
评论前必须登录!
注册