VPS参考测评推荐
专注分享VPS主机优惠信息
衡天云优惠活动
华纳云优惠活动
荫云优惠活动

便宜国外vps论坛_PHP无法获取网页源码的问题

主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情!
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作

VPS主机服务器优惠分享二手交易综合交流社区、国外便宜VPS主机论坛https://www.hostccn.com

主机参考(zhujicankao.com)网友大佬发文说:

      

     今日头条网页,使用PHP无法读取它的源码,使用curl会返回error几个字符,而使用 file_get_contents直接返回空,模拟浏览器postget方法都试过了,直接返回空白或错误

    应该如何获取呢?谢谢大家了。

例如地址网友回复说:

便宜国外vps论坛_PHP无法获取网页源码的问题-主机参考

便宜国外vps论坛_PHP无法获取网页源码的问题-主机参考

便宜国外vps论坛_PHP无法获取网页源码的问题-主机参考

各位大佬回复网友回复说:

注册网友回复说: 在本地使用浏览器的另存为,可以下载完整的源码,但是在服务器上用PHP来读取却总是出错。

唐王李世民网友回复说: 有些网页是先加载网页框架 然后 在通过js 来加载实际内容的

唐王李世民网友回复说: 那应该如何获取内容呢?谢谢

dollck网友回复说: 你能说说你是怎么模拟浏览器postget么? file_get_contents直接返回空 状态码是多少? 返回的response header中有什么内容?

唐王李世民网友回复说: 给个目标url 看看

yjsx86网友回复说: 模拟 user agent了吗?

alk19t网友回复说: php发送请求的时候把 request headers 参数和浏览器一模一样提交过去。

gdtv网友回复说: 没留意返回状态码,网页上返回error几个字母或者空白,调试了几个UA,都是返回301,header我截图发原文中,谢谢您了。

解憂雜貨店网友回复说: 地址已发1楼,谢谢您了

注册网友回复说: 我是模拟随机UA的,谢谢您了

注册网友回复说: 我把部份代码发1楼了,麻烦您看看有什么不对,谢谢您了

唐王李世民网友回复说: 可以取到哈,你请求头一定要把cookie带过去,这个站点加了无感知盾

唐王李世民网友回复说: 不知道是不是我的问题,我用浏览器访问你给出的https://www.ixigua.com/6981346230844686862 这个链接页面是空白的。

kosuo网友回复说: 好的,谢谢您了,我明天看一看,只需添加cookies就可以了吗?

xiaoxiaobai网友回复说: 模拟请求user agent

唐王李世民网友回复说: cookies是指定一个就可以了吗? 谢谢您了

dollck网友回复说: 已经模拟UA了,但是不行,有时候返回error,有时候返回空白,谢谢您了

唐王李世民网友回复说: 火狐浏览器有些傻,在火狐下会有时候这样。

唐王李世民网友回复说: 做了反爬虫拦截吧,反向操作就行了

注册网友回复说: 不要随便在网上复制代码后就直接运行,每个网站http request header都不一样,如果没有反爬虫机制,又不需要鉴权,那就可以。如果有哪怕一点点的反爬虫机制,你复制代码就没有办法得到你预期的效果了。

注册网友回复说:   骄傲的说一句,不懂 谢谢您了

解憂雜貨店网友回复说: 不是,进页面的时候会到无感知盾,这边加载一个cookie然后302到真实的页面,你要取的是这个cookie

唐王李世民网友回复说: 谢谢明天我改了试一试。

kosuo网友回复说: 应该如何cookies呢?谢谢您了

唐王李世民网友回复说: 浏览器进到正常首页,在header里就有,直接复制用就行

唐王李世民网友回复说: 好的,谢谢您了

kosuo网友回复说: 西瓜的需要referer,而且请求是个ajax地址可以获取到作品列表。。。 我这几天 准备写个西瓜视频监控软件 。。。

唐王李世民网友回复说: 下面是仅仅带UA访问返回的内容,从内容可以看出关键代码就是生成__ac_signature、__ac_noncecookie后然后跳转,只是单纯的做了简单的防爬 ,你只要把这个cookie生成逻辑弄懂完全可以用PHP模拟生成出来!                               function _f1(e, t) {                                              if (“string” != typeof t) return;                                              var o, n = e + “=”,                                                             r = t.split(/[;&]/);                                              for (var e = 0; e < r.length; e++) {                                                             for (o = r[e];                                                                            ” ” === o.charAt(0);) o = o.substring(1, o.length);                                                             if (0 === o.indexOf(n)) return o.substring(n.length, o.length)                                              }                                              return “”                               }                               function _f2(e) {                                              return _f1(e, document.cookie)                               }                               function _f3(e, t, o) {                                              try {                                                             o && (window.sessionStorage && window.sessionStorage.setItem(e, t), window.localStorage && window.localStorage.setItem(e, t));                                                             var n = 31536e6;                                                             document.cookie = e + “=; expires=Mon, 20 Sep 1970 00:00:00 UTC; path=/;”, document.cookie = e + “=” + t + “; expires=” + new Date((new Date).getTime() + n).toGMTString() + “; path=/;”                                              } catch (e) {}                               }                               window.byted_acrawler.init({                                              aid: 99999999,                                              dfp: !0                               });                               var __ac_nonce = _f2(“__ac_nonce”),                                              __ac_signature = window.byted_acrawler.sign(“”, __ac_nonce);                               _f3(“__ac_signature”, __ac_signature), _f3(“__ac_referer”, document.referrer || “__ac_blank”, !0);                               try {                                              sessionStorage.setItem(“__ac_ns”, performance.timing.navigationStart)                               } catch (e) {};                               window.location.reload(); 复制代码

无知灰灰网友回复说: 那么问题来了,怎么cookie生成逻辑的函数改成php来实现呢? 我在采集另一个网站的时候也遇到同样的问题,后来我用headerless浏览器去运行cookie生成的相关js代码,获取跳转后的url,再用php去抓取这个url,不过这样比较麻烦也比较慢。

注册网友回复说: 看JS相关代码来实现就对了,如果你想省事,可以再装个NODE.JS 做成函数接口,PHP传递相关参数后直接返回结果也可以的。

注册网友回复说: https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js

主机参考zhujicankao.com_收集国内VPS,VPS测评主机测评,云服务器,虚拟主机,独立服务器,国内外服务器,高性价比建站主机相关优惠信息
详细介绍和测评国外VPS主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器VPS参考测评资讯优惠信息分享平台
主要提供VPS云服务器相关话题的社区论坛讨论VPS云服务器VPS主机VPS优惠码、VPS特价优惠分享香港美国日本韩国VPS等令人激动的话题
tag:
vps论坛,香港vps论坛,美国vps论坛,vps主机论坛,美国vps主机论坛,vps交流论坛,日本vps论坛,国外vps论坛,美国主机论坛,主机论坛,全球主机论坛,全球vps论坛,主机交流论坛,免费vps论坛,vps优惠论坛,国外vps优惠,香港vps优惠,vps优惠码,hostccn.com

这几篇文章你可能也喜欢:

本文由主机参考刊发,转载请注明:便宜国外vps论坛_PHP无法获取网页源码的问题 https://zhujicankao.com/64279.html

【腾讯云】领8888元采购礼包,抢爆款云服务器 每月 9元起,个人开发者加享折上折!
打赏
转载请注明原文链接:主机参考 » 便宜国外vps论坛_PHP无法获取网页源码的问题
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明

相关推荐

评论 抢沙发

评论前必须登录!