ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: liucqa

[分享] 【感谢加精】网页采集教程第五课-如何伪造Cookie及处理Referer防盗链

  [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-5-26 00:38 | 显示全部楼层
liucqa 发表于 2014-5-24 21:01
MD5的32位哈希值

哈哈。。。。。我也尝试着百度了一下,果然。。。。。。
其实,我是闲着蛋疼,总想测试出如果我灌水,能够达到啥样的极限,本身我那个板快就属于灌水。
有个重要的原因,就是在你这里学会了异步。。。。当然,我先搞定了下载大文件的并发、断点续传,然后我很想知道,作为版主,没有时间限制的情况下,能达到啥样的速度,哈哈。。。。之前的post同步,60楼/分,如果异步,也许很吓人。因为实际请求页面然后登陆,抓包看,5秒(估算)内居然有400个get(这应该就是浏览器的异步吧,大多数都是合作网站,说速度慢这就是原因了),我曾经操作浏览器达到过100楼/秒(偶然发现,就是5-10毫秒的连续点击发送)。。。。如果纯灌水,不考虑返回的东西,那么如果异步,readystate判断到2就可以走了,我估计至少600楼/分。。。。。
在你这里获益良多,你这一套教程,基本涵盖了所有网页操作的内容,不仅仅是网页采集了。
以后希望多指教,本人绝对是个好学生。。。。。
.

TA的精华主题

TA的得分主题

发表于 2014-5-26 11:06 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 messias 于 2014-5-26 12:16 编辑
liucqa 发表于 2014-5-24 21:01
MD5的32位哈希值

昨天的回复居然给吞了,奇怪了

我去百度了一下,果然如你所说。。。。

md5解决了,但是还是无法登陆。
抓包,实际登陆的cookie比之前请求页面过来的cookie多了两项,但我找不到这两项的来源,网页源文件也搜不到。
pgv_pvi=4027531187;
pgv_info=ssi=s96618368
这两项的关键字和其他的全都不同,我很怀疑是合做网站的。还有一项
CDC_faa5_lastact=1401021032%09forum.php%09forumdisplay;’这是请求页面发来的
CDC_faa5_lastact=1401021068%09forum.php%09ajax; ‘这个是登陆时浏览器发出的

等号后面的数字,前后有变化,数字是增长的,我想可能是时间的某个值,这个也是个验证信息吗?
楼主能否给点建议?


TA的精华主题

TA的得分主题

 楼主| 发表于 2014-5-26 22:14 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 liucqa 于 2014-5-26 22:43 编辑
messias 发表于 2014-5-26 11:06
昨天的回复居然给吞了,奇怪了

我去百度了一下,果然如你所说。。。。

这两个值应该是js生成的,你自己看看网站的源码,一般能找到。那个140应该是unix时间,js生成的,代码里面有,vba也可以模拟

不过,如果你是想玩玩的话,我觉得还是换个简单网站吧,你干的事貌似没啥意义

有时间多学习,世界这么大,生命如此短暂,做点攀登人生高峰的事情多好,哈哈


TA的精华主题

TA的得分主题

发表于 2014-5-27 11:03 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
liucqa 发表于 2014-5-26 22:14
这两个值应该是js生成的,你自己看看网站的源码,一般能找到。那个140应该是unix时间,js生成的,代码里面 ...

哦,兴趣是最好的学习动力了.我这种玩,也是学习呀.攀登高峰,也要先到了山腰再说呀
我在cookie文件夹找到了这些脚本,包括md5的函数。但奈何不懂js,难道再把js学一遍嘛.
换个网站咱不是版主,会有发帖时间间隔限制,无法测试极速.
其实我这个做的是个通用的推广软件,回复、发新帖、多帐号,随机内容发送的东东.顺便做极速测试,是为了另一个版主的野望,快速涨分嘛.嘿嘿.......

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-5-27 11:14 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
messias 发表于 2014-5-27 11:03
哦,兴趣是最好的学习动力了.我这种玩,也是学习呀.攀登高峰,也要先到了山腰再说呀
我在cookie文件夹找到了 ...

vba可以调用js呀,你在论坛学习一下

TA的精华主题

TA的得分主题

发表于 2014-5-27 11:38 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
liucqa 发表于 2014-5-27 11:14
vba可以调用js呀,你在论坛学习一下

好吧,我先去学习,完了再来搅扰。。。。。。。嘿嘿。。。。。

TA的精华主题

TA的得分主题

发表于 2014-9-2 00:16 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
牛啊,牛。。。。

TA的精华主题

TA的得分主题

发表于 2014-9-19 18:31 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
请问大师,登录教务网查看源文件时,显示数据的部分出现“This page uses frames, but your browser doesn't support them”,在浏览器中数据可正常展示。这样是否没办法抓数据了呀?

TA的精华主题

TA的得分主题

发表于 2015-5-8 00:06 | 显示全部楼层
正在爲get與post入不了門發愁, 這裏來了抓取網頁的教程, 天助我.

TA的精华主题

TA的得分主题

发表于 2015-9-5 11:39 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
非常感谢分享
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-5-21 14:25 , Processed in 0.032471 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表