【求教】简单抓包代码失败求指点？？

江南新绿

我用的是比较新版的Firefox,按F12进入控制台模式,
然后选择网络标签栏,按F5刷新.
对于Html网页,有响应一栏可以看到内容.
右键有一个 复制到Curl
然后去下载一个Curl工具,或者你能够看懂复制到Curl的内容,也可以,无非就是请求头等一系列参数.

等你可以下载了,回头凑一下参数,真不是难事.

duquancai

xdwy81129 发表于 2019-3-15 11:33
大神，
我把代码复制到电子表格里面了
用不了，这个好像不是vb语言吧，我希望的是用电子表格来解决

1. # -*- coding: utf-8 -*-
   
2. # version: Python 3.7.0
   
3. import requests
   
4. 
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
   
7.     'Cookie': 'CeRaHigh=d87129f59116fbe163c7ba6a6510f1d1'
   
8. }
   
9. 
   
10. url = 'https://www.km28.com/lottery-gp/shssl/2019-03-06.html'
    
11. 
    
12. r = requests.get(url=url, headers=headers)
    
13. 
    
14. print(r.content.decode('utf-8'))

复制代码

xdwy81129

samsinn 发表于 2019-3-16 20:30
请看附件，VBA POST

感谢大神赐教

我详细学习了大神的代码，如图：


没有想到原来这个网站如此复杂（我能抓到其他的网站的数据）

但不知道怎么，大神的代码数据是抓到了，但唯独没有我需要的数据，所以不知道问题是什么
大神代码执行后如图：


自己抓包软件抓的数据如图：



对比以后发现，代码执行得到的数据：<td>里面需要是数据没有，其他的剩余数据全部由。

学习了大神代码，第一次知道Set oWindow = HTML.parentWindow，用模拟方式求cookie，可惜论坛没有这样的贴心学习。我学习了2个抓包帖子

xdwy81129

江南新绿 发表于 2019-3-16 21:57
我用的是比较新版的Firefox,按F12进入控制台模式,
然后选择网络标签栏,按F5刷新.
对于Html网页,有响应一 ...

我能提取到其他网站是数据，确实不是什么难事，不过这个网站是数据，经过二个大神的回复以后知道了，另外这个网站的提取是非常非常复杂的。

真不是你想象的这么简单，一开始我同你一样也认为简单，后面才知道厉害。

xdwy81129

duquancai 发表于 2019-3-14 20:22
输出结果如下：
期号 时间 开奖号码
01 10:30 0 6 3

谢谢大神赐教

我安装了python3.7,运行了代码，可是cmd窗口一闪而过，都不明白输出的结果在哪里？？

samsinn

xdwy81129 发表于 2019-3-17 17:20
感谢大神赐教

我详细学习了大神的代码，如图：

debug print到立即窗口有时无法显示完整的源码内容，你可以调用剪切板功能读取内容，然后复制粘贴到记事本里查看

xdwy81129

samsinn 发表于 2019-3-17 19:26
debug print到立即窗口有时无法显示完整的源码内容，你可以调用剪切板功能读取内容，然后复制粘贴到记事 ...

天，真是神人，这个都知道，确实是这样，太佩服了。都不知道怎么说。

江南新绿

xdwy81129 发表于 2019-3-17 17:22
我能提取到其他网站是数据，确实不是什么难事，不过这个网站是数据，经过二个大神的回复以后知道了，另外 ...

最多不就模仿一下，tcp/ip协议的三次握手
1次，客户端访问服务器端
2次，服务器端发给你一个通行证
3次，你拿了通行证再次访问服务器，服务器通过检查。放行。
其中，服务器的检查通常有，你是什么浏览器啦，我刚刚给你的是什么cookies等等，这些个都包含在请求头里面

回到python写的答案，不就比你多这个吗？你自己加上请求头即可。
selenium的代码隐含cookies，vb版本是用driver.manage.Cookies可以得到cookies，python版本是driver.manage().getCookies();
copy到curl里面也是很详细的。