ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2022-2-19 17:34 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
withnoproof 发表于 2022-2-19 15:24
请教一下,这种情况怎么写VBA语句呢?
在学习过程中,因公司不能用fiddler,我都是按F12下载har档案,回 ...

公司不能用fiddler,就直接页面f12,看网络请求相关数据都能看到,没必要为了用fiddler而用fiddler,fiddler能实现的,页面也能看到,最多不过是fiddler多了一个代理捕获你vba代码的请求、重放请求功能。

TA的精华主题

TA的得分主题

发表于 2022-2-19 22:48 | 显示全部楼层
excel002009 发表于 2022-2-19 17:34
公司不能用fiddler,就直接页面f12,看网络请求相关数据都能看到,没必要为了用fiddler而用fiddler,fidd ...

好的,就是在学习中,所以一开始都是模仿着做
比如下面截取的这种形式的postdata,我要怎么写才能把name/value这个数据send出去呢?



          "queryString": [],
                    "postData": {
                        "mimeType": "application/x-www-form-urlencoded",
                        "params": [
        
                            {
                                "name": "ctl00%24MainContent%24TxtItem",
                                "value": "20VH002JUS%0A"
                            },

TA的精华主题

TA的得分主题

发表于 2022-2-20 12:19 | 显示全部楼层
withnoproof 发表于 2022-2-19 22:48
好的,就是在学习中,所以一开始都是模仿着做
比如下面截取的这种形式的postdata,我要怎么写才能把name/ ...

请求参数可以: "[{'name': 'ctl00%24MainContent%24TxtItem','value': '20VH002JUS%0A'},{'name':'xx','value':'xx'}...]",key value用双引号包存在转义问题,需要加倍,所以用单引号,application/x-www-form-urlencoded这个是请求响应的数据格式,而且,代表的是表单数据格式,你发的入参是json格式,即application/json。而且mimeType指的是请求响应数据流是什么格式文件,你自己百度下mimeType就知道了

TA的精华主题

TA的得分主题

发表于 2022-2-20 12:30 | 显示全部楼层
withnoproof 发表于 2022-2-19 22:48
好的,就是在学习中,所以一开始都是模仿着做
比如下面截取的这种形式的postdata,我要怎么写才能把name/ ...

请求响应有个基本概念要自己了解。
请求三要素:
      请求行(url)、请求头(也就是大家经常模拟的request-header)、请求体(body,即post方式发送请求,携带的入参就放这)。
      响应三要素:响应行、响应头、响应体。
mimeType(响应回的流数据什么格式文件)是后端服务器响应结果数据是指定的,不是发请求方指定。
请求行里有contentType即是指明你的请求体里携带数据是什么样的组织形式,表单或json还是其他...

TA的精华主题

TA的得分主题

发表于 2022-2-22 09:51 | 显示全部楼层
excel002009 发表于 2022-2-20 12:30
请求响应有个基本概念要自己了解。
请求三要素:
      请求行(url)、请求头(也就是大家经常模拟的requ ...

感谢这么细致的指导,我把所有的参数都写进去了,还是没有返回想要的信息
看来得先学习一下再来请教了
   
With objXMLHTTP
            .Open "POST", "http://10.60.20.30:8083/Default.aspx", False

            .SetRequestHeader "Accept", "*/*"
            .SetRequestHeader "Accept-Encoding", "gzip, deflate"
            .SetRequestHeader "Accept-Language", "en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3"
            .SetRequestHeader "Cache-Control", "no-cache"
            .SetRequestHeader "Connection", "Keep-Alive"
'            .SetRequestHeader "Content-Length", "984"
            .SetRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=utf-8"
'            .SetRequestHeader "Cookie", "ASP.NET_SessionId=0dcaj4pnvcvcumhibw0jopov"
            .SetRequestHeader "Host", "10.60.20.30:8083"
            .SetRequestHeader "Referer", "http://10.60.20.30:8083/Default.aspx"
            .SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; Touch; rv:11.0) like Gecko"
            .SetRequestHeader "X-MicrosoftAjax", "Delta=true"
            .SetRequestHeader "X-Requested-With", "XMLHttpRequest"

            .send "{'name': 'ctl00%24MainContent%24TxtItem','value': '20VH002JUS%0A'}"

            Debug.Print .ResponseText   
    End With

TA的精华主题

TA的得分主题

发表于 2022-3-14 16:05 | 显示全部楼层
感谢大神,先赞后看好习惯,PS,应该够10字

TA的精华主题

TA的得分主题

发表于 2022-3-20 14:36 | 显示全部楼层

为啥我没找到这个网址的
http://www.pinble.com/LotteryOneList.aspx?type=59DAE47BC0A467C82C20144B4C19F18E89DA39CC782A9811 这个网址只能抓到第1页,后面几页都没法抓取,请教一哈哈

TA的精华主题

TA的得分主题

发表于 2022-3-26 21:43 | 显示全部楼层
像这样的一个图片,request框里面最下面的那框里面的cookie拿到也得不到数据,请问有没有哪个大神可以帮我看一下问题是出在哪里。得到的数据“{"code":401,"msg":"没有授权的访问","timestamp":1648302183304}”
网抓图片.png

TA的精华主题

TA的得分主题

发表于 2022-4-3 17:23 来自手机 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2022-5-4 11:46 | 显示全部楼层
怎么爬取抖店后台图片及订单信息(需要登录)
https://club.excelhome.net/thread-1626202-1-1.html
(出处: ExcelHome技术论坛)
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

关闭

最新热点上一条 /1 下一条

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-4-19 14:02 , Processed in 0.045400 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表