不懂html也来学网抓（xmlhttp/winhttp+fiddler）

zhumin1025

coby001 发表于 2014-10-27 10:43
因为IE执行了网页中的 js ，而js中有向html 插入 table 。
xmlhttp 不执行 js。
所以，得到的html 结构 ...

就是所谓动态网页吧？

shenjianrong163

wcymiss 发表于 2014-10-21 21:55
获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

老师，请问下面的代码问题出在哪里呢？数据查询成功，但是没有返回结果。

1. Sub Main()
   
2.     Dim strText As String
   
3.     'With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
   
4.     With CreateObject("WinHttp.WinHttpRequest.5.1")
   
5.         .Option(6) = False ' 禁止重定向，以获取原网页信息
   
6.         .Open "POST", "https://397489.yichafen.com/public/checkcondition/sqcode/NsDcIn5mNDkwM3w4NWYzNmU4YmFlYjc4YjZhNjk2NjMyODJhZjFhNmYxYXwzOTc0ODkO0O0O/htmlType/default.html", False
   
7.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
   
8.         .setRequestHeader "Referer", "https://397489.yichafen.com/public/queryscore/sqcode/NsDcIn5mNDkwM3w4NWYzNmU4YmFlYjc4YjZhNjk2NjMyODJhZjFhNmYxYXwzOTc0ODkO0O0O.html"
   
9.         .Send "s_kaohao=612017584&s_xingming=%E6%9B%BE%E7%A6%B9%E7%9A%93"
   
10.         strText = .responsetext
    
11.         Debug.Print strText
    
12.     End With
    
13. End Sub

复制代码

perfect131

shenjianrong163 发表于 2023-7-25 11:50
老师，请问下面的代码问题出在哪里呢？数据查询成功，但是没有返回结果。

分析的不够仔细，需要三次 请求

perfect131

shenjianrong163 发表于 2023-7-25 11:50
老师，请问下面的代码问题出在哪里呢？数据查询成功，但是没有返回结果。

优化版

shenjianrong163

perfect131 发表于 2023-7-25 13:45
优化版

老师，您有空时请帮忙看看下面的数据抓取时问题出在哪里，谢谢！

1. Sub Main()
   
2.     Dim strText As String
   
3.     With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
   
4.         .Open "POST", "https://developer.amap.com/service/api/restapi?keywords=%E5%B1%B1%E4%B8%9C&subdistrict=3&extensions=base", False
   
5.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
   
6.         .setRequestHeader "Referer", "https://developer.amap.com/api/webservice/guide/api/district/"
   
7.         .Send "type=config%2Fdistrict&version=v3"
   
8.         strText = .responsetext
   
9.         Debug.Print strText
   
10.     End With
    
11. End Sub

复制代码

链接：https://developer.amap.com/api/webservice/guide/api/district/

fengbao008

wcymiss 发表于 2014-10-22 12:30
新手作业：

网站：http://weibo.com/guide/welcome

悲催啊，单位电脑，你发的作业基本上都打不开。

sskzzm

网抓的时候出现“安全频道支持出错”，麻烦高手帮忙看看，谢谢了

perfect131

sskzzm 发表于 2023-10-25 10:23
网抓的时候出现“安全频道支持出错”，麻烦高手帮忙看看，谢谢了

估计是 tls的原因
https://club.excelhome.net/forum ... amp;_dsign=c4e90222

huiyuxuan

先mark，后学习，感谢分享

鸣人吃土豆

wcymiss 发表于 2014-10-21 15:20
新手作业：
网站：http://www.pinble.com/Lottery.htm
操作：点击“各省体彩”---“江苏七星彩”，获取江 ...

请问哪位大神把链接找出来了哇？我只找到http://www.pinble.com/LotteryOneList.aspx?type=59DAE47BC0A467C82C20144B4C19F18E89DA39CC782A9811
但这个连接点进去一片空白