不懂html也来学网抓（xmlhttp/winhttp+fiddler）

effort火星

hehex 发表于 2014-10-28 10:21
一直跟吴姐学的网抓，感觉作业例子好像是取自吴姐一套视频的课程里的内容，俺跟随学过了。
很支持吴姐，留 ...

这位大哥。吴姐还有视频吗？能否分享一下地址？

laoye5403

跟着姐儿的教程看了好几天了，这个真真是我们初学者的领航人！
以前是拿来主义，现在有兴趣来慢慢学了！
我在学习过程中，试着抓历史天气，https://lishi.tianqi.com/changshou/202406.html，他只给看10天，点更多后，显示整个月，但是换网址了，前面10天的可以提取出来，后面的怎么也没有搞明白怎么弄！！
哪位老师指导下！！

1. Sub 练习()
   
2. Dim strText As String, arr
   
3. '    m = "changshou"
   
4. '    n = "202406"
   
5.     With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
   
6.         .Open "GET", "https://lishi.tianqi.com/changshou/202406.html ", False
   
7.         .setRequestHeader "Content-Type", ""
   
8.         .setRequestHeader "Referer", ""
   
9.         .Send
   
10.         strText = .responsetext
    
11.         Debug.Print strText
    
12.     End With
    
13.     arr = Split(strText, "<li  >")
    
14.     ReDim crr(1 To 31, 1 To 5)
    
15.     For i = 1 To UBound(arr)
    
16.         brr = Split(arr(i), "</div>")
    
17.         crr(i, 1) = Split(Split(brr(0), ">")(1), " 星期")(0)
    
18.         crr(i, 2) = Split(Split(brr(1), ">")(1), "℃")(0)
    
19.         crr(i, 3) = Split(Split(brr(2), ">")(1), "℃")(0)
    
20.         crr(i, 4) = Split(brr(3), ">")(1)
    
21.         crr(i, 5) = Split(brr(4), ">")(1)
    
22.     Next i
    
23.     '历史天气他只给看10天，点更多后，显示整个月，但是换网址了，前面可以提取出来，后面的怎么也没有搞明白怎么弄！！
    
24.     With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
    
25.     .Open "POST", "https://lishi.tianqi.com/monthdata/changshou/202406", False
    
26.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
    
27.         .setRequestHeader "Accept", "application/json, text/javascript, */*; q=0.01"
    
28.         .setRequestHeader "Referer", "https://lishi.tianqi.com/changshou/202406.html "
    
29.         .Send
    
30.         strText = .responsetext
    
31.         Debug.Print strText
    
32.     End With
    
33. End Sub

复制代码

laoye5403

onlycxb 发表于 2014-10-23 16:44
新手作业

.Send "{pageindex:'" & i & "',lottory:'TC7XCData_jiangS',pl3:'',name:'江苏七星彩',isgp: '0'}"
这些数据是哪里来的？能不能教教我！

没名字了

renahu 发表于 2014-10-25 21:38
这个精加工的难道是从复制的毛坯上一点点拆出来的吗？这样做图什么呢？直接复制过来不就行了

某些环境下有时候单独一句语句过长会出错，这么写的人可能经常使用SQL吧。而且这么写在调试参数的时候很方面，在移植的时候也很方便。这是个人的习惯问题。

perfect131

laoye5403 发表于 2024-11-16 19:39
跟着姐儿的教程看了好几天了，这个真真是我们初学者的领航人！
以前是拿来主义，现在有兴趣来慢慢学了！
...

显然你抓包分析还没学到为
有个 crypte参数 是aes加密 把这个模拟发送POST请求 你能获取剩下20天的数据

laoye5403

perfect131 发表于 2024-12-3 15:52
显然你抓包分析还没学到为
有个 crypte参数 是aes加密 把这个模拟发送POST请求 你能获取剩下20天的数据
...

发现了姐儿的的这个帖子,才刚刚开始学呢!!!
谢谢指教!!