不懂html也来学网抓（xmlhttp/winhttp+fiddler）

blanksoul12 · 发表于 2014-10-28 17:52

本帖最后由 blanksoul12 于 2014-10-28 22:58 编辑

http://www.hkexnews.hk/sdw/search/search_sdw_c.asp
股份代號輸入8056 查詢
這個怎麼找?

已解決了

kangatang · 发表于 2014-10-28 17:58

blanksoul12 发表于 2014-10-28 17:52
http://www.hkexnews.hk/sdw/search/search_sdw_c.asp
股份代號輸入8056 查詢
這個怎麼找?

例子楼主会提供，这种问题别在这里问，请另外发帖求助。

blanksoul12 · 发表于 2014-10-28 18:04

可以可以,那請問可以刪走它嗎?

renahu · 发表于 2014-10-28 18:51

wcymiss 发表于 2014-10-22 16:45
获取数据-防盗链的处理-动态参数

相同方式操作网页，抓包能得到相同的参数值，这样的参数是静态的。反之 ...

吴老师，59楼这个航班信息的例子，查来查去还是以前的信息（10月22日），我原来还以为通过第一次send后获取的sn可以在第二次send后获取今天的sn，可是我看了还是22日的。
为了获得今天的信息，我用fiddler抓出的信息是：

GET http://webflight.linkosky.com/WE ... ;image.y=13&Sn=4a8649481e59583f006f592ca003f6da HTTP/1.1
Accept: text/html, application/xhtml+xml, */*
Referer: http://webflight.linkosky.com/WE ... x=36&image.y=13
Accept-Language: zh-CN
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Accept-Encoding: gzip, deflate
Connection: Keep-Alive
DNT: 1
Host: webflight.linkosky.com
Cookie: ASP.NET_SessionId=oe3ku145lkzw2mrq1itakg55

然后我在session里查找 sn的值 “4a8649481e59583f006f592ca003f6da” ，找到两个，我选取第一个：

GET http://webflight.linkosky.com/WEB/Flight/WaitingSearch.aspx?JT=1&OC=PEK&DC=SHA&dstDesp=GUANGZHOU%B9%E3%D6%DD&dst2=CAN&DD=2014-10-28&DT=7&BD=&BT=7&AL=ALL&DR=true&image.x=36&image.y=13 HTTP/1.1
Accept: text/html, application/xhtml+xml, */*
Referer: http://www.caac.gov.cn/S1/GNCX/
Accept-Language: zh-CN
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Accept-Encoding: gzip, deflate
Connection: Keep-Alive
DNT: 1
Host: webflight.linkosky.com
Cookie: ASP.NET_SessionId=oe3ku145lkzw2mrq1itakg55

我把红色的网址放入您写的代码中，就能查到今天的信息了，可这两次send和原来一次send没什么区别呀？

renahu · 发表于 2014-10-28 19:01

wcymiss 发表于 2014-10-22 16:45
获取数据-防盗链的处理-动态参数

相同方式操作网页，抓包能得到相同的参数值，这样的参数是静态的。反之 ...

两次send：

Sub Main5()
Dim strText As String
Dim strHost As String
Dim strURL As String
strHost = "http://webflight.linkosky.com"
With CreateObject("WinHttp.WinHttpRequest.5.1")
      .Open "GET", strHost & "/WEB/Flight/WaitingSearch.aspx?JT=1&OC=PEK&DC=SHA&dstDesp=GUANGZHOU%B9%E3%D6%DD&dst2=CAN&DD=2014-10-28&DT=7&BD=&BT=7&AL=ALL&DR=true&image.x=36&image.y=13", False
      .setRequestHeader "Referer", "http://www.caac.gov.cn/S1/GNCX/"
      .Send
      strText = .responsetext
      strURL = Split(Split(strText, "setTimeout(""window.location.replace('")(1), "'")(0)

      .Open "GET", strHost & strURL, False
      .Send
      strText = .responsetext
      CopyToClipbox (strText)
      Debug.Print strText
End With
End Sub

一次send：

Sub Main()
Dim strText As String
strHost = "http://webflight.linkosky.com"
With CreateObject("WinHttp.WinHttpRequest.5.1")
      .Open "GET", "http://webflight.linkosky.com/WEB/Flight/FlightSearchResultDefault.aspx?JT=1&OC=PEK&DC=SHA&dstDesp=GUANGZHOU%B9%E3%D6%DD&dst2=CAN&DD=2014-10-28&DT=7&BD=&BT=7&AL=ALL&DR=true&image.x=37&image.y=11&Sn=4a8649481e59583f006f592ca003f6da", False
      .setRequestHeader "Referer", "http://www.caac.gov.cn/S1/GNCX/"
      .Send
      strText = .responsetext
End With
End Sub

这两个得到的信息是一样的，我原以为通过第一次send可以自动找到当天的sn，可没找到

onlycxb · 发表于 2014-10-28 20:03

本帖最后由 onlycxb 于 2014-10-28 23:47 编辑

此楼可直接跳过，看265楼
干了一天的活，挤出一点时间更正一下44楼代码。取出多项数据。现在还有一个问题，就是Sn=4a8649481e59583f006f592ca003f6da，这个代码如何得到，这个目前未知，有知道的希望告知。
Sub 作业1_2_获取航班信息数据()
'网站：http://www.caac.gov.cn/S1/GNCX/
'操作：点击“查询”，获取航班信息数据。
Dim St As String, Url$, arr, brr, Crr
Dim S1$, S2$, i%, j%, rng As Range
Url = "http://webflight.linkosky.com/WEB/Flight/FlightSearchResultDefault.aspx?JT=1&OC=PEK&DC=SHA&dstDesp=GUANGZHOU%B9%E3%D6%DD&dst2=CAN&DD=2014-10-28&DT=7&BD=&BT=7&AL=ALL&DR=true&image.x=35&image.y=14&Sn=4a8649481e59583f006f592ca003f6da"
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "GET", Url, False
.Send
St = .responsetext
End With
Cells.Clear
'
If InStr(St, "<div id=""FlightListFlight0"">") < 1 Then
Cells(1, 1) = "抱歉！没有满足条件的航班，请重新输入查询条件！ "
Else
St = Split(Split(St, "<div id=""FlightListFlight0"">")(1), "</div><br>")(0)
With ActiveSheet
Cells(1, 1).Resize(1, 3).Merge
Cells(2, 1).Resize(1, 3).Merge
Cells(1, 1).Resize(1, 3) = Split(Split(St, "<div class=""menu_layout3""><strong>")(1), "<")(0) '选择去程（北京首都---上海虹桥）航班
Cells(2, 1).Resize(1, 3) = Split(Split(St, "<div class=""layout2_title3"">")(1), "<")(0) '北京首都至上海虹桥出发日期：2014-10-28
arr = Split(St, "<div class=""menu_layout2"">")
For i = 1 To UBound(arr)
S1 = arr(i)
Crr = Split(S1, "<div class=""menu4_layout"">")
ReDim brr(1 To UBound(Crr) - 1 + 3, 1 To 3) '
brr(1, 1) = Trim(Split(Split(S1, "<div class=""menu_top1"">")(1), "<")(0)) '航空公司
brr(1, 2) = Trim(Split(Split(S1, "<div class=""menu_top2""> <strong><span class=""red_font"">")(1), "<")(0)) '航班
brr(1, 3) = Split(Split(S1, "<div class=""menu_top2"">")(2), "<")(0) '机型
For j = 2 To UBound(Crr)
S2 = Crr(j)
brr(j, 1) = Split(S2, "</div>")(0)
brr(j, 2) = Split(Split(S2, "<div class=""menu5_layout"">")(1), "</div>")(0)
brr(j, 3) = Split(Split(S2, "<div class=""menu6_layout"">")(1), "</div>")(0)
Next j
Set rng = ActiveSheet.Cells(Rows.Count, 1).End(xlUp).Offset(1, 0)
rng.Resize(UBound(brr, 1), UBound(brr, 2)) = brr
Next i
End With
End If
End Sub

复制代码

winland · 发表于 2014-10-28 20:16

楼主的帖子太棒了，赞一个

renahu · 发表于 2014-10-28 21:32

onlycxb 发表于 2014-10-28 20:03

ReDim brr(1 To UBound(Crr) - 1 + 3, 1 To 3)
这里为什么+3？这个新版把 “飞行线路” 去掉了，只剩下 “航空公司”，从实际情况看应该+1吧？

kangatang · 发表于 2014-10-28 21:37

winland 发表于 2014-10-28 20:16
楼主的帖子太棒了，赞一个

连WINLAND前辈都光临了，可见吴女神的帖子有多火。

引子玄 · 发表于 2014-10-28 22:10

本帖最后由引子玄于 2014-10-28 22:27 编辑

“本帖主要针对的是不懂html的网抓新手”————说真话，偶咋就看不懂呢？
不过一直没装fiddler（本人崇尚“徒手擒拿”）
看得晕乎乎的~~~

真正的新手，我想，基本上是“一定”，会比我还更晕眩，也许——“徒手派”和“武器派”的习惯方式不太兼容？

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

点评

点评

评分

点评

点评