不懂html也来学网抓（xmlhttp/winhttp+fiddler）

renahu

renahu 发表于 2014-11-27 09:14
谢谢吴老师指点，可能是我上一个图书网比较简单吧，那里代码登和浏览器登录是同步的，是否登陆上比较直观 ...

谢谢，搞定了，这方法真好！

renahu

wcymiss 发表于 2014-10-24 12:07
提取数据-下载文件
知道下载文件的真实地址，就能很方便的用xmlhttp或winhttp下载文件。

吴老师，图书网中的验证码图片名称是：ctl00$ContentPlaceHolder1$img2
但搜了一下，session中也没有，按照120楼的操作，我也找不到图片文件的图标，怎么下载呢？我如何用winhttp发送获取图片的请求呢？

renahu

wcymiss 发表于 2014-10-24 12:07
提取数据-下载文件
知道下载文件的真实地址，就能很方便的用xmlhttp或winhttp下载文件。

吴老师，图书网中的验证码图片名称是：ctl00$ContentPlaceHolder1$img2
但搜了一下，session中也没有，按照120楼的操作，我也找不到图片文件的图标，怎么下载呢？我如何用winhttp发送获取图片的请求呢？

renahu

renahu 发表于 2014-11-27 11:27
吴老师，图书网中的验证码图片名称是：ctl00$ContentPlaceHolder1$img2
但搜了一下，session中也没有，按 ...

吴老师，执行到：.SaveToFile strFileName, 2   
为什么提示： 错误3004 ，写入文件失败？  
我指定文件存在 C盘：Const strFileName As String = "C:\VerifyCode.jpg"

啊~ 终于搞定啦！不知道为什么改在 d盘就OK了，cooki都出来了

pfysw

pfysw 发表于 2014-11-26 20:51
虽然看不懂，但是我觉得问题的关键不是抓包吧，是怎么处理单选框的问题，就是.send后面到底怎么对单选框进 ...

不一定要点击，但一定要发送消息的吧，你20楼里有 .Send "type=2&CompanyID=" & encodeURI("11|澳门") & "&leagueID=36&teamID=0&kind=1&port=&odds1=&do0=" & encodeURI("确定")
这一句代码对下拉框发送消息，然后数据才能收到吧，只是我不知道怎么发送单选框的消息

chenxuemin0815

占个位置听课。

renahu

wcymiss 发表于 2014-10-21 16:10
获取数据-直接获取-转码：

在15楼的例子中：

吴老师，这个函数 encodeURIComponent，在11楼里没有吧，我怎么找不到呢？

renahu

wcymiss 发表于 2014-10-21 11:33
个人偏爱fiddler的原因：（唠叨话，可略过）

1、fiddler不需要寄生在浏览器中，且可抓到多个浏览器的包。 ...

吴老师，我开始琢磨抓这个图书网，我发现选择”书籍导航“也就是不分类的，记录数： 6936。这个在session中，有两个动态参数，ifrmid  和 xml，我查这个两个参数，在一个session中看到ifrm.id=GenerateRUID()，这应该是个和系统时间有关的函数；encodeURIComponent(b.xml)，这个是加密了的，b.xml不知道是什么？我现在有点茫然，不知再怎么查这两个动态参数

zongyj

作业一：

1. Option Explicit
   
2. 
   
3. Sub 今日理财产品()
   
4.     Dim xhml1 As New XMLHTTP
   
5.     Dim str As String
   
6.     Dim reg As New RegExp
   
7.     Dim ar, i, m, n
   
8.     Dim arr
   
9.     Dim htm1 As String
   
10.     Dim col, dat1, page
    
11.     Sheet2.Cells(5, 1).Resize(65533, 10).ClearContents
    
12.     'col = Sheet2.Range("b1")
    
13.     dat1 = Sheet2.Range("b2")
    
14.     page = Sheet2.Range("b3")
    
15. 
    
16.     On Error Resume Next
    
17.     For m = 1 To page
    
18.         htm1 = "http://data.bank.hexun.com/lccp/Jrxp.aspx?col=1"
    
19.         htm1 = htm1 & "&tag=desc&date="
    
20.         htm1 = htm1 & dat1 & "&page="
    
21.         htm1 = htm1 & m
    
22.         xhml1.Open "GET", htm1, False
    
23.         xhml1.send
    
24.         str = xhml1.responseText
    
25.         Debug.Print str
    
26.         With reg
    
27.             '.Pattern = ""
    
28.             .Pattern = "value='(.*?)'.*?\[(.*?)].*?'>(.*?)<.*?'>(.*?)<.*?'>(.*?)<.*?'>(.*?)<.*?'>(.*?)<.*?'>(.*?)<.*?'>(.*?)</td><td >(.*?)<"
    
29.             .MultiLine = True
    
30.             .Global = True
    
31.             Set ar = .Execute(str)
    
32.             ReDim arr(0 To ar.Count, 10)
    
33.             For i = 0 To ar.Count - 1
    
34.                 arr(i, 0) = ar.Item(i).SubMatches(0)
    
35.                 arr(i, 1) = ar.Item(i).SubMatches(1)
    
36.                 arr(i, 2) = ar.Item(i).SubMatches(2)
    
37.                 arr(i, 3) = ar.Item(i).SubMatches(3)
    
38.                 arr(i, 4) = ar.Item(i).SubMatches(4)
    
39.                 arr(i, 5) = ar.Item(i).SubMatches(5)
    
40.                 arr(i, 6) = ar.Item(i).SubMatches(6)
    
41.                 arr(i, 7) = ar.Item(i).SubMatches(7)
    
42.                 arr(i, 8) = ar.Item(i).SubMatches(8)
    
43.                 arr(i, 9) = ar.Item(i).SubMatches(9)
    
44.             Next
    
45.             n = Sheet2.Range("a65533").End(xlUp).Row
    
46.             Sheet2.Cells(n + 1, 1).Resize(ar.Count - 1, 10) = arr
    
47. 
    
48.         End With
    
49.     Next
    
50. End Sub
    

复制代码

renahu

renahu 发表于 2014-11-27 19:15
吴老师，我开始琢磨抓这个图书网，我发现选择”书籍导航“也就是不分类的，记录数： 6936。这个在session ...

吴老师，ifrmid好像也不是随机数吧，他应该是：年月日时分秒帧+好像跟页数有关的数（比如第一页总是25），所以我还是想生成这个数
您帮我看看这个附件，是这样提取函数和计算吗？还缺什么呢？
图书1.rar (52.17 KB, 下载次数: 8)

2014-11-28 15:11 上传

点击文件名下载附件