不懂html也来学网抓（xmlhttp/winhttp+fiddler）

neemx

onlycxb 发表于 2014-10-21 17:04

Sub HomeWork1_1()
'新手:DongYu 优化:NeemxYang
'作业：1、网站：http://data.bank.hexun.com/lccp/jrxp.aspx
'操作：点击“今日在售产品”，获取今日在售产品第一页的数据。
'工具-引用 MSXML 3.0-6.0

   
    Dim xml As New MSXML2.XMLHTTP, url As String, St As String
    Dim arr, brr, ar, i, c, j, k
    With ActiveSheet
   
    .[a1].Resize(1, 10) = [{"编号","产品名称","银行","起售日","停售日","币种","管理期(月)","产品类型","预期收益(%)","收益"}]
    End With
    For j = 1 To 44
    url = "http://data.bank.hexun.com/lccp/Jrxp.aspx?col=1&tag=desc&date=" & Date & "&page=" & j '修改了日期起止时间为今日和分页循环（今天是44页）
    With xml
        .Open "GET", url, False
        .send
        St = .responseText
    End With
    St = Split(Split(St, "<div class=""mark"">")(1), "</div>")(0)
    arr = Split(St, "<tr align='center'>")
    ReDim brr(1 To UBound(arr), 1 To 9)
    For i = 1 To UBound(arr)
        ar = arr(i)
        brr(i, 1) = Split(Split(ar, "value='")(1), "'")(0) + Split(Split(ar, "<font class='cred'>")(1), "</font>")(0)
        brr(i, 2) = Split(Split(ar, "</font></td><td class='hl'>")(1), "</td>")(0)
        brr(i, 3) = Split(Split(ar, "<td  class='on'>")(1), "</td>")(0)
        brr(i, 4) = Split(Split(ar, "<td  class='hl'>")(1), "</td>")(0)
        brr(i, 5) = Split(Split(ar, "<td  class='hl'>")(2), "</td>")(0)
        brr(i, 6) = Split(Split(ar, "<td  class='hl'>")(3), "</td>")(0)
        brr(i, 7) = Split(Split(ar, "<td  class='hl'>")(4), "</td>")(0)
        brr(i, 8) = Split(Split(ar, "<td  class='hl'>")(5), "</td>")(0)
        brr(i, 9) = Split(Split(Split(ar, "<td  class='hl'>")(5), "</td>")(1), ">")(1)

    Next i
    With ActiveSheet
        '.Cells.Clear
        k = [b63356].End(3).Row
        .Columns("D:E").NumberFormatLocal = "yyyy-m-d"
        .Range("b" & k + 1).Resize(UBound(brr, 1), 9) = brr
        With .Cells     '优化了单元格的自动调整及水平和垂直对齐
        .Rows.AutoFit
        .Columns.AutoFit
        .VerticalAlignment = xlCenter
        .HorizontalAlignment = xlCenter
        End With
    End With
Next j
ActiveSheet.[a:j].Sort key1:=[i2], order1:=xlDescending     '增加了对收益排序 降序排序

End Sub

neemx

neemx 发表于 2016-3-6 22:24
Sub HomeWork1_1()
'新手:DongYu 优化:NeemxYang
'作业：1、网站：http://data.bank.hexun.com/lccp/jr ...

还不会创造，所以从前人的代码做修改好了。

nk0769

请问各位先进
1. 为什么我用 xmlhttp 都无法抓到 https 的 .responsetext ?
2. ServerXMLHTTP,WinHttpRequest有办法像xmlhttp一样登录一次后,就不需再登录的办法吗?

舒云天

太强大了，值得学习

xudongbin

wcymiss 发表于 2014-10-22 11:10
还是Cookie。。。

模拟Cookie的宗旨是向服务器发送一个它认可的Cookie。不管这个Cookie是回话Cookie还是 ...

吴姐，我刚刚看你抓网页的帖子，是不是因为改版了，当时模拟cookie登录excelhome的代码现在不好用了，我按照自己抓取的cookie将代码更新，但是不好用，请问cookie是需要新鲜的吗？平时如何区分要不要抓取新鲜的cookie还是用原来的cookie

kszcs

不懂html也来学网抓,留下记号

barlz

好的东西必须收藏标记！

renahu

wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子：

网站：http://www.abchina.com/cn/Public ... t20101217_45743.htm

老师您好，我抓的一个包里有个
__RequestVerificationToken=xCNvtQEYDeJnrylO6T3XjKjAGnF-hHeLpabE37IlOk8kCT0XxE9lDNsYHvA9CyNEbQbW_Q_ohtvsVtINoOd7BgNeoZcZP-iBcS7Hu1qXci5CWXa3LUdm2rgGWwc7nJh6nNT0P8WKQ4c9fLvdE-qRhVi0ATIKnvDtniblOgDOBOykpF-ok9Y6b8EaprDz6XKs79h172HvXTlALC7Ri3UKbQ2
这个是不是类似这个例子中的动态参数__VIEWSTATE？但我搜索__RequestVerificationToken的内容却找不到，不知道这是什么东西

renahu

wcymiss 发表于 2014-10-28 16:46
登录之后可以做什么----查询数据

登录并非是我们的最终目的。最终目的是查询一些非登录不能查看的数据， ...

吴老师，我做了些登录的实例，为什么在立即窗口提示登录成功的情况下，有的网页显示已经登录上去，而有的网页却没有任何显示？

840205910

有空学习学习