不懂html也来学网抓（xmlhttp/winhttp+fiddler）

onlycxb

dkuu6n 发表于 2016-1-25 22:56
各位高手，象这种网页地址里有13位按顺序变化数字的网页，如同个网页不同时候打开有：*/UUFFC/1?_=144617 ...

1446173214067，这表示的是时间

qqdtst

登录mail.163.com网抓时发现fiddle能看到ie通过https的post包中的明文用户名和密码，换了firefox就看不到任何一个https包，也找不到发送的登录信息，以前一直用firefox都能正常抓包。困扰多日不解，请指教。

另外发现启用fiddle时登录163信箱有延迟，网页上有提示，见附件图片，大意是说网络有延迟，没有启用正常加密模式，关闭fiddle就没这种提示，不知道是不是这个原因，水平不够不知道深层问题所在，请指教。

onlycxb

dkuu6n 发表于 2016-1-25 22:56
各位高手，象这种网页地址里有13位按顺序变化数字的网页，如同个网页不同时候打开有：*/UUFFC/1?_=144617 ...

后面的13位数字是时间

air9022

各位大神，本人在练习网抓时遇到个问题，希望能得到各位指点，比如这个网址，http://www.amazon.com/gp/pdp/profile/AZKRFNQ8EFO4T ， 进入页面后点击“see more”, 然后会看到一个“send an email”的链接，只有点击这个链接后才能看到EMAIL地址，而且在源代码里是没有的，用FIDDLER抓包，发现点击这个链接后有个“GET”的动作，但是模拟了几次都不成功，希望各位能指导下，谢谢了。

dkuu6n

dkuu6n 发表于 2016-1-25 22:56
各位高手，象这种网页地址里有13位按顺序变化数字的网页，如同个网页不同时候打开有：*/UUFFC/1?_=144617 ...

谢谢各位，这 13位按顺序变化数字 不是重点，重点是模拟好headers后，再随便用一个以前的13位的数字如*/UUFFC/1?_=1446173214075 即可顺利网抓。好过瘾！！！

t1ny125

好的东西必须收藏标记！

独行这

wcymiss 发表于 2015-9-21 11:17
网页改版了。

按照你的方式看了好几遍，抓包还是分析不会，帮忙看下如下怎么做
http://search.10jqka.com.cn/stockpick/search在这里面输入002226涨停分析，点击搜索，想提取里面的数据涨停分析里面的数据出来。怎么写，求指导，谢谢！还有抓包怎么分析哪个是我们要的网址？太多个了分析不来，求指导

欧麦咖

认真学习！

gateavalon

求组大神们，当使用11楼的url转码代码时：

Function encodeURI(strText As String) As String
    Function encodeURI(strText As String) As String
    With CreateObject("msscriptcontrol.scriptcontrol")
        .Language = "JavaScript"
        encodeURI = .Eval("encodeURIComponent('" & strText & "');")
    End With
End Function
        .Language = "JavaScript"
        encodeURI = .Eval("encodeURIComponent('" & strText & "');")
    End With
End Function

显示 runtime error "429" Could not create objective. 具体指向为 “With CreateObject("msscriptcontrol.scriptcontrol")”

请问各位大神 这个该如何解决？（我的excel版本是2016）
（已尝试网上提出的一些方法，但均无效）

非常感谢

neemx

onlycxb 发表于 2014-10-21 17:04

Sub HomeWork1_1()
'新手:DongYu 优化:NeemxYang
'作业：1、网站：http://data.bank.hexun.com/lccp/jrxp.aspx
'操作：点击“今日在售产品”，获取今日在售产品第一页的数据。
'工具-引用 MSXML 3.0-6.0

   
    Dim xml As New MSXML2.XMLHTTP, url As String, St As String
    Dim arr, brr, ar, i, c, j, k
    With ActiveSheet
   
    .[a1].Resize(1, 10) = [{"编号","产品名称","银行","起售日","停售日","币种","管理期(月)","产品类型","预期收益(%)","收益"}]
    End With
    For j = 1 To 44
    url = "http://data.bank.hexun.com/lccp/Jrxp.aspx?col=1&tag=desc&date=" & Date & "&page=" & j '修改了日期起止时间为今日和分页循环（今天是44页）
    With xml
        .Open "GET", url, False
        .send
        St = .responseText
    End With
    St = Split(Split(St, "<div class=""mark"">")(1), "</div>")(0)
    arr = Split(St, "<tr align='center'>")
    ReDim brr(1 To UBound(arr), 1 To 9)
    For i = 1 To UBound(arr)
        ar = arr(i)
        brr(i, 1) = Split(Split(ar, "value='")(1), "'")(0) + Split(Split(ar, "<font class='cred'>")(1), "</font>")(0)
        brr(i, 2) = Split(Split(ar, "</font></td><td class='hl'>")(1), "</td>")(0)
        brr(i, 3) = Split(Split(ar, "<td  class='on'>")(1), "</td>")(0)
        brr(i, 4) = Split(Split(ar, "<td  class='hl'>")(1), "</td>")(0)
        brr(i, 5) = Split(Split(ar, "<td  class='hl'>")(2), "</td>")(0)
        brr(i, 6) = Split(Split(ar, "<td  class='hl'>")(3), "</td>")(0)
        brr(i, 7) = Split(Split(ar, "<td  class='hl'>")(4), "</td>")(0)
        brr(i, 8) = Split(Split(ar, "<td  class='hl'>")(5), "</td>")(0)
        brr(i, 9) = Split(Split(Split(ar, "<td  class='hl'>")(5), "</td>")(1), ">")(1)

    Next i
    With ActiveSheet
        '.Cells.Clear
        k = [b63356].End(3).Row
        .Columns("D:E").NumberFormatLocal = "yyyy-m-d"
        .Range("b" & k + 1).Resize(UBound(brr, 1), 9) = brr
        With .Cells     '优化了单元格的自动调整及水平和垂直对齐
        .Rows.AutoFit
        .Columns.AutoFit
        .VerticalAlignment = xlCenter
        .HorizontalAlignment = xlCenter
        End With
    End With
Next j
ActiveSheet.[a:j].Sort key1:=[i2], order1:=xlDescending     '增加了对收益排序 降序排序

End Sub