不懂html也来学网抓（xmlhttp/winhttp+fiddler）

wcymiss

scnjlwb 发表于 2015-9-21 11:07
491楼中代码运行到   strJSFun = Left(strJSFun, InStr(strJSFun, "$(""#str_userpwd"").attr(""value"", p ...

网页改版了。

nunien

留个书签，好好学习。

pangz

好好学习，daydayUP

pangz

吴姐：有个日文网站 http://www.soundhouse.co.jp/sear ... mp;i_ListType=type2

这上面有个分页面的计数，就是“10ページ中1ページ” ，中文也就是“  共X页第X页 ” 类似的东西，

看了下源码，找不到这些字样，分析了下应该是：
<form name="f_page_size">
                <div class="search_result_box">
                        <p class="result"><strong><span id="rr_results">&nbsp;</span></strong></p>
                        <div id="rr_paginate1"></div>
这一部分生成的
从chrome的元素分析中可以看到：
<div class="pagenavi_box">
  <ol class="pagenavi">
    <li><span class="now">1</span></li>
    <li><a href="JavaScript:page_onClick(2);" class="link">2</a></li>
    <li><a href="JavaScript:page_onClick(3);" class="link">3</a></li>
    <li><a href="JavaScript:page_onClick(4);" class="link">4</a></li>
    <li><a href="JavaScript:page_onClick(5);" class="link">5</a></li>
    <li><a href="JavaScript:page_onClick(6);" class="link">6</a></li>
    <li><a href="JavaScript:page_onClick(7);" class="link">7</a></li>
    <li class="next"><a href="JavaScript:page_onClick(2);" class="link">次へ</a></li>
  </ol>  <span class="page">10ページ中1ページ</span>
</div>

请问如何能取得这个  “10ページ中1ページ” ？

mengxuedeng

大赞楼主的教程

liangstar82

吴姐，能帮忙看一下如下代码吗？关于ASPX网页动态参数获取数据的例子。
Private Sub CommandButton1_Click()
  '网站：http://www.hkexnews.hk/listedco/ ... _active_main_c.aspx
  '在香港交易所网站,获取港股： 00001 （长和 ）的历史文件通告，目标内容如QQ截图：记录内容.PNG 所示

   Dim strText As String, t, n, myfla As Boolean, m, mdate, p, mynum, arrcol, ar, arr, arrdata, arrall
   Dim Pd1 As Boolean, Pd2 As Boolean, url As String, url1 As String
   Dim VIEWSTATE As String, stockcode As String
   Dim DocType  As String, KeyWord As String
With ActiveSheet
    t = Timer: n = 1: myfla = True
    mdate = CStr(Format(Date, "yyyymmdd"))
    stockcode = CStr(.[D2].Value)
    With CreateObject("MSXML2.XMLHTTP")
         url = "http://www.hkexnews.hk/listedco/listconews/advancedsearch/search_active_main_c.aspx"
        .Open "GET", url, False
        .Send
        strText = .responsetext
        VIEWSTATE = encodeURI(CStr(Split(Split(strText, "__VIEWSTATE"" value=""")(1), """ />")(0)))
         url1 = "http://www.hkexnews.hk/listedco/listconews/advancedsearch/search_active_main_c.aspx"
        .Open "POST", url1, False
        .Send "__VIEWSTATE=" & VIEWSTATE _
         & "&ctl00$txt_today=" & mdate _
         & "&ctl00$hfStatus=ACM" _
         & "&ctl00$txt_stock_code=" & stockcode _
         & "&ctl00$rdo_SelectDocType=rbAll" _
         & "&ctl00$sel_tier_1=-2" _
         & "&ctl00$sel_DocTypePrior2006=-1" _
         & "&ctl00$sel_tier_2_group=-2" _
         & "&ctl00$sel_tier_2=-2" _
         & "&ctl00$ddlTierTwo=59,1,7" _
         & "&ctl00$ddlTierTwoGroup=2,1" _
         & "&ctl00$rdo_SelectDateOfRelease=rbManualRange" _
         & "&ctl00$sel_DateOfReleaseFrom_d=01" _
         & "&ctl00$sel_DateOfReleaseFrom_m=04" _
         & "&ctl00$sel_DateOfReleaseFrom_y=1999" _
         & "&ctl00$sel_DateOfReleaseTo_d=" & Mid(mdate, 7, 2) _
         & "&ctl00$sel_DateOfReleaseTo_m=" & Mid(mdate, 5, 2) _
         & "&ctl00$sel_DateOfReleaseTo_y=" & Mid(mdate, 1, 4) _
         & "&ctl00$rdo_SelectSortBy=rbDateTime"
        strText = .responsetext
        LoadTotxt (strText)

    End With
  End With
End Sub

Function LoadTotxt(strText)
   Open ThisWorkbook.Path & "\allshowing.txt" For Output As #1
   Print #1, strText
   Close #1
End Function

Public Function encodeURI(strText) As String
    With CreateObject("msscriptcontrol.scriptcontrol")
        .Language = "JavaScript"
        encodeURI = .Eval("encodeURIComponent('" & strText & "');")
    End With
End Function

发现 Requext框 WebForms 里面的__VIEWSTATE动态参数，总是和 Requext框 Raw里面的__VIEWSTATE动态参数不一致。
不知是何缘故。
我传附件上来，恳请吴姐指点迷津。 mytest.zip (60.06 KB, 下载次数: 35)

2015-9-25 17:23 上传

点击文件名下载附件

路遥的遥

必须大力的赞一个
！！！

谎言太逼真

wcymiss 发表于 2014-10-21 21:55
获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

女神,我在抓集思录上的数据,帮我看一下,也取到了Cookie,就是不能取数据,第一次登陆后把COOKIE复制上去就可以,但隔天就不行了,求解.谢谢

cjpxs

wcymiss 发表于 2014-10-24 10:57
代理
如果服务器对同一IP有访问次数的限制，我们就要使用代理服务器了。

请教楼主:
(1) .SetProxy 必须在 .Open 前面么？还是在 .send 前面就可以了？

(2)  如果我只创建了一个WinHttpRequest，但中间要GET,POST多个不同的网址，那么第一次设置的代理对后面的还起作用不？是否需要每链接一个网址就要设置一下代理?
.setRequestHeader "Referer", "http://xxx" 是否对后面的链接一样起作用呢？

With CreateObject("WinHttp.WinHttpRequest.5.1")
    .SetProxy 2, "xxx.xxx.xxx.xxx:xxx"    1
    .Open "GET", "
    .send

    .SetProxy 2, "xxx.xxx.xxx.xxx:xxx"    2
    .Open "GET", "
    .send

    .SetProxy 2, "xxx.xxx.xxx.xxx:xxx"    3
    .Open "POST", "
    .send

    ……

End With

zh2pan

网页抓取运行一段时间后死机，烦恼中，留名