ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2016-1-26 08:58 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖已被收录到知识树中,索引项:网页交互
dkuu6n 发表于 2016-1-25 22:56
各位高手,象这种网页地址里有13位按顺序变化数字的网页,如同个网页不同时候打开有:*/UUFFC/1?_=144617 ...

1446173214067,这表示的是时间

TA的精华主题

TA的得分主题

发表于 2016-2-1 22:59 | 显示全部楼层
登录mail.163.com网抓时发现fiddle能看到ie通过https的post包中的明文用户名和密码,换了firefox就看不到任何一个https包,也找不到发送的登录信息,以前一直用firefox都能正常抓包。困扰多日不解,请指教。

另外发现启用fiddle时登录163信箱有延迟,网页上有提示,见附件图片,大意是说网络有延迟,没有启用正常加密模式,关闭fiddle就没这种提示,不知道是不是这个原因,水平不够不知道深层问题所在,请指教。

先

后

TA的精华主题

TA的得分主题

发表于 2016-2-2 11:25 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
dkuu6n 发表于 2016-1-25 22:56
各位高手,象这种网页地址里有13位按顺序变化数字的网页,如同个网页不同时候打开有:*/UUFFC/1?_=144617 ...

后面的13位数字是时间

TA的精华主题

TA的得分主题

发表于 2016-2-3 18:33 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
各位大神,本人在练习网抓时遇到个问题,希望能得到各位指点,比如这个网址,http://www.amazon.com/gp/pdp/profile/AZKRFNQ8EFO4T , 进入页面后点击“see more”, 然后会看到一个“send an email”的链接,只有点击这个链接后才能看到EMAIL地址,而且在源代码里是没有的,用FIDDLER抓包,发现点击这个链接后有个“GET”的动作,但是模拟了几次都不成功,希望各位能指导下,谢谢了。

TA的精华主题

TA的得分主题

发表于 2016-2-5 22:18 | 显示全部楼层
dkuu6n 发表于 2016-1-25 22:56
各位高手,象这种网页地址里有13位按顺序变化数字的网页,如同个网页不同时候打开有:*/UUFFC/1?_=144617 ...

谢谢各位,这 13位按顺序变化数字 不是重点,重点是模拟好headers后,再随便用一个以前的13位的数字如*/UUFFC/1?_=1446173214075 即可顺利网抓。好过瘾!!!

TA的精华主题

TA的得分主题

发表于 2016-2-17 21:44 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册

好的东西必须收藏标记!

TA的精华主题

TA的得分主题

发表于 2016-2-18 23:41 | 显示全部楼层

按照你的方式看了好几遍,抓包还是分析不会,帮忙看下如下怎么做
http://search.10jqka.com.cn/stockpick/search在这里面输入002226涨停分析,点击搜索,想提取里面的数据涨停分析里面的数据出来。怎么写,求指导,谢谢!还有抓包怎么分析哪个是我们要的网址?太多个了分析不来,求指导


QQ拼音截图未命名.png

TA的精华主题

TA的得分主题

发表于 2016-2-26 16:31 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2016-3-5 16:09 | 显示全部楼层
求组大神们,当使用11楼的url转码代码时:

Function encodeURI(strText As String) As String
    Function encodeURI(strText As String) As String
    With CreateObject("msscriptcontrol.scriptcontrol")
        .Language = "JavaScript"
        encodeURI = .Eval("encodeURIComponent('" & strText & "');")
    End With
End Function
        .Language = "JavaScript"
        encodeURI = .Eval("encodeURIComponent('" & strText & "');")
    End With
End Function

显示 runtime error "429" Could not create objective. 具体指向为 “With CreateObject("msscriptcontrol.scriptcontrol")”

请问各位大神 这个该如何解决?(我的excel版本是2016)
(已尝试网上提出的一些方法,但均无效)

非常感谢

TA的精华主题

TA的得分主题

发表于 2016-3-6 22:24 | 显示全部楼层

Sub HomeWork1_1()
'新手:DongYu 优化:NeemxYang
'作业:1、网站:http://data.bank.hexun.com/lccp/jrxp.aspx
'操作:点击“今日在售产品”,获取今日在售产品第一页的数据。
'工具-引用 MSXML 3.0-6.0

   
    Dim xml As New MSXML2.XMLHTTP, url As String, St As String
    Dim arr, brr, ar, i, c, j, k
    With ActiveSheet
   
    .[a1].Resize(1, 10) = [{"编号","产品名称","银行","起售日","停售日","币种","管理期(月)","产品类型","预期收益(%)","收益"}]
    End With
    For j = 1 To 44
    url = "http://data.bank.hexun.com/lccp/Jrxp.aspx?col=1&tag=desc&date=" & Date & "&page=" & j '修改了日期起止时间为今日和分页循环(今天是44页)
    With xml
        .Open "GET", url, False
        .send
        St = .responseText
    End With
    St = Split(Split(St, "<div class=""mark"">")(1), "</div>")(0)
    arr = Split(St, "<tr align='center'>")
    ReDim brr(1 To UBound(arr), 1 To 9)
    For i = 1 To UBound(arr)
        ar = arr(i)
        brr(i, 1) = Split(Split(ar, "value='")(1), "'")(0) + Split(Split(ar, "<font class='cred'>")(1), "</font>")(0)
        brr(i, 2) = Split(Split(ar, "</font></td><td class='hl'>")(1), "</td>")(0)
        brr(i, 3) = Split(Split(ar, "<td  class='on'>")(1), "</td>")(0)
        brr(i, 4) = Split(Split(ar, "<td  class='hl'>")(1), "</td>")(0)
        brr(i, 5) = Split(Split(ar, "<td  class='hl'>")(2), "</td>")(0)
        brr(i, 6) = Split(Split(ar, "<td  class='hl'>")(3), "</td>")(0)
        brr(i, 7) = Split(Split(ar, "<td  class='hl'>")(4), "</td>")(0)
        brr(i, 8) = Split(Split(ar, "<td  class='hl'>")(5), "</td>")(0)
        brr(i, 9) = Split(Split(Split(ar, "<td  class='hl'>")(5), "</td>")(1), ">")(1)

    Next i
    With ActiveSheet
        '.Cells.Clear
        k = [b63356].End(3).Row
        .Columns("D:E").NumberFormatLocal = "yyyy-m-d"
        .Range("b" & k + 1).Resize(UBound(brr, 1), 9) = brr
        With .Cells     '优化了单元格的自动调整及水平和垂直对齐
        .Rows.AutoFit
        .Columns.AutoFit
        .VerticalAlignment = xlCenter
        .HorizontalAlignment = xlCenter
        End With
    End With
Next j
ActiveSheet.[a:j].Sort key1:=[i2], order1:=xlDescending     '增加了对收益排序 降序排序

End Sub
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-12-25 02:03 , Processed in 0.056102 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表