不懂html也来学网抓（xmlhttp/winhttp+fiddler）

renahu · 发表于 2014-10-31 11:22

renahu 发表于 2014-10-31 10:32
吴老师，\u003这种格式是什么编码？

比如江苏七星彩这个例子中抓到的：

明白点儿了，这里使用的是Unicode编码

goldowl2011 · 发表于 2014-10-31 12:20

Mark.Thanks a lot.

wcymiss · 发表于 2014-10-31 14:52

本帖最后由 wcymiss 于 2014-11-1 16:48 编辑

这里留个空位，有精力就再写个登录。。

接下去是上传了。。

kangatang · 发表于 2014-10-31 14:57

本帖最后由 kangatang 于 2014-10-31 15:20 编辑

wcymiss 发表于 2014-10-29 16:27
复杂登录二：58同城登录

285楼的执行网页脚本的方法非常值得学习，记得这是当初楼主的代码，我借花献佛，帮你阐述285的核心技术。

在内存中创建 htmlfile对象，再装入html脚本(只要是Javascript, jquery代码或链接地址)。当然事先将这些JS代码GET一下，装入本地缓存。一般来讲，第二次get那些链接地址时(htmlfil加载时会自动get)，系统默认直接从缓存中读取，这样的好处是，不会因为JS代码未加载完就执行JS函数。

Sub Main()
Dim strHtml As String
Dim objDoc As Object
Dim objWin As Object
Dim strScript As String
Dim t
Set objXML = CreateObject("MSXML2.XMLHTTP")
arrJSFile = Array("http://code.jquery.com/jquery-1.10.2.min.js", "http://www.veryhuo.com/uploads/Common/js/jQuery.md5.js") '要加载的js文件名

'先下载JS文件到缓存（GET请求一次即可），以提高DOM加载JS文件的速度。（否则加载会有延迟）
For i = 0 To 1
objXML.Open "GET", arrJSFile(i), False
objXML.Send
Next

strHtml = "<!DOCTYPE html><html><head>"
strHtml = strHtml & "<script src='http://code.jquery.com/jquery-1.10.2.min.js'></script>"
strHtml = strHtml & "<script src='http://www.veryhuo.com/uploads/Common/js/jQuery.md5.js'></script>"
strHtml = strHtml & "</head></html>"

Set objDoc = CreateObject("htmlfile")
objDoc.write strHtml
Set objWin = objDoc.parentWindow
strScript = "var md = $.md5('我爱你中国！')"

objWin.execScript strScript, "JavaScript" '执行JS函数
Debug.Print objWin.md
Set objXML = Nothing
End Sub

335081548 · 发表于 2014-10-31 15:12

感谢分享，留个脚印，支持吴姐

153091086 · 发表于 2014-10-31 16:43

本帖最后由 153091086 于 2014-10-31 17:13 编辑

153091086 发表于 2014-10-30 21:36
按教程去抓取”http://epub.cnki.net/kns/brief/result.aspx?dbPrefix=CJFQ“论文列表数据，总是出现这个提 ...

吴姐，基本搞定了，模拟了Cookie, 但还是有点问题，出来的数据好像不全呢。

153091086 · 发表于 2014-10-31 17:02

153091086 发表于 2014-10-30 21:36
按教程去抓取”http://epub.cnki.net/kns/brief/result.aspx?dbPrefix=CJFQ“论文列表数据，总是出现这个提 ...

吴姐，基本已搞定了，但出即时窗口里面显示的抓包数据不全，怎么回事呀？

liangdonghao922 · 发表于 2014-10-31 20:37

wcymiss 发表于 2014-10-21 21:55
获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

这就不懂了，两个cookie 的值不是一样的吗？？？？执行同样的动作，同样的值，怎么就因为家了那个getAllResponseHeaders 所以就可以自动登录前者就不行？

etsure · 发表于 2014-11-1 00:07

kangatang 发表于 2014-10-31 14:57
285楼的执行网页脚本的方法非常值得学习，记得这是当初楼主的代码，我借花献佛，帮你阐述285的核心技术。 ...

我看到返回的都是string类型，如何返回引用类型？例如数组等？

kangatang · 发表于 2014-11-1 00:09

etsure 发表于 2014-11-1 00:07
我看到返回的都是string类型，如何返回引用类型？例如数组等？

看立即窗口

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

评分

点评

点评

点评