不懂html也来学网抓（xmlhttp/winhttp+fiddler）

liangdonghao222

coby001 发表于 2014-10-30 09:33
URL 里不能识别 多字节字符，必须用 单字节 来重新表示 多字节。

.send "csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=022440&dosubmit=%E6%8F%90%E4%BA%A4"
        .send "csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=" & [a1] & "dosubmit=%E6%8F%90%E4%BA%A4"

老师 [a1]的值是022440   但是l两个返回的数据不一样  这样的引用是不是错的？？

coby001

dim postData$

postData="csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=" & [a1] & "dosubmit=%E6%8F%90%E4%BA%A4"
debug.print postData
.send postData

coby001

.send "csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=" & [a1] & "&dosubmit=%E6%8F%90%E4%BA%A4"

renahu

wcymiss 发表于 2014-10-23 16:12
缓存的困扰
用xmlhttp对象GET数据时，会优先从缓存中调取。

"为了验证一段代码能否真正获取到数据，除了清除浏览器的Cookie缓存种种，还必须关闭excel再重新打开excel后再运行代码。这时的运行结果才是代码的真正结果。
"
吴老师，看到这句话，让我想起昨天折腾我一天的60楼那个找动态参数的例子，一直无法获取数据，而您说您那里没有问题，结果折腾来折腾去，最后因意外故障excel自动重启，结果再执行，数据成功获取。今天上午，再试这个例子又出现无法获取，我就如法炮制，关了excel然后重新打开，呵呵，又获取成功。看来真可能是缓存的问题。

coby001

renahu 发表于 2014-10-30 14:48
"为了验证一段代码能否真正获取到数据，除了清除浏览器的Cookie缓存种种，还必须关闭excel再重新打开exce ...

在URL后加一段随机数即可~
URL & "&t=" & int(rnd()*10^8)

renahu

coby001 发表于 2014-10-30 15:40
在URL后加一段随机数即可~
URL & "&t=" & int(rnd()*10^8)

是60楼那个找动态参数的例子,在这里加吗？

strUrl = "http://app.abchina.com/rateinfo/RateHistorySearch.aspx" & "&t=" & int(rnd()*10^8)
可是数据找不到了
是不是在 send 后面加，比如第二个open "POST"
        .send "__VIEWSTATE=" & VIEWSTATE _
            & "&__EVENTVALIDATION=" & EVENTVALIDATION _
            & "&ddr1=" & encodeURI(strDdr1) _
            & "&datepicker1=" & strDatepicker1 _
            & "&datepicker2=" & strDatepicker2 _
            & "&btnSearch=" & encodeURI("搜索") _
'           & "&t=" & Int(Rnd() * 10 ^ 8)
第三个 open "POST"  也相应的加上

是这个意思吗？

ak47ok

wcymiss 发表于 2014-10-23 14:50
其实用fiddler网抓的方法写到这里基本可以告一段落了，剩下的就是多多操作，多写代码，多攒经验。有时候某个 ...

感谢吴大师的如此悉心教导！
还想请您指导这个问题在打开的网页自动填表的问题将原帖http://club.excelhome.net/thread-1150374-1-1.html附件上传在此，谢谢！

只考虑自动填表问题、不用理会识别码，再次感谢！

renahu

wcymiss 发表于 2014-10-23 16:12
缓存的困扰
用xmlhttp对象GET数据时，会优先从缓存中调取。

吴老师，关于91楼的缓存问题，我怎么加上这句
.Open "GET", "http://www.1396me.com/shishicai/" & Rnd(), False
提示：下标越界 ？

renahu

wcymiss 发表于 2014-10-21 15:20
新手作业：
网站：http://www.pinble.com/Lottery.htm
操作：点击“各省体彩”---“江苏七星彩”，获取江 ...

吴老师，17楼的体彩例子，这里是先要把UTF-8编码转换成J3编码是吗？J3编码是不是就是我们常见的能看懂的编码？除了这里的UTF-8编码，还有什么常见的需要转换成J3编码的？

renahu

onlycxb 发表于 2014-10-23 16:44
新手作业

老师您好，您写的江苏七星彩中这句是什么意思呀？

Pstr = "<tr style='backgro%und-color: White; border-color: #B6CBE8;'>"

嗨，看下面明白了，用来分割用的