不懂html也来学网抓（xmlhttp/winhttp+fiddler）

onlycxb

renahu 发表于 2014-10-30 21:22
请问，这里标注的J3编码是什么意思
STxt = UTF8toChineseCharacters(STxt)                             ...

注意联系数据看代码使用。最好实测数据。我印象中是 \u003这种格式。

onlycxb

153091086 发表于 2014-10-30 21:25
想请教一下大神们，怎样才能抓到中国知网上的论文列表（http://epub.cnki.net/kns/brief/result.aspx?dbPre ...

请从第1 页开始详细看本贴教程，自会有答案。

153091086

按教程去抓取”http://epub.cnki.net/kns/brief/result.aspx?dbPrefix=CJFQ“论文列表数据，总是出现这个提示：
<script language=javascript >
alert('对不起，服务器上不存在此用户！可能已经被剔除或参数错误');
</script><script language='javascript'>
try{window.parent.HideWaitDiv();}catch(err){};</script>

吴姐，能否指点一下呀？

renahu

wcymiss 发表于 2014-10-21 11:25
vba网抓常用方法：（唠叨话，可略过）

1、xmlhttp/winhttp法：

吴老师，\u003这种格式是什么编码？

比如江苏七星彩这个例子中抓到的：

"  \u003cdiv class=\u0027kai_lwone\u0027\u003e \u003ctable width=\u0027100%\u0027 border=\u00270\u0027 cellspacing=\u00270\u0027 cellpadding=\u00272\u0027 class=\u0027kai_rbg3\u0027\u003e \u003ctr\u003e\u003ctd width=\u002760%\u0027 class=\u0027kai_rbg_zi\u0027\u003e江苏七星彩 开奖信息\u003c/td\u003e\u003ctd width=\u002740%\u0027 align=\u0027right\u0027\u003e开奖周期：\u003cfont color=\u0027#A20010\u0027\u003e周二、周四、周五、周日&nbsp;&nbsp;\u003c/font\u003e\u003c/td\u003e\u003c/tr\u003e\u003c/table\u003e\u003ctable width=\u0027100%\u0027 border=\u00270\u0027 align=\u0027center\u0027 cellpadding=\u00270\u0027 cellspacing=\u00270\u0027 bgcolor=\u0027#B6CBE8\u0027 class=\u0027MT6\u0027\u003e\u003ctr\u003e\u003ctd\u003e \u003cdiv\u003e \u003ctable cellspacing=\u00270\u0027 cellpadding=\u00270\u0027 rules=\u0027all\u0027 bordercolor=\u0027#B6CBE8\u0027 border=\u00271\u0027 id=\u0027MyGridView\u0027 style=\u0027width: 100%; border-collapse: collapse;\u0027\u003e \u003ctr\u003e \u003cth scope=\u0027col\u0027\u003e \u003cdiv style=\u0027height: 26px; background-color: #E9F3FE\u0027 class=\u0027L_zi1\u0027\u003e开奖时间\u003c/div\u003e\u003c/th\u003e\u003cth scope=\u0027col\u0027\u003e\u003cdiv style=\u0027height: 26px; background-color: #E9F3FE\u0027 class=\u0027L_zi1\u0027\u003e 期号\u003c/div\u003e\u003c/th\u003e\u003cth scope=\u0027col\u0027\u003e

liangdonghao222

liangdonghao922 发表于 2014-10-30 20:29
老师能不能帮忙解释一下为什么一定要这样引用  按照常理 我上面的那种引用格式都是可以的喔？

不是方便不方便的问题


        .send "csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=" & [a1] & "dosubmit=%E6%8F%90%E4%BA%A4"


.send "csrf_test_name=f52e9726d36d24aea77906fdbf0301f1&show_pwd=" & [a1] & "&dosubmit=%E6%8F%90%E4%BA%A4"

但是l两个返回的数据不一样  这样的引用是不是错的？？   
为什么第一个的  的写法不可以？

liangdonghao222

liangdonghao222 发表于 2014-10-31 10:36
不是方便不方便的问题

猛得一醒，居然这都看漏，，真谢谢，
还有3个问题想资讯一下；
1：类似发帖之类的 避免不了要输入验证码，用ie的方法还好整，如果xml遇到验证码怎么办
2：有时GET方式，debug  .responseytext  的数据不全（有些不显示，网站是utf8的）就算我赋值到单元格中       查找不出？原因何在
3：xml方法卡机的原因是？（有时运行很长时间，卡机了）

希望能回复一下

coby001

liangdonghao222 发表于 2014-10-31 10:49
猛得一醒，居然这都看漏，，真谢谢，
还有3个问题想资讯一下；
1：类似发帖之类的 避免不了要输入验证码 ...

早就给你加粗红字提醒你，到现在才醒，说你心不在焉呢~~

liangdonghao222

coby001 发表于 2014-10-31 10:57
早就给你加粗红字提醒你，到现在才醒，说你心不在焉呢~~

是啊，一直苦想为什么我那样引用就结果不对，真心抱歉啊

coby001

liangdonghao222 发表于 2014-10-31 10:49
猛得一醒，居然这都看漏，，真谢谢，
还有3个问题想资讯一下；
1：类似发帖之类的 避免不了要输入验证码 ...

1、get 验证码图片
2、写到txt文件里
3、超时，就结束进程，或设置“超时”--timeout

--------
另外：是xmlhttp，不要只说xml，引起误解。xml是文档格式，xmlhttp重在http链接。不要漏了。

liangdonghao222

coby001 发表于 2014-10-31 11:09
1、get 验证码图片
2、写到txt文件里
3、超时，就结束进程，或设置“超时”--timeout

1：get验证码图片 是要下载下来显示到窗体？
2：我明白，但是我赋值到单元格里面也是全部内容显示，就是找不到我要的？
3：能随便写个代码 怎么写超时？我不知道具体是哪个步骤耗时，ie的方法我还知道 do 用时到一定程度   直接end sub