网页采集(网页提交)教程第一课-用XMLHTTP获取数据并用Adodb.Stream转换编码提取信息

liucqa

doryan 发表于 2012-7-16 10:16
期待 第二课
补充个字符串处理函数 StrConv
我喜欢用来把 BTYE数组 直接转换成 指定格式的字符串

加上了，不过我一般不用这个函数。因为只针对ANSI编码的网页才有效（简体版系统就是gb2312的网页）。

引子玄

liucqa 发表于 2012-7-16 08:25
欢迎各位学习，请提出宝贵意见。如果有人能提供适合上课的网页链接，我会继续写教程

从初学者的角度，谈点自己的在学习中的困难感受，或许也是师者某节课的思考点。
网抓代码的通用性弱，因为网页千变万化。这是“难”之源泉。
听说网抓有四种方式：XMLHTTP对象、InternetExplorer对象、QueryTables对象、WebBrowser对象。其中QueryTables对象方法，是很多菜鸟最喜欢的手段，包括自己，也包括不少老外也在使用中求助此类问题。
因为QueryTables简单易学，即使有问题，处理起来也较为共性，感觉通用性好。至于导入部分的不同内容需求，擅长网页编辑的在源文件脚本中编辑处理，而擅长Ｅ技的则可以在Ｅ内处理，等等，可谓各显神通、各尽其长。
QueryTables对象方法，对单页面的处理，应该是很方便的。但是遇到多页面，对于初学者就感到棘手了。这棘手的障碍，主要是批量处理ＵＲＬ和多页面内容如何导进Ｅ内需要位置的问题。也就是如何处理代码写作中这“两个变量”的问题，即“如何做循环”？如果初学者掌握了这个难题的处理技巧，那么网抓学习者的潜力将被大大激发出来，原来“跳起来就摘到了桃子”。
希望在今后的学习中，能看到QueryTables对象法的“批量处理”技巧，让初学者捷足先登感受“成功快乐”。
以上纯属个人学习感受，不见得正确。
望大家赐教。

kangatang

感谢liucqa 大侠，第一个较为系统化地讲解抓取工作流程和技巧。
我等网络方面的基础知识比较薄弱。对这种技巧缺少底层的知识。比如Cookie和sid的时效base64 encode, 以及decode；
还有cookie的工作原理，
各个post参数的什么时候必须用等等。

kangatang

各位路过的大侠，问一个问题：

如果碰上网址重定向。
GET 或POST 后面的网址是重定向前之前的，还是重定向之后的？(用重定向之后的网址肯定暂时没问题)

有时候连续重定向好几次。
重定向之后的网址不是每次都相同(里面的某些参数有时效，比如SID=.....等)
这样很麻烦。请问有什么办法？

liucqa

kangatang 发表于 2012-7-16 13:04
各位路过的大侠，问一个问题：

如果碰上网址重定向。

用winhttp，get重定向之前的就行
.Option(6)=True

kangatang

liucqa 发表于 2012-7-16 14:28
用winhttp，get重定向之前的就行
.Option(6)=True

Option(6) 为 True 时，当请求页面重定向跳转时自动跳转；False 不自动跳转，并截取服务端返回的302状态

谢谢。到实际应用时，可能更复杂。

一条狗

貌似是不错的教程,不过还有其他的方法的

gxchyy

顶一个，有空再看看，研究研究，谢谢楼主！

zjxte75

It should be the top topic in the future, especially for beginers!

jip168

先顶再学！！！！