关于学习网页采集课程的注意事项及必备能力

liucqa

        最近这几年，不少会员找我上课，一对一的学习网页采集的知识。对目前论坛网页采集大军肯于钻研的这种欣欣向荣的景象，俺感到十分的高兴。

    这说明Excel与第三方控件的整合应用各种场景，已经被广大会员所认知，网页采集逐步成为会员们所日常工作中的正常需求。实际上，Excel与第三方控件的整合应用，才是Excel软件的精髓之一，也是掌握难点。一旦认识或者攻破的这个难点，会员们对Excel能力的理解就会进入到一个更加广阔的世界！


    考虑到近期找我上课的会员较多，而网页采集属于VBA应用的高级课程，并非适合每一个会员。下面我简单说一下学习本课程需要具备的知识和能力基础。

    基础技能：
    1、学习本课程应具备VBA基础知识，例如变量定义、基本语句、基本函数（特别是字符串函数Split、Replace等）的初步掌握。
    2、学习本课程建议具备VBA中级知识，例如数组、字典、Excel对象等。这些知识不是必须的，但是已经掌握的人比没掌握的人在学习课程之后能够更快的实现工作目标。
    3、代码调试修改能力，例如已知的代码整合与修改（改成sub或者function，改改逻辑关系等）、监视变量、中断代码（stop）、调试代码、文本输出（通过剪贴板）。
    学习网页采集的知识无需自己创造代码，一切需要的代码都能在教程或网上找到，你所要做的仅仅就是修改而已，这个能力很重要，它会加快你掌握知识的进度。

    学习能力：
    1、应具备基本的英文知识，至少认识26个英文字母，能够记忆基本的英文单词，例如Sent、Open之类的。
    2、应具备基本的钻研能力，能够将课堂上给出的代码记住并做简单修改而不至于晕眩。（所谓简单修改就是在十行代码里面能够修改两三行）
    3、应具备基本的百度搜索能力，以便将课堂上所讲的有限的知识在课程结束之后，能够维持并应用于工作中。
    4、应具备良好的心态。学习任何一门新知识都不能一蹴而就，更不可能瞬间变成高手。任何知识的学习都离不开坚持和勤奋。妄图学习两堂课就能攻陷网页知识的人，一般我都称其为“天才”！
    5、应具备基本的时间掌控能力，不能因没有时间作为借口不做作业，更不能以此为借口轻易放弃学习。
       （话说，这样的人之前是为啥要上课来着，为啥不直接在论坛找义工呢？）


    下列几种情况，不适合参加本课程：
    1、VBA基础薄弱，看不懂英文字母，不具备最简单代码书写能力者。
    2、不具备学习能力和时间，仅仅是想通过上课立刻学会网页采集的代码，并想当然认为能够通用在各种网页而无需修改者。
    3、不愿意腾出时间钻研，认为我报名上课了，能不能学会就是老师的事情了，一切都依赖老师给提供代码者。
    4、心态急躁，两堂课学不会就要求放弃者。（迄今为止，我还没发现谁能在两堂课学会网页采集呢。为什么你不能坚持呢？）
    最后说一下，世上没有免费的午餐，天上也不会掉下来好吃的馅饼，金钱不能在不努力的条件下换来知识，知识也不会在不学习的人身上留下痕迹。老师可以领你入门，但老师不能替代你工作。那些认为上课之后就能找到免费义工的想法，还是尽早放弃吧，谢谢理解！


    如果你有兴趣在Excel高级应用的道路上入门并前行的话，请认真阅读上面的文字，想想我们为什么来学习，为什么而工作。


    知识的掌握是不能用金钱来衡量的，几堂简单的课程带你入门，也许以后就能出现一个Excel应用方面的高手，我对此有着充分的信心。


    世事虽变幻，一切皆可能！
    世上无难事，只要肯攀登。


    祝愿各位会员在Excel知识的海洋里能够越游越远，越游越开心！



******************我是分隔线*******************

网页采集理论课内容：
1、fiddler使用介绍
2、xmlhttp属性方法及示例
3、http介绍
4、Headers讲解
5、其他知识
本课程不涉及代码实践，正式上课前请自备需要采集的网站抓包（Fiddler）
本课程是对本人在论坛发布的网页教程的补充，请在上课前自行阅读该公开教程。

网页采集(网页提交)教程第一课





   

liucqa

请诸位勿回帖，本贴为保留贴，仅用于上课学员的阅读和理解。

谢谢！

liucqa

1. 
   
2. Option Explicit
   
3. 
   
4. Sub test()
   
5.     Dim ohttp As Object, strResText As String, URL$, posturl$, postdata$
   
6. 
   
7.     Set ohttp = CreateObject("WinHttp.WinHttpRequest.5.1")
   
8.     URL = "http://www.boc.cn/sourcedb/whpj/"
   
9.     ohttp.Open "GET", URL, False
   
10.     ohttp.send
    
11.     strResText = ohttp.ResponseText
    
12.     strResText = BytesToBstr(ohttp.ResponseBody, "UTF-8")
    
13.     PutClipboard (strResText)
    
14. 
    
15.     postdata = "erectDate=2015-03-18?hing=2015-03-18&pjname=0"
    
16. 
    
17.     posturl = "http://srh.bankofchina.com/search/whpj/search.jsp"
    
18. 
    
19.     ohttp.Open "POST", posturl, False
    
20.     ohttp.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    
21.     ohttp.setRequestHeader "Content-Length", Len(postdata)
    
22.     ohttp.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
    
23.     ohttp.setRequestHeader "Referer", "http://www.boc.cn/sourcedb/whpj/"
    
24.     ohttp.send (postdata)
    
25.     strResText = ohttp.ResponseText
    
26.     PutClipboard (strResText)
    
27. End Sub
    
28. 
    
29. Public Sub PutClipboard(ByVal str$)
    
30.     With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")
    
31.         .SetText str
    
32.         .PutInClipboard
    
33.     End With
    
34. End Sub
    
35. 
    
36. Function BytesToBstr(strBody, CodeBase)    '使用Adodb.Stream对象提取字符串
    
37.     Dim objStream
    
38.     On Error Resume Next
    
39.     Set objStream = CreateObject("Adodb.Stream")
    
40.     With objStream
    
41.         .Type = 1    '二进制
    
42.         .Mode = 3    '读写
    
43.         .Open
    
44.         .Write strBody    '二进制数组写入Adodb.Stream对象内部
    
45.         .Position = 0    '位置起始为0
    
46.         .Type = 2    '字符串
    
47.         .Charset = CodeBase    '数据的编码格式
    
48.         BytesToBstr = .ReadText    '得到字符串
    
49.     End With
    
50.     objStream.Close
    
51.     Set objStream = Nothing
    
52.     If Err.Number <> 0 Then BytesToBstr = ""
    
53.     On Error GoTo 0
    
54. End Function
    
55. 
    
56. 
    

复制代码

liucqa

网页采集的知识主要分三部分：
1、抓包工具的使用（fiddler等）
2、网页采集控件使用（xmlhttp、winhttp等）
3、网页提取（htmlfile、json、xml、正则、字符串处理等）

一般来说，网页采集和网页提取是两个不同的课程，不能混为一谈。前者建议找老师上课，系统的学习理论知识，后者可以自学（需要有坚实的vba基础和百度能力）。

如果要做一个成功的网页提取，上面三部分所占用的精力分别是
抓包并分析：    50%
写采集代码：    20%
提取网页数据：30%

越复杂的网站，抓包和提取所占据的工作量越大。

liucqa

高级教程，异步采集，推荐使用WINHTTP.
.

liucqa

网页后台采集插件，高级采集技巧，采用C#编程.

该方法的原理与网游后台插件原理相同，
可以抓包采集任何通过http协议访问的数据，也可以拦截和修改网站返回的页面信息，或者拦截和修改浏览器发送给网站的信息。

玩过页游的，大概知道这种代码的真实作用，当然具体操作可能还需要解析AMF，嘿嘿...

liucqa

Flash页面的采集技巧


要使用VB,Delphi,C++等WinForm编程软件来发送AMF格式数据都是十分困难的,几乎没有现成的组件可以使用,C#可以使用FluorineFx组件解析AMF。  

AMF是ADOBE公司的专用协议,若不想用C#解析,最好下一份AMF文档,自己解析结构,不过肯定会很困难。


在C#中处理AMF，无论是AMF0还是AMF3都很简单。

网上搜索到的AMF.net和AMFExplorer等等，其实都不能用， 不是有BUG ，就是类库不新，数据类型支持不完全。

应该使用FluorineFx这个类库，

只要两行代码即可:

AMFDeserializer deserializer = new AMFDeserializer(stream);
AMFMessage message = deserializer.ReadAMFMessage();


即可以在message中看到所有的信息 ，而上面的stream对象就是一堆二进制的流，可以是从Httpwebresponse中返回的，也可以是从文件中读取的。

有关FluorineFx类的详细4，可以到它的官方网站上查询 http://www.fluorinefx.com/

liucqa

C# 多线程并发请求，默认线程池是1000多个线程，提交请求的效率比较高。




C#代码UI和HttpRequest一共800多行。

liucqa

采集新加坡交易所的A50指数的实时行情，WebSocket推送

龙城飞将III

跟着liucqa老师一起学习网抓！