网页数据采集---网页文档解析篇(json/html/xml)

liu-aguang

Json/HTML/XML是目前常见的几种数据网页形式, 解析它们(即分离出文档中需要的文本内容)有很多方法.本文主要介绍浏览器自身的解析方式----JavaScript，Dom和jQuery. 不要被这些新名词吓倒, 套用一本书名的说法: 其实很简单!

目录

一.  重要的基础知识及技巧

     1. 执行JavaScript语句的环境营造

     2. execScript方法和eval函数

     3. 执行JavaScript的全局函数

     4. 执行自定义函数

     5. JavaScript的数组和对象

     6. 将网页文本写入剪贴板—clipboardData对象

二.  Json与Json内容解析

     1. 什么是Json?

     2. 遍历对象或数组的方法

     3. Jsonp解析方法

     4. 数组和对象自身嵌套或相互嵌套的Json/Jsonp实例

三. 基于HTML DOM解析HTML文档
     1.了解HTML基本概念
     2.了解文档对象模型(HTML DOM)
     3 .HTML文档解析
      <1>应用Document对象的方法与属性解析
      <2>应用节点对象的方法与属性解析.
      <3>应用Table对象解析表数据

四. 基于jQuery对象解析HTML文档
    1. 什么是jQuery?
    2. 基本语法---如何获取元素内容
    3. 选择器---如何选择元素
      <1>元素选择器
      <2>属性选择器
      <3>选择器组合
      <4>选择器内包含过滤
      <5>内容选择器
      <6>type选择器
    4.基本的过滤器---如何聚焦指定元素
    一个应用实例
    5. 遍历---更多选择(过滤)HTML元素方法
       <1>jQuery把HTML结构视为家族树
       <2>遍历祖先
       <3>遍历后代
       <4>遍历同胞
       <5>把当前元素包含在选择集合中
       <6>返回距当前元素最近的祖先元素
       <7>将匹配元素集合缩减为指定范围的子集
       <8>对 jQuery 对象进行迭代，为每个匹配元素执行函数

五. XML文档解析
    1. XML文档结构
    2. XML文档的加载
       <1>通过微软的 XML 解析器加载 XML
       <2>通过Microsoft.XMLHTTP, MSXML2.XMLHTTP等组件加载
    3. 利用XML DOM的属性和方法访问元素的文本内容或属性
       <1>利用XML DOM的方法选择XML元素
       <2>利用XML DOM的属性访问元素的文本内容或属性
       <3>访问元素文本内容和属性的两个实例
    4. 定位XML DOM节点
    5. 访问节点总结
    6. 利用xPath查询XML元素

lwmichael

优秀+++++++++++学习了

bright_xh

这个有没word文档之类的，这样看有点累

tcy119

占个位置，下次学习用

chaseboli0

紫川文秀 发表于 2017-3-11 23:13
把楼主大大的内容贴在一个文档里,列了目录方便大家下载备查.

好人啊，感谢分享

松野

绝世好文，拜读中

onthetrip

liu-aguang 发表于 2016-10-14 14:01
2. 基本语法
   
   jQuery对象.动作()

我测试了一下两个jTest过程，第一个jTest过程提示拒绝访问权限，第二个jTest过程没问题。发现原因是要将window对象在odom.wirte jQuery后赋值。
不知道对不对。

fengbao008

sxl1973 发表于 2023-8-4 08:36
这个网站我想抓取按红圈的部分提取154页数据。谢谢！http://query.bjeea.cn/queryService/rest/plan/115 ...

搞不定啊

sxl1973

liu-aguang 发表于 2016-9-27 09:04
一.  重要的基础知识及技巧
如今浏览器上看到的网页是如此地酷玄与生动, 这都归功于浏览器中内置的JavaScr ...

这个网站我想抓取按红圈的部分提取154页数据。谢谢！http://query.bjeea.cn/queryService/rest/plan/115这是地址。

一半，一半！

看不懂，很高深。先留个印，再研究吧。