网页数据采集---网页文档解析篇(json/html/xml)

smhf_6

其他数据库比如， DB2、SQL Server、Sybase、Informix、MySQL、VF 等等，也不熟悉，也不知道与vba能否关联
若用wps表格，建立、删除、追加没问题，但表格只有65536行太少，且不能象access检索，不行
若用txt文件，问题也出在检索上，须分割后逐行判断，也不行

liu-aguang

smhf_6 发表于 2017-7-10 12:32
其他数据库比如， DB2、SQL Server、Sybase、Informix、MySQL、VF 等等，也不熟悉，也不知道与vba能否关联
...

毫无疑问, 大数据存取和访问管理使用数据库是最优选择. 即使EXCEL或WPS可以容纳, 但操作运行也会像蜗牛一般, 难以容忍. VBA应用ADO技术访问SQL Server/MYSQL的实现, 论坛上有较多的案例, 值得你去研究借鉴.
JSON或XML管理数据, 也能实现数据管理的各项功能, 但其检索也存在与Txt检索一样的问题----只有通过遍历判断实现;  至于效率肯定不如数据库方式. 它们存在的最大理由是不同平台之间数据交换的兼容性和网页解析的便宜性.

smhf_6

非常非常感谢liu-aguang老师的指点, 看样子一开始我的方向就错误了，还是用数据库吧，不过，要不是查找 关于xml的资料，那就漏掉了这篇好文章，您写的太好了，我还是有收获的。
谢谢

sh205

谢谢版主分享！！！

hehex

liu-aguang 发表于 2016-10-7 14:27
HTML文档解析

今天才拜读老师的大作，写的真好。一系列文档实例的应用，恍然有种强几天深读BeautifulSoup 的文档的感觉。还要反复学习。HTMLDocument方式解析网页，论坛上只有一鳞半爪的几个范例，而像老师写的这么系统的还是头一份。非常优秀的作品分享，感谢感谢。

书生春秋

学习了，感谢老师无私奉献和辛苦整理的版友

qinyun

学习学习学习学习学习学习学习学习学习

xliutree

收藏学习。。。。

中原一布衣

先收藏，慢慢学。

lms008

向老师请教@liu-aguang，我想把xml 中有row 对应的记录相关的 item  visible="true" 的value 值保存到excel 文档中？请问如何过滤这些记录呢？
xml的结构如下：
<lov id="MasterSearchLOV" name="null" xsl="style/masterEnquiry.xsl">
<search id="MasterSearchLOV_search">...</search>
<recordSet>
<header>...</header>
<content>
<row order="odd">
<item visible="false">...</item>
<item visible="true">HK17112202473392</item>
<item visible="true">CREDIT CARDS</item>
<item visible="true">CHAN TAI MAN</item>
<item visible="false">1241</item>
<item visible="false">2029</item>
<item visible="false">01</item>
<item visible="true">HKSPG17VAWV000</item>
<item visible="true">HKID / A1234563</item>
<item visible="false">90</item>
<item visible="false">A1234563</item>
<item visible="false"></item>
<item visible="false">9999999</item>
<item visible="false"></item>
<item visible="false"></item>
<item visible="true">PRESCREEN</item>
<item visible="true">PENDING</item>
<item visible="true">AIP</item>
<item visible="true">2017-11-22 00:00:00.0</item>
<item visible="false"/>
<item visible="true"/>
<item visible="false">1002</item>
<item visible="false">Y</item>
<item visible="false"/>
<item visible="false">3007</item>
<item visible="false"/>
<item visible="false"/>
<item visible="false">-</item>
<item visible="false"/>
<item visible="false"></item>
<item visible="false"/>
<item visible="false"/>
<item visible="false"></item>
<item visible="false">HKR1206-22112017154134-22804</item>
<item visible="false"></item>
<item visible="false"></item>
<item visible="false">-</item>
<item visible="false"></item>
<item visible="false"></item>
<item visible="false"/>
<item visible="false"></item>
<item visible="false"></item>
</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
<row order="odd">...</row>
<row order="even">...</row>
</content>
</recordSet>