目的很明确，学“网页数据抓取”。但一直找不到门，不知如何下手？

引子玄 · 发表于 2012-2-2 21:26

本帖最后由引子玄于 2012-2-2 21:35 编辑

目的很明确，学“网页数据抓取”。——是那种比较复杂的网页数据抓取，如100多家公司数据的变化走势数据——网页现成的静态数据（按公司分类）。
但一直找不到门，不知如何下手？
折腾了很长时间，还在门槛外游荡~~~~~

引子玄 · 发表于 2012-2-2 21:28

要是有免费的数据抓取的工具就好了,可以省却很多困难

引子玄 · 发表于 2012-2-3 20:49

本帖最后由引子玄于 2012-2-3 20:49 编辑

求问大家,我直接学SQL(不学ACCESS),行吗?因为我主要是学"数据抓取"建立数据仓库,为的是导入到EXCEL中使用.

xsy我可以很好 · 发表于 2012-2-4 01:48

最好有个附件{:soso_e177:}

引子玄 · 发表于 2012-2-4 17:08

本帖最后由引子玄于 2012-2-4 22:40 编辑

xsy我可以很好发表于 2012-2-4 01:48
最好有个附件

就是“网页数据抓取”自动化弄成这个样子的EXCEL数据库
(数据被抓取网页
http://1x2.bet007.com/oddslist/566016.htm

把每个公司的后台隐藏的数据走势,抓取到如附件中的EXCEL数据库中)

引子玄 · 发表于 2012-2-4 21:00

本帖最后由引子玄于 2012-2-4 21:48 编辑

引子玄发表于 2012-2-4 17:08
就是“网页数据抓取”自动化弄成这个样子的EXCEL数据库
(数据被抓取网页http://1x2.bet007.com/oddsli ...

自己感觉应该是有难度的。因为从自己接触到的网民（会做这个的）来看，他们是要收费的（出售此类软件）。可见这个DD很多人不会弄，并有一定难度。自己是这么推测的——至少靠EXCEL技术是不能够解决的（自动化抓取网页数据），它必须依靠EXCEL之外的其他OFFICE软件来完成这个复杂作业——数据库，还可能是比较复杂难搞的数据库（涉及抓取后台数据——需要无数次的再点击打开弹出小网页的数据），有时还可能要应付数据网站设置的屏障。

如果把EXCEL比做“巧妇”的话。
那么数据库则是“米”。

搞不好数据库，EXCEL “巧妇难为无米之炊”，由此可见“数据库”的重要性。

zhangjimfu · 发表于 2012-2-4 22:13

为什么不从后台数据库取数呢？

Renco · 发表于 2012-2-4 22:20

zhangjimfu 发表于 2012-2-4 22:13
为什么不从后台数据库取数呢？

LZ是个“贼”，好比如对贼说，为什么不去银行金库拿钱一样

zhangjimfu · 发表于 2012-2-4 22:28

Renco 发表于 2012-2-4 22:20
LZ是个“贼”，好比如对贼说，为什么不去银行金库拿钱一样

Renco形容很贴切，也很有道理，如果是自家数据就不必大费周折了，呵呵．．．．

roych · 发表于 2012-2-5 02:14

其实用XML是可以抓取数据的，不过也是一件比较麻烦的事情，必须先分析网页的HTML标识，然后才好分离数据出来。之前回复过一个帖子。
发帖者用的是Excel，希望用Access处理。——我这人比较懒，所以只对ta的部分代码进行了小部分的修改而已，详细请查看以下链接：
http://club.excelhome.net/thread-813791-1-1.html

		自动登录	找回密码
密码			免费注册

[讨论] 目的很明确，学“网页数据抓取”。但一直找不到门，不知如何下手？