不懂html也来学网抓（xmlhttp/winhttp+fiddler）

ciwei99 · 发表于 2015-1-8 12:53

请教http://www.dq123.com/price/ 中价格列表数据怎么抓取，他的post网址是变动的

ciwei99 · 发表于 2015-1-8 13:11

能详细讲讲么？我按列表选型查看时，翻到第二页 raw 信息是这样的：
POST http://www.dq123.com/price/getpricelistjson.php?t=1420693536544 HTTP/1.1
Host: www.dq123.com
Connection: keep-alive
Content-Length: 81
Accept: application/json, text/javascript, */*; q=0.01
Origin: http://www.dq123.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Referer: http://www.dq123.com/price/
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: _pk_ref.1.e7c8=%5B%22%22%2C%22%22%2C1420693505%2C%22http%3A%2F%2Fjj.17p0.com%2Fjbd%2Flocation2.php%3Fgxsg_url%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%26rurl%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%22%5D; PHPSESSID=fa6260a145c7a04e9adecff6c7337175; _pk_id.1.e7c8=ab246e000995a5be.1420644852.2.1420693510.1420644860.; _pk_ses.1.e7c8=*

factoryid=&categoryid=&classid=&keywordstr=&modelstr=&pageindex=2&initpagesize=50

翻到第三页：
POST http://www.dq123.com/price/getpricelistjson.php?t=1420693652641 HTTP/1.1
Host: www.dq123.com
Connection: keep-alive
Content-Length: 81
Accept: application/json, text/javascript, */*; q=0.01
Origin: http://www.dq123.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Referer: http://www.dq123.com/price/
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: _pk_ref.1.e7c8=%5B%22%22%2C%22%22%2C1420693505%2C%22http%3A%2F%2Fjj.17p0.com%2Fjbd%2Flocation2.php%3Fgxsg_url%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%26rurl%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%22%5D; PHPSESSID=fa6260a145c7a04e9adecff6c7337175; _pk_id.1.e7c8=ab246e000995a5be.1420644852.2.1420693510.1420644860.; _pk_ses.1.e7c8=*

factoryid=&categoryid=&classid=&keywordstr=&modelstr=&pageindex=3&initpagesize=50
再回到第二页：
POST http://www.dq123.com/price/getpricelistjson.php?t=1420693693733 HTTP/1.1
Host: www.dq123.com
Connection: keep-alive
Content-Length: 81
Accept: application/json, text/javascript, */*; q=0.01
Origin: http://www.dq123.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Referer: http://www.dq123.com/price/
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: _pk_ref.1.e7c8=%5B%22%22%2C%22%22%2C1420693505%2C%22http%3A%2F%2Fjj.17p0.com%2Fjbd%2Flocation2.php%3Fgxsg_url%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%26rurl%3DaHR0cDovL3d3dy5kcTEyMy5jb20v%22%5D; PHPSESSID=fa6260a145c7a04e9adecff6c7337175; _pk_id.1.e7c8=ab246e000995a5be.1420644852.2.1420693510.1420644860.; _pk_ses.1.e7c8=*

factoryid=&categoryid=&classid=&keywordstr=&modelstr=&pageindex=2&initpagesize=50
其中
http://www.dq123.com/price/getpricelistjson.php?t=后面的数值找不到规律
我想下抓取该网页价格列表中数据，这个网页翻页，浏览器中的网址是不变的。

ciwei99 · 发表于 2015-1-8 15:18

ciwei99 发表于 2015-1-8 13:11
能详细讲讲么？我按列表选型查看时，翻到第二页 raw 信息是这样的：
POST http://www.dq123.com/price/get ...

几楼啊没找到

ciwei99 · 发表于 2015-1-8 15:30

还有我的POST 中网址怎么填充呢？？

onlycxb · 发表于 2015-1-8 16:06

wcymiss 发表于 2014-10-27 14:05
JSON转换成vba对象

1、JSON数组在vba内需要用For Each来获取其元素：（For Each 后面的变量不能定义为Ob ...

从本课开始补课。

onlycxb · 发表于 2015-1-9 08:46

终于登上680楼。

古都秋白 · 发表于 2015-1-9 09:24

mark!谢谢楼主！

ciwei99 · 发表于 2015-1-9 16:50

看了半天没看懂，就想问下http://www.dq123.com/price/getpricelistjson.php?t=？这个？怎么获取

ciwei99 · 发表于 2015-1-10 11:04

onlycxb 发表于 2015-1-9 08:46
终于登上680楼。

请好，你的教程太好了，给了我很大帮助，但是JOSN这块还是不太会实际应用，能问下http://www.dq123.com/price/getpricelistjson.php?t=？这个？怎么获取，或者帮忙分析下这个网站价格列表的网抓过程

tchru · 发表于 2015-1-11 10:11

女神大师，求教：http://quote.eastmoney.com/center/list.html#285002_4这个网页的数据如何导入到EXCLE中，如果能帮我写出代码，万分感谢！

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

点评

点评