求省市区县乡镇四级联动，有偿求助

wanghan519

请谨慎使用，下面是递归的下载整个网站，不并发，单线程，每秒1、2次，千万别违法啊！！！：

1. wget -t0 -T9 -r -p -np -k 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/index.html'

复制代码

然后可以用各种方法遍历html得到列表。

wanghan519

用上面的命令下载了统计局网站上的4万多个网页，不要并发，慢慢等，避免违法，然后用这句初步处理得到表格，66万行：然后可以再自己处理成分级的。

1. find www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/ -iname '*.html' | xargs w3m -dump | awk '/^[0-9]/{gsub(/ +/,",",$0);print}' > out.csv

复制代码

熊文来

wanghan519 发表于 2022-5-31 09:22
用上面的命令下载了统计局网站上的4万多个网页，不要并发，慢慢等，避免违法，然后用这句初步处理得到表格 ...

2个文件都下载了  无法解压

wanghan519

熊文来 发表于 2022-6-1 09:39
2个文件都下载了  无法解压

后缀的7z删掉吧，不知道为什么直接压的不让发了

熊文来

wanghan519 发表于 2022-6-1 09:53
后缀的7z删掉吧，不知道为什么直接压的不让发了

去掉了  还是没办法 提示错误 ，要不你发一份到我邮箱 谢谢！305845432@qq.com

学良

熊文来 发表于 2022-5-30 19:45
谢谢！还是想要一份全国的 最新的数据表。不着急的。您这边什么时间有空 再弄 都行！

https://club.excelhome.net/thread-1629392-1-1.html

熊文来

学良 发表于 2022-6-2 13:07
https://club.excelhome.net/thread-1629392-1-1.html

嗯嗯 我昨天也看到了