todo

wget批量下载网页

up:2014-08-15 12:17:51 edit:2015-02-03 22:12:14 view:1411

wget -E -r -l 20 -k -np http://wesite.com


-E后缀改为html

-r 递归下载

-l 层数 设置递归层数

-k 修正htm链接

-np 递归不上溯

-w 秒数 防止太快被屏蔽

--random-wait 更好的随机时间



另外:

-c:断点续传

wget本身没有专门设置代理的命令行参数,但是有一个"-e"参数,可以在命令行上指定一个原本出现在".wgetrc"中的设置。于是可以变相在命令行上指定代理:

wget -e "http_proxy=http://<ip>:<port>/" http://www.google.com


not in sinaapp