转自:Linux265
镜像下载一个网站在Windows下并不是一件简单的事变,但在Linux体系中却简单的只必要一条下令。
你大概不信托,但究竟就是云云,下令行的方便快捷之处也是Linux体系上风之一。
这个下令是什么呢,这个下令就是wget!
wget大概你看到以为本身知道这个下令,也常常用来下载文件,但你不知道的是其功能着实是很强大的。假如你有耐烦,具体看下wget下令的资助阐明文件,你就会明白。
我们如今说下它是怎样一条下令下载真个网站的,下令如下:
wget-c-r-np-k-L-phttp://view.jqueryfuns.com/2017/6/5/5d50513eee1cd1f767516d0e5f0f23c6/html/
这个下令就是将这个AceAdmin1.4.0这个静态网站模版下载到本地。
参数的阐明:
-c支持断点续传。-r支持递归下载,会将全部其子目次中的内容一并下载。-nd递归下载时不创建一层一层的目次,把全部的文件下载到当前目次。-np递归下载时不搜刮上层目次,假如不加就会同时下载当前URL路径的上一级目次中别的文件。-k将绝对链接转为相对链接,下载整个站点后脱机欣赏网页,发起加上这个参数。-L递归时不进入非本网址外地点,如下载的链接中有外部链接。-p下载网页所需的全部文件,如图片等。
还可以利用下面的下令情况整个站点:
wget-c-m-L-phttp://view.jqueryfuns.com/2017/6/5/5d50513eee1cd1f767516d0e5f0f23c6/html/
这里用-m参数更换了原来的-c-r-np参数。
-m--mirror可用来镜像整个站点。
常用示例
尚有一些常用实操示例,供各人收藏学习。
1、利用wget下载单个文件
以下的例子是从网络下载一个文件并生存在当前目次
wgethttps://cn.wordpress.org/latest-zh_CN.zip
在下载的过程中会表现进度条,包罗(下载完成百分比,已经下载的字节,当前下载速率,剩余下载时间)。
2、利用wget-O下载并以差别的文件名生存
wget默认会以末了一个符合”/”的背面的字符来下令,对于动态链接的下载通常文件名会不精确。
错误:下面的例子会下载一个文件并以名称download.php?id=1080生存
wgethttp://cn.wordpress.org/download?id=1
纵然下载的文件是zip格式,它仍旧以download.php?id=1080下令。
精确:为了办理这个题目,我们可以利用参数-O来指定一个文件名:
wget-Owordpress.ziphttp://cn.wordpress.org/download.php?id=1080
3、利用wget–limit-rate限速下载
当你实行wget的时间,它默认会占用全部大概的宽带下载。但是当你预备下载一个大文件,而你还必要下载别的文件时就有须要限速了。
wget–limit-rate=300khttp://cn.wordpress.org/latest-zh_CN.zip
4、利用wget-c断点续传利用wget-c重新启动下载停止的文件:
wget-chttp://cn.wordpress.org/latest-zh_CN.zip
对于我们下载大文件时忽然由于网络等缘故起因停止非常有资助,我们可以继承接着下载而不是重新下载一个文件。必要继承停止的下载时可以利用-c参数。
5、利用wget-b背景下载对于下载非常大的文件的时间,我们可以利用参数-b举行背景下载。
wget-bhttp://cn.wordpress.org/latest-zh_CN.zip
你可以利用以下下令来察看下载进度
tail-fwget-log
6、伪装署理名称下载
有些网站能通过根据判定署理名称不是欣赏器而拒绝你的下载哀求。不外你可以通过–user-agent参数伪装。
wget–user-agent=”Mozilla/5.0(Windows;U;WindowsNT6.1;en-US)AppleWebKit/534.16(KHTML,likeGecko)Chrome/10.0.648.204Safari/534.16″http://下载链接
7、利用wget–spider测试下载链接
当你筹划举行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增长–spider参数举行查抄。
wget–spiderURL
8、利用wget–tries增长重试次数
假如网络有题目或下载一个大文件也有大概失败。wget默认重试20次毗连下载文件。假如必要,你可以利用–tries增长重试次数。
wget–tries=40URL
9、利用wget-i下载多个文件
wget-ifilelist.txt
#filelist.txt为下载url列表
url1
url2
url3
url4
10、利用wget–mirror镜像网站
下面的例子是下载整个网站到本地。
wget–mirror-p–convert-links-P./LOCALURL
–miror:开户镜像下载
-p:下载全部为了html页面表现正常的文件
–convert-links:下载后,转换成本地的链接
-P./LOCAL:生存全部文件和目次到本地指定目次
11、利用wget–reject过滤指定格式下载
你想下载一个网站,但你不盼望下载图片,你可以利用以下下令。
wget–reject=gifurl
12、利用wget-o把下载信息存入日记文件
你不盼望下载信息直接表现在终端而是在一个日记文件,可以利用以下下令:
wget-odownload.logURL
13、利用wget-Q限定总下载文件巨细
当你想要下载的文件高出5M而退出下载,你可以利用以下下令:
wget-Q5m-ifilelist.txt
留意:这个参数对单个文件下载不起作用,只能递归下载时才有效。
14、利用wget-r-A下载指定格式文件
下载一个网站的全部PDF文件
wget-r-A.pdfurl
15、利用wgetFTP下载
你可以利用wget来完成ftp链接的下载。
利用wget匿名ftp下载
wgetftp-url
利用wget用户名和暗码认证的ftp下载
wget–ftp-user=USERNAME–ftp-password=PASSWORDurl
16、断点续传
当文件特别大大概网络特别慢的时间,每每一个文件还没有下载完,毗连就已经被堵截,此时就必要断点续传。wget的断点续传是主动的,只必要利用-c参数,比方:
wget-chttp://the.url.of/incomplete/file
利用断点续传要求服务器支持断点续传。-t参数表现重试次数,比方必要重试100次,那么就写-t100,假如设成-t0,那么表现无穷次重试,直到毗连乐成。-T参数表现超时等待时间,比方-T120,表现等待120秒毗连不上就算超时。
17、选择性的下载
可以指定让wget只下载一类文件,大概不下载什么文件。比方:
wget-m–reject=gifhttp://target.web.site/subdirectory
表现下载http://target.web.site/subdirectory,但是忽略gif文件。–accept=LIST可以担当的文件范例,–reject=LIST拒绝担当的文件范例。
18、暗码和认证
wget只能处理惩罚利用用户名/暗码方式限定访问的网站,可以利用两个参数:
–http-user=USER设置HTTP用户
–http-passwd=PASS设置HTTP暗码
对于必要证书做认证的网站,就只能利用其他下载工具了,比方curl。
19、利用署理服务器举行下载
假如用户的网络必要颠末署理服务器,那么可以让wget通过署理服务器举行文件的下载。此时必要在当前用户的目次下创建一个.wgetrc文件。文件中可以设置署理服务器:
http-proxy=111.111.111.111:8080
ftp-proxy=111.111.111.111:8080
分别表现http的署理服务器和ftp的署理服务器。假如署理服务器必要暗码则利用:
–proxy-user=USER设置署理用户
–proxy-passwd=PASS设置署理暗码
利用参数–proxy=on/off利用大概关闭署理。
20、中文文档名在平常的环境下会被编码,利用–cut-dirs时可以正常表现
wget-r-np-nH–cut-dirs=3ftp://host/test/
END
官方站点:www.linuxprobe.com
Linux下令大全:www.linuxcool.com
刘遄老师QQ:5604215
Linux技能交换群:2636170
(新群,火热加群中……)
想要学习Linux体系的读者可以点击"阅读原文"按钮来相识册本《Linux就该这么学》,同时也非常得当专业的运维职员阅读,成为辅助您工作的高代价工具书!
我要评论