包罗c写http服务器的词条

转自:Linux265

镜像下载一个网站在Windows下并不是一件简单的事变,但在Linux体系中却简单的只必要一条下令。

你大概不信托,但究竟就是云云,下令行的方便快捷之处也是Linux体系上风之一。

这个下令是什么呢,这个下令就是wget!

wget大概你看到以为本身知道这个下令,也常常用来下载文件,但你不知道的是其功能着实是很强大的。假如你有耐烦,具体看下wget下令的资助阐明文件,你就会明白。

我们如今说下它是怎样一条下令下载真个网站的,下令如下:

wget-c-r-np-k-L-phttp://view.jqueryfuns.com/2017/6/5/5d50513eee1cd1f767516d0e5f0f23c6/html/

这个下令就是将这个AceAdmin1.4.0这个静态网站模版下载到本地。

参数的阐明:

-c支持断点续传。-r支持递归下载,会将全部其子目次中的内容一并下载。-nd递归下载时不创建一层一层的目次,把全部的文件下载到当前目次。-np递归下载时不搜刮上层目次,假如不加就会同时下载当前URL路径的上一级目次中别的文件。-k将绝对链接转为相对链接,下载整个站点后脱机欣赏网页,发起加上这个参数。-L递归时不进入非本网址外地点,如下载的链接中有外部链接。-p下载网页所需的全部文件,如图片等。

还可以利用下面的下令情况整个站点:

wget-c-m-L-phttp://view.jqueryfuns.com/2017/6/5/5d50513eee1cd1f767516d0e5f0f23c6/html/

这里用-m参数更换了原来的-c-r-np参数。

-m--mirror可用来镜像整个站点。

常用示例

尚有一些常用实操示例,供各人收藏学习。

1、利用wget下载单个文件

包含c写http服务器的词条 包罗
c写http服务器的词条 行业资讯

以下的例子是从网络下载一个文件并生存在当前目次

wgethttps://cn.wordpress.org/latest-zh_CN.zip

在下载的过程中会表现进度条,包罗(下载完成百分比,已经下载的字节,当前下载速率,剩余下载时间)。

2、利用wget-O下载并以差别的文件名生存

wget默认会以末了一个符合”/”的背面的字符来下令,对于动态链接的下载通常文件名会不精确。

错误:下面的例子会下载一个文件并以名称download.php?id=1080生存

wgethttp://cn.wordpress.org/download?id=1

纵然下载的文件是zip格式,它仍旧以download.php?id=1080下令。

精确:为了办理这个题目,我们可以利用参数-O来指定一个文件名:

wget-Owordpress.ziphttp://cn.wordpress.org/download.php?id=1080

3、利用wget–limit-rate限速下载

当你实行wget的时间,它默认会占用全部大概的宽带下载。但是当你预备下载一个大文件,而你还必要下载别的文件时就有须要限速了。

wget–limit-rate=300khttp://cn.wordpress.org/latest-zh_CN.zip

4、利用wget-c断点续传利用wget-c重新启动下载停止的文件:

wget-chttp://cn.wordpress.org/latest-zh_CN.zip

对于我们下载大文件时忽然由于网络等缘故起因停止非常有资助,我们可以继承接着下载而不是重新下载一个文件。必要继承停止的下载时可以利用-c参数。

5、利用wget-b背景下载对于下载非常大的文件的时间,我们可以利用参数-b举行背景下载。

wget-bhttp://cn.wordpress.org/latest-zh_CN.zip

你可以利用以下下令来察看下载进度

tail-fwget-log

6、伪装署理名称下载

有些网站能通过根据判定署理名称不是欣赏器而拒绝你的下载哀求。不外你可以通过–user-agent参数伪装。

wget–user-agent=”Mozilla/5.0(Windows;U;WindowsNT6.1;en-US)AppleWebKit/534.16(KHTML,likeGecko)Chrome/10.0.648.204Safari/534.16″http://下载链接

7、利用wget–spider测试下载链接

当你筹划举行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增长–spider参数举行查抄。

wget–spiderURL

8、利用wget–tries增长重试次数

假如网络有题目或下载一个大文件也有大概失败。wget默认重试20次毗连下载文件。假如必要,你可以利用–tries增长重试次数。

wget–tries=40URL

9、利用wget-i下载多个文件

wget-ifilelist.txt

#filelist.txt为下载url列表

url1

url2

url3

url4

10、利用wget–mirror镜像网站

下面的例子是下载整个网站到本地。

wget–mirror-p–convert-links-P./LOCALURL

–miror:开户镜像下载

-p:下载全部为了html页面表现正常的文件

–convert-links:下载后,转换成本地的链接

-P./LOCAL:生存全部文件和目次到本地指定目次

11、利用wget–reject过滤指定格式下载

你想下载一个网站,但你不盼望下载图片,你可以利用以下下令。

wget–reject=gifurl

12、利用wget-o把下载信息存入日记文件

你不盼望下载信息直接表现在终端而是在一个日记文件,可以利用以下下令:

wget-odownload.logURL

13、利用wget-Q限定总下载文件巨细

当你想要下载的文件高出5M而退出下载,你可以利用以下下令:

wget-Q5m-ifilelist.txt

留意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

14、利用wget-r-A下载指定格式文件

下载一个网站的全部PDF文件

wget-r-A.pdfurl

15、利用wgetFTP下载

你可以利用wget来完成ftp链接的下载。

利用wget匿名ftp下载

wgetftp-url

利用wget用户名和暗码认证的ftp下载

wget–ftp-user=USERNAME–ftp-password=PASSWORDurl

16、断点续传

当文件特别大大概网络特别慢的时间,每每一个文件还没有下载完,毗连就已经被堵截,此时就必要断点续传。wget的断点续传是主动的,只必要利用-c参数,比方:

wget-chttp://the.url.of/incomplete/file

利用断点续传要求服务器支持断点续传。-t参数表现重试次数,比方必要重试100次,那么就写-t100,假如设成-t0,那么表现无穷次重试,直到毗连乐成。-T参数表现超时等待时间,比方-T120,表现等待120秒毗连不上就算超时。

17、选择性的下载

可以指定让wget只下载一类文件,大概不下载什么文件。比方:

wget-m–reject=gifhttp://target.web.site/subdirectory

表现下载http://target.web.site/subdirectory,但是忽略gif文件。–accept=LIST可以担当的文件范例,–reject=LIST拒绝担当的文件范例。

18、暗码和认证

wget只能处理惩罚利用用户名/暗码方式限定访问的网站,可以利用两个参数:

–http-user=USER设置HTTP用户

–http-passwd=PASS设置HTTP暗码

对于必要证书做认证的网站,就只能利用其他下载工具了,比方curl。

19、利用署理服务器举行下载

假如用户的网络必要颠末署理服务器,那么可以让wget通过署理服务器举行文件的下载。此时必要在当前用户的目次下创建一个.wgetrc文件。文件中可以设置署理服务器:

包含c写http服务器的词条 包罗
c写http服务器的词条 行业资讯

http-proxy=111.111.111.111:8080

ftp-proxy=111.111.111.111:8080

分别表现http的署理服务器和ftp的署理服务器。假如署理服务器必要暗码则利用:

–proxy-user=USER设置署理用户

–proxy-passwd=PASS设置署理暗码

利用参数–proxy=on/off利用大概关闭署理。

20、中文文档名在平常的环境下会被编码,利用–cut-dirs时可以正常表现

wget-r-np-nH–cut-dirs=3ftp://host/test/

END

官方站点:www.linuxprobe.com

Linux下令大全:www.linuxcool.com

刘遄老师QQ:5604215

Linux技能交换群:2636170

(新群,火热加群中……)

想要学习Linux体系的读者可以点击"阅读原文"按钮来相识册本《Linux就该这么学》,同时也非常得当专业的运维职员阅读,成为辅助您工作的高代价工具书!

客户评论

我要评论