wget贯彻断点下载整个文件目录,wget命令下载FTP整个目录实行文件备份

By admin in 美高梅手机版4858 on 2019年4月1日

接纳wget下载整个FTP目录,能够用来服务器间文件传输,进行远程备份。通过限制网速,能够消除带宽限制难点。

wget命令下载FTP整个目录进行文件备份,wget整个目录

采纳wget下载整个FTP目录,能够用于服务器间文件传输,实行远程备份。通过限制网速,能够解决带宽限制难题。

#wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

wget贯彻断点下载整个文件目录,wget命令下载FTP整个目录实行文件备份。备注:星号*总得有,不然下载下来的就2个文书index.html
-r参数便是用来目录下载的
-c是应用断点续传,服务器要帮助

能够写到shell脚本中,后台执行。

#!/bin/sh wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

封存为wget.sh,并赋予可进行权限

# chmod +x wget.sh

后台执行那一个本子,在指令后加“&”即可

./wget.sh &

假使愿意把实施结果输出到文件的话,前边加 nohup,私下认可输出文件名叫nohup.out

nohup ./wget.sh &

假设要限制速度的话,加上–limit-rate=十0k,代表限制速度100k,-c是断点续传的意趣。

使用wget下载整个FTP目录,能够用于服务器间文件传输,进行长途备份。通过限制网速,…

运用wget下载整个FTP目录,能够用来服务器间文件传输,实行长距离备份。通过限制网速,能够解决带宽限制难题。

作者们运用linux
wget下载目录是依照ftp目录了,不然大家并未权限下载网址目录了,因wget命令正是去网上下载文件的工具了

#wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

#wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

wget介绍

备注:星号*非得有,不然下载下来的就一个文书index.html
-r参数正是用来目录下载的
-c是运用断点续传,服务器要协助

备注:星号*不能够不有,否则下载下来的就一个文本index.html
-r参数正是用来目录下载的
-c是行使断点续传,服务器要接济

wget
能够跟踪HTML页面上的链接依次下载来创立远程服务器的本地版本,完全重建原始站点的目录结构。那又常被称作”递归下载”。在递归下载的时候,wget
服从Robot Exclusion标准(/robots.txt).
wget能够在下载的还要,将链接转换到指向当三步跳件,以利于离线浏览。

能够写到shell脚本中,后台执行。

能够写到shell脚本中,后台执行。

wget
相当平稳,它在带宽很窄的气象下和不安定互连网中有很强的适应性.假设是出于互连网的原故下载战败,wget会不停的尝试,直到整个文件下载实现。就算是服务器打断下载进度,它会重复联到服务器上从截至的地点三番五次下载。那对从这几个限定了链接时间的服务器上下载大文件尤其实惠

#!/bin/sh wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

#!/bin/sh wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r -c

一句话来说实例

封存为wget.sh,并予以可实施权限

封存为wget.sh,并授予可实施权限

wget -t 0 -T 120 -np -c -r
ftp://xxx:[email protected]/xxx
个中“np”表示不跟随链接,只下载内定目录及子目录里的东西;
-c 表示运维断点续传,其实下目录及子目录有-r就能够化解,
图方便的话就用影像用的-m参数,即:
wget -m -np
ftp://xxx:[email protected]/xxx

# chmod +x wget.sh

# chmod +x wget.sh

实例

后台执行那几个本子,在命令后加“&”即可

后台执行这一个剧本,在命令后加“&”即可

下载下载1玖2.16八.一.168首页并且出示下载新闻Linux wget -d
-q
-i
filelist.txt

./wget.sh &

./wget.sh &

下载到钦定目录wget -P/tmp
ftp://user:[email protected]/file把文件file下载到/tmp目录下。Linux
wget是一个命令行的下载工具。对于大家那一个 Linux
用户来说,大概每一天都在使用它。下边为大家介绍多少个有效的 Linux wget
小技巧,能够让你越发高效而灵活的利用 Linux wget。

尽管期望把实施结果输出到文件的话,后边加 nohup,默许输出文件名叫 nohup.out

假诺希望把履行结果输出到文件的话,前边加 nohup,暗中同意输出文件名称叫 nohup.out

* $ wget -r -np -nd
网址上 packages 目录中的全数文件。当中,-np
的机能是不遍历父目录,-nd 表示不在本机重新创制目录结构。

nohup ./wget.sh &

nohup ./wget.sh &

* $ wget -r -np -nd –accept=iso

–accept=iso 选项,那提醒Linux wget仅下载 i38陆 目录中全体扩充名字为 iso
的文书。你也得以内定多个扩展名,只需用逗号分隔即可。

假若要限制速度的话,加上–limit-rate=⑩0k,代表限制速度十0k,-c是断点续传的情致。

假若要限制速度的话,加上–limit-rate=100k,代表限制速度拾0k,-c是断点续传的意味。

* $ wget -i
filename.txt此命令常用于批量下载的情况,把具有必要下载文件的地方放到
filename.txt 中,然后 Linux wget就会活动为你下载全数文件了。

* $ wget -c 美高梅手机版4858, -c
选项的功力为断点续传。

* $ wget -m -k (-H)

wget将对链接举办更换。假使网址中的图像是置身其它的站点,那么能够采取 -H
选项。

下边大家继承掌握wget的心,看看还有什么样珍重的机能,大家平素尚无接触到的。

1 -t选项
即–tries=number,用于安装wget下载时重试的次数,当设置为0(数字零)或inf时表示相当次重试。暗许的重试次数是二十五遍。
不过wget也不是在如何境况下都会傻傻的重试的,例如在发出“connection
refused”或“not found”时,wget会立即退出,不会议及展览开重试。
2 -o选项
即–output-file=logfile,wget运维进度中输出到专业输出的情节都会被写到所设置的logfile文件中。
3 -O选项
即–output-document-file,表示wget下载的拥有文件的情节会被逐①扩充写到所设置的file文件中,而不会创设原本的文本。在下载单独文件时利用-O选项,能够幸免wget下载同名文件时暗中认可写到“.壹”后缀文件中的难题。
4 -N选项
即–timestamping,表示开启时间戳机制,wget会下载远程时间戳更新的文本。
5 -nc选项
即–no-clobber选项。
在同二个索引中,尽管二个文书被频仍下载,那么wget的处理格局会在乎多少个第二选用,那里面就总结了-nc选项。
当多次下载同三个文书时,本次文件会被遮住,可能被重写,只怕被保险,那都以有相当的大希望的。
当使用wget多次下载同一个文书,且不应用-N,-nc或-r时,那么wget会私下认可在第二次下载时自动在文书名后加上“.1”后缀,第3次下载时加上“.二”后缀,以此类推。
但当我们采纳了-nc选项时,wget不会利用“.1/.2”的国策,而是拒绝下载同一文件(尽管文件内容是革新的了)。那些职能用于有的网页被同时针对了无数遍,那么使用-nc能够制止频仍下载。
当使用wget且使用-r选项,但不应用-N选项或-nc选项时,重新下载同名文件时,当远程文件的改动时间是立异的了,那么wget会选拔覆盖当前目录已有个别老文件,此时使用-nc能够禁止wget那样做。(但当远程文件的修改时间并不新,那么wget就会拒绝下载。)
当使用wget且使用-N选项时,是不是下载同名文件,完全取决于远程文件和地面文件的时间戳以及文件大小。-nc选项是不允许和-N选项同时设置的。假若你同时采取了-N和-nc选项,会拿走如此的谬误提醒“Can’t
timestamp and not clobber old files at the same time.”
6 -c选项
即–continue选项,那便是出名的“断点续传”。无论你在此以前运用哪个下载工具下载了大体上的文书,都能够用wget来持续下载此文件。比如:
wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z
当前目录已有一个ls-l陆风X八.Z文件存在,wget将假定那是二个下载了四分之2的文件,然后提取当守田件的文件大小,并依据此值请求从远程文件的相应文件大小处早先持续下载。
您会发现,其实wget的此断点续传策略是有隐患的,因为假如远程文件的始发部分被开始展览了改动,wget在实行断点续传时是发现不到那或多或少的,它只会傻傻的从已传文件大小之后的1些继续下载。所以使用-c选项断点续传之后,务必实行md伍校验。
7 –limit-rate=amount选项
此选项适用于限制速度的,将速度限制在amount bytes/second, 
当然也能够用单位k/m来表示,例如–limit-rate=20k将会限速在20KB/s。
请留心,wget实现限速的规律是在2次网络读取动作之后sleep二个一定时刻段,以让平均的互联网读速度降到限制值,这些方针最后会使TCP传输速度降到限制值左右。所以在传输超小文件时,恐怕不或许达到限制速度的效劳。
8 -w选项
即–wait=seconds选项,用于安装wget每多个请求之间距离的秒数。那个选项很有用处,能够减低长途服务器的载重。你除了能够直接设置秒数,还是能加上m表示分钟、h表示时辰、d表示天。
9 –waitretry=seconds选项
用于安装请求重试秒数。wget采取的是线性递增等待的主意,假诺你设置的是十秒,那么首先次呼吁退步后,会等待1秒;第一回呼吁失利会等待2秒;直到最终实现拾秒等待时间截至。所以当到达最终三回时,时间已通过了1+2+…+十=55秒。

wget下载目录是依照ftp目录了,不然大家没有权限下载网站目录了,因wget命令就是去网上下载文件的工具了
wget介绍 wget 能够跟…

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 美高梅手机版4858 版权所有