传大文件总断在半路?用 rsync 断点续传,别再从头传了
前几天要把一个 3.2GB 的安装包和一堆日志从本地传到云服务器,scp 传到 80% 多,Wi-Fi 闪了一下,终端里只剩 connection reset,目标端的文件停在半截。重新跑一次 scp,又从 0 开始,传了两次还是没传完。那次之后,传大文件我基本不用 scp 了,改成 rsync,关键就两个参数:–partial 和 --progress。
为什么 scp 一断就得重来?scp 是把文件当成一整块传,中间断了,目标端那个不完整的文件一般直接作废,下次只能重传。rsync 不一样,它先按块比对两端的文件,已经传过的块就不再传,只补没传完的部分。–partial 的作用,是断开时把已传的部分留下来,而不是删掉;–progress 是让你看得见进度和速度,心里有数。
最常用的命令就这一条:
rsync -avz --partial --progress backup.tar.gz root@服务器IP:/data/
-a 是归档模式,保留权限和时间戳;-v 输出过程;-z 传输时压缩,传文本、日志这类能压的文件很划算,传已经压缩过的安装包、视频就没必要加 -z,压不动还多耗 CPU。IP 记得换成自己的服务器地址,目录也要提前建好,不存在会报错。
断了怎么办?什么都不用改,再跑同一条命令就行。rsync 会接着上次断的地方继续传,传完的那部分不会再传一遍。我那次就是这么传完的:第一次断在 80%,第二次从 80% 往后补,几分钟就传完了。
传目录有两点容易踩坑。第一,源目录结尾的斜杠有讲究:写成 /data/logs/ 只传目录里的内容,写成 /data/logs 会把 logs 这个目录本身也传过去,目标端多一层目录,事后找文件才发现路径不对。第二,传之前先用 --dry-run 空跑一遍,看看它打算传哪些文件,确认无误再去掉这个参数真正传:
rsync -avz --dry-run --partial /data/logs/ root@服务器IP:/data/logs/
还有两个顺手的参数。–bwlimit 可以限速,比如 --bwlimit=2000 就是限制在 2000KB/s 左右,白天传大文件又不想把带宽占满、把正在跑的服务挤掉时很有用。–exclude 可以排除不需要的文件,比如 --exclude=‘*.tmp’,日志目录里那些临时文件就不用跟着传了。
如果服务器的 SSH 不是默认 22 端口,加一个 -e 参数指定端口:
rsync -avz --partial --progress -e ‘ssh -p 2222’ backup.tar.gz root@服务器IP:/data/
传完别急着删源文件,先核对一下。最省事的是两边各跑一次 sha256sum,比对输出的哈希值是否一致;文件多就用 ls -lh 看大小和时间戳,再抽查一两个文件。确认无误再清理源文件,这一步多花一分钟,能避免“传完了才发现文件少了一截”的麻烦。
另外,传之前先在目标端跑 df -h 看一眼剩余空间。磁盘满了同样会断,而且断在 99% 最让人难受。空间不够就先清掉旧备份、旧日志,再传。
工具没有好坏,只有合不合适。小文件、传一次就完事,用 scp 图省事没问题;文件大、网络不稳、要反复同步,就把上面这条 rsync 命令存下来。传文件这件事,省下的不只是时间,还有半夜重传的那份耐心。
- 点赞
- 收藏
- 关注作者
评论(0)