如何使用rsync和inotify“正确”同步数百万个文件?

Modified on: Thu, 19 Sep 2019 09:00:02 +0800

假设我有100万个文件,文件列表就像20MB。如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件。我的网络不好,我可能不得不限制带宽(--bwlimit)。

可能会同时添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs。

值得吗?有更好的方法吗?

最佳答案

您的案例听起来恰好是为lsyncd制作的。
它使用inotify监视目录,并仅使用已更改的文件生成rsync
它汇总了几秒钟的变化
因此,当您在一秒钟内进行5次更改时,它只会向目标服务器生成一个新的同步进程。

作者:faker

相关问答

添加新评论