CDC File Transfer - WindowsからLinuxへのファイル同期およびストリーミングツール

 (github.com/google)
21 ポイント 投稿者 xguru 2023-01-12 | 1件のコメント | WhatsAppで共有
  • FastCDC(Content Defined Chunking) を利用して高速かつ効率的に動作
  • Google Stadia で使われていたツール
    • 通常、ゲーム開発者は Windows で開発し、Linux マシンで実行する必要がある
    • その際、高速コピーのために作られた cdc_rsync、cdc_stream オープンソースツール
  • CDC RSync
    • 既存の rsync に似ているが、約3倍高速に同期
    • CDC ベースのリモート diff アルゴリズムが最大約30倍高速
    • タイムスタンプ/ファイルサイズが同じならスキップ
    • すべてのデータ転送に高速圧縮を使用
    • ファイルが変更されていれば、どの部分が変更されたかを確認し、変更された部分だけを転送
  • CDC Stream
    • コンセプトとしては sshfs に近いが、読み取り速度のために最適化。約2倍から5倍まで速度向上
    • Linux デバイス上でストリーミングされたデータをキャッシュ
    • Windows でファイルが変更された後に Linux で再度読み込むと、変更された部分だけがストリーミングされ、残りはキャッシュから読み込まれる
    • ディレクトリメタデータがストリーミングに適した方式で動作するため、stat 操作が非常に高速

関連記事

1件のコメント

 
popopo 2023-01-19

ログファイル管理では rsync をよく使っていますが、それより速いとなると気になりますね。