USB4を使って高速10Gbpsフルメッシュネットワークを47.98ドルで構築する

 (fangpenlin.com)
15 ポイント 投稿者 GN⁺ 2024-01-16 | 11件のコメント | WhatsAppで共有
  • AWSコストを削減するため、ベアメタルKubernetesクラスターを構築し、10Gbpsネットワークを設定した
  • USB4イーサネットブリッジベースのネットワーキングで、従来のイーサネットスイッチとケーブルを置き換えた
  • ネットワーク速度は11Gbpsに達したが、構築コストはわずか47.98ドル

標準的な1Uサーバーに対するミニPC

  • ベアメタルクラスター構築に使うマシンの種類を検討した
  • 中古の1Uサーバーは安価だが、運用コストを考えると非効率的
  • ミニPCは安価で、静かで、消費電力が少ない
  • Venus UM790 ProミニPCを選択、低消費電力（待機時6W、最大負荷80W）
    • AMD Ryzen 9 7940HS CPU + 64GBメモリ + 1TBストレージで、779ドルと安価

ネットワーキング

  • UM790 ProミニPCをさらに2台追加し、3ノードクラスターへ拡張することにした
  • Cephストレージシステムを導入した後、ノード間でより良いネットワーク接続が必要になった
    • 機器には2.5Gネットワークポートがあるが、イーサネットスイッチも購入しなければならない
  • 機器に2つあるUSB4ポートを活用し、40Gbpsの可能性を検討した
  • USB4ケーブルでフルメッシュネットワークを構成し、2.5Gイーサネットスイッチの購入に比べてコストを削減した

NixOSとSystemdを使ったメッシュネットワーク構成

  • NixOSを使ってLinux OS環境を再現性高く構成した。
  • systemd-udevdでThunderboltブリッジネットワークデバイスを構成し、IPを設定した。

ベンチマーク結果

  • iperf3ベンチマークの結果、11Gbpsのネットワーク速度を確認

事後考察

  • 11Gbpsネットワークを低コストで構築できたことへの満足感。
  • USB4ベースネットワークの速度制限の原因への疑問。
  • USB/Thunderboltベースの高速ネットワーク構築における今後の可能性を探った。

GN⁺の見解:

  • この記事は、ソフトウェアエンジニアがハードウェアに関する知識を広げる重要性を強調している。特に、低コストで高速ネットワークを構築する創造的なアプローチを示すことで、従来のネットワーキング手法に対する新たな代替案を提示している。
  • USB4技術を活用したネットワーキングは、既存のイーサネットベースのソリューションと比べてコスト効率が高く、高速であることを示している。これは今後、小規模データセンターや個人ユーザーにとって魅力的な選択肢になり得る。
  • NixOSのようなツールを使ってネットワーク構成を自動化し、再現可能にする方法は、システム管理者や開発者に有用な情報を提供する。

関連記事

11件のコメント

 
aster 2024-01-19

フルメッシュじゃなくて、フル買い占めに見えた…
 
pmc7777 2024-01-18

よくまとまっていますね……うらやましいです
 
bus710 2024-01-18

TB4/USB4上のIPでファイル転送をよく使っていますが、本当に速いです（笑）
 
bus710 2024-01-18

thunderbolt-tools と bolt パッケージをインストールし、ドライバーが正しく導入されていれば、nmcli でインターフェースを設定して ssh や scp などで、通常のイーサネット接続のように簡単に使用できます。
Intel デバイスと Mac デバイスでは大きな問題はありませんでしたが、AMD ではややうまく動かないデバイスがあるかもしれません。
 
kuroneko 2024-01-22

これを知っていたら、Intel CPUを選んでいたのに……（泣）
 
kuroneko 2024-01-17

えっ… 2台のPC間をUSB4/Thunderboltで直接接続すると、イーサネットとして扱われるんですか？

今ちょうどNASとPCを10Gbpsで接続しようとして、あれこれ計画を立てていたのに
（10G対応のLANカードを2枚買って相互直結しようと思っていたのに）

急に気が抜けました。

USB4/Thunderbolt対応のものにマザーボードを替えるべきだったのかな…
 
kuroneko 2024-01-17

HNでちらっと見かけたときは特に何も考えずにスルーしたのですが、
ここで見ると急に内容が目に入ってきますね。

とにかく、おかげで解決策が見えてきました……

欠点があるとすれば、NASとPCが近くにないといけない点くらいでしょうか。
USB4ケーブルはせいぜい3m程度ですから……（LANケーブルが最大100mなのと比べると）
 
molla 2024-01-19

距離の制約は思ったより厳しいです。
USB-Cケーブルの規格では、1m以下の場合にのみ10Gbps対応です。（USB-Cデータケーブルが短い理由です。）
2m以下の場合は5Gbps対応で、それ以上だとUSB 2対応です。
いっそThunderboltのほうに行けば、アクティブケーブルを使って距離を延ばすことはできますが、アクティブケーブルは価格も非常に高く、USB4と互換性があるのかもよく分かりません。
 
kuroneko 2024-01-22

ああ… 市販されている3mのUSB4ケーブルは、きちんとした速度が出ない可能性が高いということですね。
正確に調べてから進めないといけませんね。AMD CPUを使っているので、Thunderboltも使いづらくて…
 
GN⁺ 2024-01-16
Hacker Newsのコメント

  • USB4/Thunderboltプロトコルに関する議論:

    • USB4/Thunderboltは魔法のようなプロトコルで、現代のPC同士でデータを移動する最速の方法は、USB-CケーブルでThunderboltポート同士を接続することだという指摘。
    • この接続はWindowsではイーサネットポートとして認識され、SSDを飽和させられる1GB/s超の転送速度を容易に達成できる。
    • IntelはCESで、Thunderbolt 4/5を利用したデバイス間ファイル転送機能を披露した。理論上、Thunderbolt 4と5はそれぞれ20Gbpsと40Gbpsの速度を提供する。
    • Thunderbolt/USB4コントローラを1つしか使っていない場合、2つのUSB4ポートが40GbpsのPCIeレーンを共有するため、11Gbpsしか達成できなかった可能性がある。

  • ネットワーク構成に関する説明:

    • ノードが3つしかない場合、これをメッシュネットワークとは呼ばず、実際のリングネットワークは3つ以上のノードがあり、一部の宛先に到達するのに複数ホップが必要なときに形成される。
    • メッシュネットワークとは、複数の経路が取りうる任意のポイントツーポイント接続によって構成されたネットワークを指す。

  • Dellサーバーの消費電力ベンチマーク:

    • Dell r430サーバーの消費電力を測定した結果、起動後は約100ワット、負荷時には最大約220ワットを消費する。
    • これは1日あたり72kWh、月額11.05ドルのコストに相当し、負荷時には月額24.3ドルのコストがかかる。
    • サーバーホスティングは、安定したインターネット接続と騒音の問題を解決するため、コロケーションに置くのが望ましい。

  • USB 4のエラー処理能力:

    • USB経由の大容量データ転送でまれに発生するデータ破損に対して、USB 4がどのようなエラー処理能力を持つのかという疑問がある。

  • 過去のファイル転送方法:

    • MS-DOSコンピュータ同士でパラレルケーブルを使ってファイルを転送していた思い出が共有されている。

  • Thunderbolt接続の最適化:

    • Thunderbolt接続時にMTU（最大転送単位）を9000に設定すると、1500の場合よりも良い性能を示す。

  • 古いネットワーク構成の回想:

    • IP-over-SCSIを使って、1990年代にU320速度で8台のPCを1本のSCSIチェーンに接続していた経験談がある。

  • Thunderbolt速度に関する技術的な問題:

    • Thunderboltの速度に影響する要因として、ケーブル、マザーボードのPCIeレーン割り当て、ドライバ/ファームウェア更新などが挙げられている。

  • 電気料金に関する議論:

    • 平均的な住宅用電気料金は15.34セント/kWhという情報が示された一方で、サンフランシスコではその2倍以上の料金を支払っているという個人的経験も共有された。
 
cosine20 2024-01-19

へえ、昔のコンピューター同士はパラレルケーブルでつなげばデータをやり取りできたんですね???