Intel第12/13世代で7Wアイドルの低消費電力サーバー/NASを構築する
(mattgadient.com)- Intel i5-12400、ASUS Prime H770-Plus D4、64GB DDR4、Ubuntu Server 23.04、Corsair RM750の組み合わせで、ストレージ追加前の壁コンセント計測で 7Wのアイドル電力 を達成
- 低消費電力の鍵は、BIOSでC-State、ASPM L1、RC6、ALPMを有効にし、PowerTOPのauto-tuneでCPUパッケージを C8/C10省電力状態 に入れること
- 12台のHDDと複数のNVMeを接続すると電力は24〜25Wまで上昇し、JMicron JMB585がASPMを妨げてC3に縛られる問題は、ASM1166 SATAコントローラー への交換で緩和
- CPU直結のPCIe/M.2スロット、NVMe・SATA SSDのモデル、Realtek NIC、USB機器、SATAコントローラーのファームウェアがC-Stateを変えうるため、部品構成ごとのA/Bテスト が必要
- HDD 11台とNVMe/SATAコントローラーを含む最終構成でも、HDDのスピンダウンと画面・キーボードの省電力を適用すれば15〜16Wまで低下し、長期的にSSDへ移行すれば 10〜11Wのアイドル電力 を見込める
7Wアイドル構成の基準ビルド
- 目標は、低いアイドル電力、圧縮に十分なCPU性能、12台のHDDと最低1台のNVMeの処理、将来的に6台のNVMeと6台のSATA SSDへ移行できる拡張性、そしてコストの抑制だった
- 7Wの測定値 は、本格的にストレージを追加する前の壁コンセント計測によるもの
- Intel H770マザーボード
- Intel i5-12400 CPU
- 64GB DDR4 RAM
- Ubuntu Server 23.04起動用SSD
- Corsair PSU
- BIOSでC-Stateを設定してC8に到達させ、
powertop --auto-tuneを適用 - PowerTOPのauto-tuneはUSBポートの省電力化によりUSBキーボードを無効化し、キーボードを使い続けられる状態では壁コンセント計測で 8W だった
- ディスプレイ出力が有効な状態では9〜10Wで、
consoleblank=600により600秒後に画面が消灯すると7Wまで下がった
過去の低消費電力ビルドと今回の目標
- 以前の低消費電力ビルド記録が今回の目標の基準点になった
- 2016年のSkylakeベース低消費電力PC: Building a Low Power PC on Skylake – 10 watts idle で10Wアイドル
- 2019年の4台ストレージのホームNAS/ファイルサーバー: 9w Idle – Creating a low power home NAS / file server with 4 Storage Drives で9Wアイドル
- 2021年のGigabyte H470M DS3HとIntel i3-10320の組み合わせは11Wだったが、個別記事はなかった
- 2022年の別の2システムはそれぞれ19Wと27Wで、すべてのCPU/マザーボード構成が10W近くまで下がるわけではなかった
- 壁コンセント基準で10W前後の新システムを組むには、部品選定とチューニング後に実測結果を確認する必要があり、賭けに近い作業 だった
マザーボード選定: ASUS Prime H770-Plus D4
- 最終的な選定は ASUS Prime H770-Plus D4 だった
- 当時の一般消費者向け選択肢はIntel 600/700シリーズとAMD 500/600シリーズのマザーボードだった
- 将来的に6台のNVMeドライブを使える可能性が重要だったが、6本のM.2をすべてPCIeモードで同時利用できる一般向けマザーボードはないと判断
- AMD MEG X570S Unify-X Maxは6本のM.2があるように見えるが、マニュアル上は6本すべて埋めると最後のスロットはSATA派生である必要がある
- ASRock Z790 PG Sonicも6スロットあるが、Gen5 NVMeスロットの排他条件のため5台までしか使えない
- 一般向けボードで全M.2をGen4 x4で使おうとすると、チップセット側レーン数に制約がある
- AMD X570、Intel B760: 最大3台
- AMD B650、Intel H670/Q670/Z690/W680: 4台
- AMD X670、Intel H770: 5台
- Intel Z790: 6台
- 6台NVMeを目指すためPCIe-to-M.2アダプターが必要で、内蔵M.2スロット数とx4以上のPCIeスロット数の合計がマザーボード選定基準になった
- Intelプラットフォームを選んだ理由は、チップセット電力、チップセット-CPUリンク速度、手持ち部品、AM5の消費電力への懸念だった
- Intel 600/700シリーズのチップセットTDPはすべて6W
- AMD X670チップセットは7W+7Wと見た
- Intel H670/Q670/W680/Z690/H770/Z790はCPUとDMI 4.0 x8で接続され、AMD X570/B650/X670はPCIe 4.0 x4接続のため、理論帯域は16GB/s対8GB/s程度
- 手持ちの64GB DDR4とIntel第12世代CPUを再利用できた
- AMD 600シリーズのチップセットはDDR5専用
CPU、メモリ、起動ドライブ、PSU
- CPUには手持ちの Intel i5-12400 H0 stepping Alder Lake を使用
- 以前のデスクトップビルドで、AV1ハードウェアデコード、E-coreのシリコンオーバーヘッド回避、第12世代ラインアップ内での性能などを理由に選んでいた
- 以前のデスクトップビルドではGPUとディスプレイ絡みの問題が多かったが、今回のサーバー志向ビルドでは重要要因ではなかった
- メモリは64GB DDR4-3200を使用
- 2x16GB Kingston HyperX dual-rank Hynix DJR
- 2x16GB Kingston HyperX single-rank Hynix CJR
- 4枚のモジュールを16-18-18-36で動作させ、RAM電圧は1.25Vに設定
- TestMem5とMemtest86では1.22Vでも安定していたが、安定性の余裕を見て1.25Vを使用
- テスト用の起動ドライブはSandisk Ultra 3D 1TB SATA SSDだった
- PCIeとNVMeのA/Bテストが多く、PCIeスロットを空けておくためSATA SSDにUbuntu 23.04をインストール
- テスト後はメインOSをSamsung SSD 970 EVO Plus 500GB NVMeで動かす予定だった
- PSUには Corsair RM750 を使用
- 10W前後のアイドルシステムには750Wは過剰に見えるが、12台のドライブのモーターが同時に回り始める際は瞬間負荷が高くなりうる
- Seagateは10TB 3.5インチドライブ1台の12Vレールのピーク電流をDC/AC基準で2A/3Aと記載
- 6台のドライブが同時に150〜200Wを引き、CPUがピーク120Wを引くなら、10Wアイドル状態から瞬間的に約400Wまで跳ね上がると計算
- 瞬間的な電力不足は電圧降下、クラッシュ、再起動、書き込み中のデータ破損につながりうる
BIOSとOSの電力設定
- 初期の電力測定条件はUbuntu Server 23.04、Intel PowerTOP auto-tune、壁コンセント計測だった
- BIOSで適用した主な設定は以下の通り
- CPU C-stateをC10まで有効化
- ASPMを有効化し、すべてL1に設定
- RC6(Render Standby)を有効化
- Aggressive LPM Support(ALPM)を有効化
- HD Audio、Connectivity Mode、LEDs、GNA Device、Serial Portを無効化
- 低消費電力を狙うなら、マザーボードの対応とBIOS構成が重要
- ASUS H770ボードでは低消費電力化のため Native ASPM と適切なL1状態を有効化する必要がある
- この設定はBIOS制御ではなくOS制御を許可するためのもの
ストレージ追加後に見えたボトルネック
- 12台のHDDを接続して回転停止状態にすると、待機電力は7Wから 24〜25W まで増加
- 当初は2.5インチHDDを6台、3.5インチHDDを6台使用
- マザーボードのSATAポートが4基しかないため、SATAコントローラーとポートマルチプライヤーを使用
- 初期段階ではNVMeも4台使っており、Western Digital SN770はアイドル時でも高温で、低消費電力モードに入っていないように見えた
- HDDを取り外し、構成要素を1つずつテストした結果、JMicron JMB585 SATAコントローラーが電力増加の主因と見られた
- JMB585がなければCPUパッケージはC6に到達
- JMB585を再接続すると最大でもC3までしか到達しない
- PCIeデバイスがASPM L1に入れないと、CPUはより深い省電力状態に入れない
- JMB585コントローラーカードはASPMをサポートしていないようだった
CPU直結PCIeレーンの影響
- このシステムは、CPU直結PCIeレーンに何も接続されていない場合にのみ C8 に到達した
- 上段PCIeスロットや上段NVMeスロットに何かを挿すと、C6が限界だった
- C6とC8の間の電力差は、簡単なテストでは1W未満に見えた
- C8はあればうれしい程度だが、C6到達は必須と考えた
- C3は消費電力が高すぎると判断
- この特定のマザーボードでは、低レイテンシやCPU直結の全帯域が絶対に必要でないなら、CPU直結レーンの利用は避けた方がよい
ASM1166 SATAコントローラーとJMB585の比較
- SATA HBAを探す中で、ASM1166 SATAコントローラー はASPM L1をサポートできるが、適切に使うにはファームウェア書き換えが必要だと判断
- ASM1166カード到着後、まずファームウェアを書き換えた
- 最新ファームウェアにはSilverStone ECS06のダウンロード欄にある “fix compatibility issue” ファイルを使用: https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
- 手順はPhil Barkerの文書に従った: https://docs.phil-barker.com/posts/…
- SilverStoneのファイルはunRAIDフォーラムで見つけたファームウェアとMD5が同一だった
- ドライブ未接続時の電力測定結果
- SATAコントローラーなし: 8W、C8
- ASM1166をチップセット直結x4スロットに装着: 9W、C8
- JMB585をCPU直結x16スロットに装着: 12W、C3
- JMB585をチップセット直結x4スロットに装着: 15W、C3
- ASM1166をCPU直結x16スロットに装着: 22W、C2
- ドライブ接続時には、ASM1166はJMB585より明らかに省電力だった
- ASM1166をチップセット直結x4スロットに装着: 10W、C8
- ASM1166を2枚チップセット直結x4スロットに装着し、NVMeは1台のみ使用: 11W、C8
- JMB585をチップセット直結x4スロットに装着: 16W、C3
- JMB585をCPU直結x16スロットに装着: 24W、C2
- チップセット直結スロットに4台のドライブを接続した場合、ASM1166はシステム電力に+2W、JMB585は+8Wを追加した
NVMeとSATAドライブもC-Stateを変える
- WD Black SN770 Gen4 NVMeをCPU直結の上段PCIe/NVMeポートで使うと、AER Bus ErrorとBadTLPの問題が発生
- BIOSの “PEG – ASPM” をDisabledまたはL0sにするとエラーは出なかった
- しかしL1は省電力に重要なので、よい選択肢ではなかった
- Link SpeedをGen3にするとエラーは大幅に減ったが、完全には消えなかった
- WDドライブをCrucial P3に交換するとエラーは解消した
- Crucial P3 NVMe 2台をCPU直結のPCIe x16スロットと上段M.2スロットに装着した場合、コントローラーのアイドル温度が高かった
- NANDは約27〜29°Cだったが、コントローラーは49〜50°Cと報告された
- NVMe 2台をどちらもチップセット直結PCIeスロットに移すとL1.1/L1.2が有効化され、コントローラー温度も38〜41°Cまで下がった
- 最終ビルドでのCrucial P3コントローラー温度は31〜34°C、NAND温度は23〜24°Cだったと更新されている
- SATA SSDのブランドやモデルもC-Stateの結果を左右しうる
- 1TB Patriot P210 SATA SSDはシステムをC6に縛り付けた
- C10を許可したドライブにはSamsung 850 EVO SATA SSD、Seagate SATA HDD、Toshiba SATA HDD、Sandisk Ultra 3D SATA SSD、Crucial MX500などが含まれる
- SATA SSDはブランドとモデルを慎重に選び、購入後の返品期間内に性能指標を検証した方がよい
現在のストレージ構成と消費電力
- 現在の構成ではストレージが大幅に増えている
- 1x Samsung 970 EVO Plus NVMe 500GB 起動ドライブ
- 2x Crucial P3 NVMe 4TB
- 5x Seagate 2.5インチ HDD 5TB、各4TB使用
- 6x Seagate 3.5インチ HDD 10TB、各8TB使用
- 2x ASM1166 SATAカード
- ディスプレイ点灯、キーボード有効状態での段階別の壁コンセント電力は以下の通り
- 11台のHDDがすべてactive-idle: 50W
- 6台の3.5インチHDDがIdle B: 38W
- 6台の3.5インチHDDがIdle C: 34W
- 6台の3.5インチHDDがStandby_Zでスピンダウン: 21W
- 5台の2.5インチHDDもStandby: 18W
- ディスプレイ出力オフ: 16W
- PowerTOPがUSBキーボードを無効化するのを許可: 15W
- Seagate公称のstandby消費電力は、3.5インチドライブが約0.8W/台、2.5インチドライブが約0.18W/台で、実測とも一致しているようだった
- 3.5インチドライブは、他のシステム構成部品と比べても電力消費の大きい機器だった
HDDからSSDへの長期的な移行
- HDDのstandby時アイドル消費が低いため、急いでSSDへ移行する必要はないと見ている
- HDDや予備ドライブが故障するか、SSD価格が下がれば段階的に移行する予定
- 最終目標は all-SSDビルド
- 元の計画は、起動ドライブ1台、RAIDZ2用に6x NVMe、2つ目のRAIDZ2用に6x SATA SSDという構成だった
- NVMeはおそらくCrucial P3 4TB、SATA SSDはおそらくSamsung 870 QVO 8TBを想定
- CPU直結M.2/PCIeスロットの利用には予測しづらさと、わずかなC-State・電力・温度面のコストがあるため、一部NVMeを諦めてSATAを増やし、CPU直結レーンを避ける方向へ変える可能性もある
- すべてのHDDをSSDに置き換えれば、72TB分のドライブ、64GB RAM、かなり十分なプロセッサーを備えた状態でも、アイドル電力は約 10〜11W になると期待している
ZFSキャッシュとSpecial vdevの活用
- すべてのHDDをSSDに置き換えるまで時間がかかる可能性が高いため、それまでの間はZFSの高速ストレージ活用機能を使っている
- ZFSは低速ストレージの前段にSSDのような高速ストレージを置く仕組みとして、Special Allocation Class とL2ARCキャッシュドライブを提供する
- Special Allocation Classは、メタデータと指定サイズ以下の小ブロック用の専用vdevを作成できる
- ファイル一覧やディレクトリ探索が高速化する
- ファイル本体はHDDに置いたままでも、複数ディレクトリで
lsを実行する際にHDDを起こさずに済む場合がある - ただし全メタデータがspecial vdev上にあるため、vdevが故障するとすべてのデータへのアクセスが事実上不可能になる
- 最低でもmirror構成が必要で、3-way mirrorも検討できる
- L2ARCはZFSの2次キャッシュ
- RAMキャッシュがいっぱいになると、ZFSは一部ブロックをL2ARCへコピーしてからRAMから外す
- 次回アクセス時、そのデータはディスクではなくL2ARCから読まれる
- L2ARCはSSD 1台でも問題なく、チェックサムエラーやドライブ障害があればZFSが元のディスクから再読込する
- この構成では4TB NVMeをL2ARCとして使用
- 残りの2.5インチドライブがすべてSSDに置き換わってSSDキャッシュの速度面の利点がなくなれば、このキャッシュ装置は外せるかもしれない
実務上の結論
- 低いアイドル電力を狙うなら、マザーボードBIOSがC-State、ASPM、ALPM設定を十分に提供している必要がある
- すべてのデバイスが ASPM L1 をサポートしている必要があり、そうでないと結果が安定しない
- 最も難しかったのは、ASPM L1をサポートするSATAコントローラー探しだった
- 可能なら拡張カード不要で済むよう、Intelチップセット直結SATAポートが十分あるマザーボードを使う方がよい
- NVMeも、ASPM下で低消費電力APST状態が正しく動作する製品かどうか調べるべき
- C8を目指すならCPU直結PCIeレーンの利用は避けた方がよい
- CPU直結レーンは上段PCIeとM.2スロット
- 低レイテンシやCPU直結の全帯域が必要な場合、またはデバイスが常時アクティブで省電力状態に入らない場合は例外
- Kill-A-Wattのような 壁コンセント電力計 は実環境確認に不可欠
- ソフトウェア指標だけではPSU効率、ドライブ待機電力、USB機器の影響、ディスプレイ出力の影響を確認しづらい
- Realtek NIC関連の更新によれば、最近のLinuxカーネルは大半のRealtek NICでL1省電力モードを無効化しており、その結果CPUが適切なC-Stateに入れず消費電力が増える可能性がある
- 回避策はあるが、将来的にはIntel 1 Gigabitネットワークアダプター搭載マザーボードに限定する可能性が高い
- コメントで言及されたスクリプトは RTL8125-ASPM.sh.txt で確認できる
1件のコメント
Hacker News のコメント
30W未満の構成を集めたドイツのフォーラムスレッドと Google Docs 文書があり、ホームサーバー/NAS を作る人にはかなり役立ちそうです https://goo.gl/z8nt3A
個人的に価格性能比が最も良かった構成は、Fujitsu D3417-B2、Intel Xeon 1225 V5、64GB ECC RAM、WD SN850x 2TB、Fractal Design Define Mini C、Pico PSU 120W + 120W Leicke 電源、Intel AMT + MeshCommander によるリモート管理でした
中古で非常に安く買って Proxmox を動かしており、HDD なしのアイドル消費電力は 9.3W です。SATA ポートが6つと PCIe ポートがあるので、ストレージの追加や専用 GPU のパススルーも可能です
総額 €380 払いましたが、入手は難しいかもしれません。メディアエンコードにはあまり向かないので Core i3 8100 以上のほうがよく、代替ボードとして GIGABYTE C246N-WU2、Gigabyte C246-WU4、Fujitsu D3517-B、Fujitsu D3644 と Corsair RM550x 2021年版も検討に値します
Dell T30 や Fujitsu Celsius W550 のような安い中古ワークステーションもサーバーとして悪くありません。Fujitsu は D3417(-A) ボードなので 24ピン ATX ではなく独自の16ピン電源を使っており、AliExpress の 24ピン-16ピンアダプターはやや危険で、現在検証中です
Ryzen 系の選択肢は少ないものの、AMD Ryzen 5 PRO 4650G と Asus PRIME B550M-A ボードの組み合わせでアイドル約16Wという報告があります
Fujitsu のボードは優秀で、EU では非常に安価です。リモート管理機能である iRMC S4/S5 の KVM ライセンスをリバースエンジニアリングした例もあります https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
HDD はスピンアップ時の電力ピークが大きく、RAID で複数台あると同時に立ち上がって許容電力範囲を超える可能性があります
AMD PRO CPU は ECC をサポートしているので、実用的なコンピューターなら必須だと思います。ボード上の大半のコンポーネントはオフにしており、品質としてはコンシューマー向けの最下位に近いものです
必要なときに電力を多めに使う状況では、内蔵 GPU がかなり優れている点が良いです
ハードウェアは素晴らしいですが、ソフトウェア管理が作業になってしまうと、こうした自作構成を正当化するのは難しくなります
私の Synology NAS は RAM 8GB と J4150 プロセッサで、コンテナ約15個、Wireguard、そして Synology OS の DSM を動かしていますが、通常はアイドル 1〜3% 程度です
結局はソフトウェアが差を生み、DSM は最大の強みであり驚きでもありました。TrueNAS も2台目のバックアップサーバーとして使っていますが、DSM とは比べものになりません
別のサーバーからファイルを1つバックアップするだけの基本的な CRON 設定のために、ログを漁って試行錯誤したくない時がありますが、DSM はただ動いたという例が数え切れないほどあります
Synology は、NAS の世界の Microsoft のように DSM を非 Synology プラットフォームでも動かせるようにする、あるいは少なくとも自前インストールを簡単にする機会を逃していると思います。DSM は優れた OS なのでそれ自体で売れるはずですし、Active Backup for Business のような製品のアップセルにもつながり得ます
Xpenology は Synology の DSM 用ブートローダーで、DSM は Synology NAS 機器で使われる独自の Linux ベース OS です
Xpenology を使うと、一般的な PC や自作 NAS のような x86 デバイスで Synology DSM を動かせるため、Synology のハードウェアを買わなくても DSM のマルチメディア機能やクラウド機能を利用できます
より強力なプロセッサや RAM を自分で選べるので、動画トランスコードのような作業のために好む人も多いです
ハードウェアの組み合わせは、選択肢が少し増えただけでも組み合わせ爆発を起こし、すべてをテストするのは不可能になります
クラウド IaaS のフロントに Synology DSM フロントエンドがあると、かなり良さそうです
DS1520+ に 16TB Seagate Iron Wolf Pro HDD 5台を RAID6 で構成し、同じ HDD 1台をコールドスペアとして保管していますが、2年間まったく問題なく動いています
一方で私の Linux インストール歴は、息をするだけで壊してしまうレベルなので、歩く Linux 大量虐殺ホラーに近いです
今年も 4.4 を搭載して売っていましたし、今年出た新製品だけが 5.10 を受け取っています。DSM 間ではカーネルバージョンのアップグレードも受けられません
筆者は2016年から2023年まで、およそ隔年で5台のシステムを作っているように見える。
RAMのような一部の部品は複数のビルドで再利用されている。
気になるのは、ハードウェア費用と寿命期間中の電気代がそれぞれどれくらいかという点だ。4年使う消費電力の大きいマシンが、2年使う低消費電力マシンより良い場合もある。
現在のpcpartpicker基準ではマザーボード+CPUが322ドルで、kWhあたり0.25ドルとして計算すると、36Wを4年間ずっと使う費用も約315ドルになる。
したがって、43Wの4年システムのほうが、7Wの2年システムより購入費と運用費を合わせて安くなる可能性もある。
ストレージ容量はほとんど拡張しない。その頃にはネットワークとソフトウェアが古くなっているので新しく買い、既存のものは新しい機器のバックアップに回し、さらに古いバックアップ機器を廃棄する。
興味深いことに、このアップグレード周期は20年間維持されていて、減価償却を理解しやすい。合計16年使うが、実際には8年は主機、8年はバックアップ機として使う構造だ。
7950X3D、X670E Taichi、96GB 6400MHz CL32、2x4TB Lexar、4x18TB Seagate Exos X18、RX570 8G、Proxmox構成。
VMなしのアイドルは約60〜70W、TrueNAS VMとディスク回転中のアイドルは90〜100W、TrueNASとGPUパススルーのFedora Desktopのアイドルは約150W。
数週間後にRX570を7900 XTXに交換する予定。RAMは消費電力をかなり増やし、DDR5は周波数によって8GBあたり3〜5Wも珍しくない。
Proxmox+TrueNASで50〜100W程度だろうと予想していたが、96GB RAMの消費電力を考慮できていなかった。
私の構成はAMD Ryzen 7 PRO 5750GE、128GB ECC DDR4-3200、Intel XL710-QDA2、LSI 9500-16i、WD 16TB HDD 8台、SK Hynix P41 Platinum M.2 NVMe SSD 2台、Samsung PM9A3 U.2 NVMe SSD 2台、Samsung PM893 SATA SSD 2台。
BMCがあり、デュアル40GbEで特定の状況ではネットワーク上で約55GbEを持続でき、ほとんどの場合は30〜35GbE。TrueNAS SCALEは動画編集用の純粋なストレージとして動かし、1L SFFの5750GEと10GbEで構成したProxmoxクラスタは主にApache Sparkを動かし、Pi4B 8GBのk3sクラスタもある。
ストレージの階層化がされているため、ディスクにはほとんど触れず、大半はスリープしている。主にU.2でデータをやり取りし、後で自動的に移動していく。SATA SSDはメタデータ用で、起動はSuperMicro SuperDOMから行う。
Zen 3 Ryzen PRO 5750GEはユニコーンのような製品だが、消費電力が非常に低い。アイドル電力が極めて小さく、内蔵GPUとECC対応、EPYCのメモリ保護機能を備え、5800Xの92%程度の性能を出しながらも、8コア16スレッドの全負荷時のパッケージ電力が39W弱に制限されている。
LSI 9500-16iは必要なレーン、つまりPCIe 8本とSlimSAS 16本を提供し、エンタープライズU.2 2台とHDD 8台を処理できた。新しいアダプタなのでアイドル電力も低かった。
IntelのデュアルQSFP+ NICは、銅線パッシブDACを使うとNICとスイッチの間でポートあたり4〜5Wを節約できるため、意図的に選んだ。この転送速度では光よりレイテンシが低い点にも意味がある。
電力食いはASRock X570D4Uだ。BMCだけで3.2Wを消費し、X570自体もそれなりに電力を食う。それでもシステム全体のアイドルは50W、ほとんどの負荷では75〜80Wで、すべてが最大負荷のときは理論上180〜190W程度まで行きそうだ。
私も48GB DDR5 DIMMを使っているが、HwInfoではモジュールあたり最大6Wと表示される。
44台の回転式HDDを搭載したNAS 847E16-RJBOD、48ポートPOE+ 10GbEスイッチ、無停電電源装置2台、環境モニタリング、DECISO OPNsenseルーターを合わせて平均1264W使っていて、石油化学の製油所になった気分だ。
片方のUPSは力率基準で効率98%を報告しているが、もう片方は91%なのであまり良くない。
APMはすべてのHDDでオフにしている。この構成では実現しない神話的な省電力効果のために、遅延と摩耗だけが生じるからだ。
SMARTは故障をほとんど予測できないが、ドライブ故障の強い兆候の一つはわずかに上がった温度で、通常はベアリング摩耗の結果だ。
廃熱が十分に出るので一部屋は暖房が不要で、データセンター周辺温度を27°C未満に下げる理由もなく、冷却が必ずしも必要なわけではない。
水とコンピュータは混ぜるべきではないが、あの廃熱を活用するより良い方法かもしれない。
低消費電力なのはよいが、ECC なしで大規模な RAIDを長期間運用するのは不安。同様のシステムで、5年以上より堅牢に使えるよい解決策があるのか気になる
X11SAE-F や X12SCA-F、もしかするともっと古いものでも十分。電力はそれほど低くはならないかもしれない
私はいまでも X9SCA+-F とかなり古い Xeon で NAS と LXC コンテナを動かしている。アイドル電力は 5W ではなく 20〜30W くらいだが、問題に遭ったことはなく、すでに何度も元は取ったと確信している
ベアボーンは安いが、ECC メモリは一般的なサーバー向け RDIMM ではないので高くつく場合がある。低消費電力構成でもない
HDD 1台のケースや 4U 全体を扱えるところまで広げるには PCIe レーンが必要になる。その場合、w680、i5-12600K、ECC UDIMM 1枚、PCIe スロットの SAS HBA、内蔵 Ethernet の組み合わせが、実現可能な最低消費電力に近いのではないか
w680 プラットフォームの価格が高すぎるのが残念で、am4/zen2 はもっと安いので今でも十分使える
Xeon、組み込み Xeon、am5、am4 も選べるが、am4 は内蔵 GPU がない場合がある
ECC なしで RAID を5年運用することが本質的に間違っているわけではなく、実際に多くの人がそうしていて問題なく過ごしている
個別の消費電力は分からないが、この NAS と i5 12400 のコンピュートマシン、ルーター、スイッチを合わせて、通常動作中の壁コンセント側電力は 100W。コンテナは約30個
以前ホームサーバーに使っていた古いワークステーション群と比べると、非常に効率的だと思う
このボードはこのチップと組み合わせて ECC をサポートしているように見える: Supermicro X13SAE W680 LGA1700 ATX Motherboard
価格は550ドル
これを中心に構成し、PCIe 4.0-NVMe ボードで必要なだけ NVMe ドライブを接続する方法もある。安くはないが、家庭用途としては手が届く範囲
よい記事。以前に似たようなことを試したことがある
https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...
ストレージ容量の多い構成としては優れている
ストレージが SSD 1台や RAID ミラーのペアに収まり、多くの計算処理を必要としないなら、RasPi のようなシングルボードコンピューターや NUC のようなもので低消費電力サーバーを作れる
個人的には 1U Atom サーバーを数台使っており、電源ユニットのファンを Noctua に替えた以外はファンレスで動いている
RasPi に対する利点は SATA と ECC RAM で、コロナ禍でもより入手しやすかった
4U GPU サーバーも1台あるが、筆者のように低消費電力のアイドル状態を作る方法をまだ掘り下げていないので、今は使わないときは電源を切っている
なぜ N100 を使わないのか気になる
N305 も目的に合っているし、N100 はさらに低いはず https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...
また N100 は RAM 16GB までしか対応しないが、この人は 64GB を使っている。PCIe レーン数も9本対20本なので用途によっては重要になり得るし、i5 のほうが全体的にかなり速そうだ
比較: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
数年後にはミニ PC 市場を丸ごと食ってしまうのではないかと思う。価格が下がって各種 Pi 系と競争できるようになれば、なおさらあり得そう
2〜8W の間で動き、ごく普通の 12V アダプターと DC バレルジャックを使う。Home Assistant と軽い仮想化に完璧
性能はクアッドコア i5-6500 ミニ PC より実際に上。決して遅くない
価格を考えると本当に驚くほど優秀な小型システム
CPU／マザーボード周りは節約しようと最適化しているのに、実際には6台以上のドライブを使う代わりに、より少ない台数の大容量ドライブを使わないのは、小さな得を追って大きな損をする要素があるのではないかと思う
ドライブは故障するので、冗長性のために予備が少なくとも1台必要で、私は2台を勧める。1台が故障したときでも、交換中に運用を継続できるからだ
ドライブ3台でRAID-1ミラーを作ると、実効容量1台分に対して高くつくため、たいていは二重パリティのRAID-5系を見ることになる
しかしこのような構成に6台を超えて入れると性能問題が出始め、2つのRAIDにまたがってストライピングするほうがよい場合もある。6台を超えると3台が故障する確率も無視しにくくなり、パリティストライプをさらに追加する必要がある
そのため私は6台がちょうどよい落としどころだと見ているが、ほかにも合理的な答えは十分あり得る
もちろん、どれだけ多くのデータがあるかも重要だ。多くの人にとっては現代的なディスク1台で十分なのでRAID-1にし、冗長性は故障後にオフサイトバックアップの復元を待たずに済ませるための用途に近い