Orz日記 by Akio Morita

_ [雑記][FreeBSD]N5 air運用投入

TrueNASとかも試したけど、NIC認識回りの若干の問題とUI回りが微妙に使いにくかったので、FreeBSD 15.1-STABLEベースでOpenZFS + Samba4.24 workgroup serverで運用することに

NASアプライアンスは、Thecus/ASUSTOR/QNAPを使ったことがあるが、TrueNASはなんかコンテナサービスとかの部分の主張が強くて使いにくい気がした

で、ZFSのRAIDZ POOLを再構成したのだが、流用したHDDの1台が途中からスピードが落ちる不具合発生した模様

• データ流し込み時点では速度が出ている
• 書き込み済みデータのChecksum計算用に読み出し時に1台 busy 100%で速度が出ないHDDが発生
• 当該HDDの最外周部は速度が出る (recoverdiskにて測定)
• 現時点では、Pending Sector/Reallocated Sectorは出ていない

状況的に一部の領域で読み出し速度が出ない系だと思うので、 設置場所起因の振動問題で無ければ、不具合の前兆か？

色々調べたが、1 Disk単位の操作や書き込み系では性能劣化が見られず、読み取り時のみの模様

vfs.zfs.vdev.async_read_max_activeを標準の3から大きく増やすと改善するので、 特定HDDの応答遅延にChecksum整合性検査のため他のHDDが待たされている模様。 これ自体は、ZFSの強力なBlock Device検査機能の動作上の要請なので仕方ないが、 同一個体群内の同時読み出し遅延に差が出ているのが気になる…

ハードウェアに原因を求めるなら、筐体内の配置に伴う振動干渉(制振対策・シャッフリングで解決する？)とか 経年劣化に伴う応答特性の悪化(トラッキング・読み出しの内部リトライ？)辺りか？

以前に使っていた際は、QNAP QTSのRAID6なのでRAIDZ2の様な読み出し時の整合性検査目的の待ち合わせが無いので、 元々バラツキがあったが表面化していない可能性もあるか…

vfs.zfs.vdev.async_read_max_active: 3での読み出し運用状況 (標準状態)

Disks  nda0  ada0  ada1  ada2  ada3  ada4
KB/t    125 59.13 80.08 75.44 77.14   117
tps     995   403   301   316   308   197
MB/s    122 23.25 23.53 23.31 23.23 22.40
%busy     4    11    18    15    15    99

vfs.zfs.vdev.async_read_max_active: 15での読み出し運用状況 (改善後)

Disks  nda0  ada0  ada1  ada2  ada3  ada4
KB/t    125 47.76 51.10 50.49 53.09   126
tps    2194  1653  1548  1568  1491   646
MB/s    268 77.10 77.26 77.29 77.31 79.26
%busy     8    35    47    55    52   100

• RAIDZ2を構成するada0〜4の内ada1〜4が同型で、読み出し運用のボトルネックに成っている個体がada4
  • ada4のbusy率だけが目に見えて高い(tpsが他の半分なのは、転送サイズが他の倍なので辻褄はあっている)
• (おそらくHDD毎に個別読み出ししていると思しき)scrub時はada0〜4ともに問題なく逐次読み出し性能が出る
• 同型HDD ada1〜4のSMART属性値のなかで、ada4のThroughput_PerformanceのRAW VALUEが大きく外れている模様
  • RAW VALUEがアクセス性能と正の相関があるなら、やはりada4が不調か？

ada1:  2 Throughput_Performance  0x0005   137   137   054    Pre-fail  Offline      -       92
ada2:  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       96
ada3:  2 Throughput_Performance  0x0005   134   134   054    Pre-fail  Offline      -       104
ada4:  2 Throughput_Performance  0x0005   148   148   054    Pre-fail  Offline      -       48

不調がバックプレーンやAHCIチャンネルによるものかHDD側かを確認するため、同型の ada3とada4の装着スロットを入れ替えてみた

• vfs.zfs.vdev.async_read_max_active=3での読み出し運用時にada3側で%busyが飽和するようになった
  • ボトルネックが物理的なHDDに依存している → AHCIコントローラ・バックプレーンの不具合やスロットの物理配置が原因では無い

暫定的なまとめ

• RAIDZ2読み出し時に、特定HDDのI/Oが先に飽和してボトルネックになる
• RAIDZ2への逐次書き込み時はボトルネックが顕在化しない
• HDD毎の逐次読み出し性能は、概ね一致する (dd・zpool scrub)
• HDD毎の簡単なIOPS測定の結果では異常は見られない
• 当該個体のSMART属性値 Throughput_PerformanceのRAW_VALUEが他の個体群と大きく異なる

推論するに、問題個体の応答遅延が増大しているのではないだろうか？

更なる確認により、全4台中、応答遅延が多きい個体のFirmware revisionが異なることが判明

したがって、遅延特性の違いはFirmware revisionに起因するかもしれない…

_ [雑記]TrueNAS on N5 air

試しにインストールしてみた

• TrueNAS 25.10.7では、RTL8126(5G)は認識するが、RTL8127(10G)は認識出来ない
• FreeBSD側で作ったZPOOLはインポート出来た
• アプライアンスメニューには、スケジュール Shutdownの類は見当たらない
• TrueNASは、電源ボタンイベントに反応する

_ [雑記]MINISFORUM N5 air入手

NAS箱更新用に入手したので、ハードウェア本体の試験中

memtest86実行時の本体ファンはかなり静かな模様

とりあえず、FreeBSD 15.1-STABLEを放り込んでハードウェア負荷試験を予定

本運用は、FreeBSD + sambaで運用するか、TrueNAS SCALEを放り込むかを検討中

ディスクも更新したい所だが、最近値上がり・入手性悪化があるので、既設のNASから流用するしかないか？

あと、事前情報では、N5・N5 PROはRTL8126(5G) + AQC113(10G)の組み合わせという話だったが、 入手個体はRTL8126(5G)+RTL8127(10G)の組み合わせだった

量産途中でチップ変更があったか？

各種検証まとめ

• Power Button
  • 起動中のFreeBSD側のACPIスタックからは、power buttonイベントとして認識しない
    • 長押しで電源断は出来るので、電源の直接操作のみでACPI未対応か？
    • TrueNAS (Debianベース)は、電源ボタンイベントに反応した (FreeBSDのデフォルト設定の問題か？ACPI実装の問題か？)

• SATAベイ
  • hotswapをサポートするが、レバー操作でSATAコネクタが外れないので、斜め状態のレバーを持って引き抜く必要あり
    • トレイがプラスチック製なので、変な力をかけるとレバーが折れそう…　もう少し脱着機構の改善するかトレイ金属化が欲しい所
  • LEDインジケータの番号順と、FreeBSDの認識するahcichの番号順が逆
    • 混乱防止の観点から、device hintでada番号を固定化すべき

# for MINISFORUM N5 air
hint.scbus.0.at="ahcich4"
hint.scbus.1.at="ahcich3"
hint.scbus.2.at="ahcich2"
hint.scbus.3.at="ahcich1"
hint.scbus.4.at="ahcich0"

# ada
hint.ada.0.at="scbus0"
hint.ada.1.at="scbus1"
hint.ada.2.at="scbus2"
hint.ada.3.at="scbus3"
hint.ada.4.at="scbus4"

• WoL
  • LAN1(RTL8126) - Colr Power時はWoL不可・FreeBSD側で初期化後はWoL可
  • LAN2(RTL8127) - Cold Power時はWoL不可・FreeBSD側で初期化後はWoL可
    • どちらもOSによる初期化がないとWoL出来ないなので、WoL待機運用ではAuto Power On設定で運用することになる模様

• CPUパフォーマンス
  • Ryzen 7 255のCCDは 8C/16Tの Zen4 CCDそのものなので、CPUパワーに関しては上限Clock・TDP制限がかかっていることを除けばRyzen 7000系と同様の模様
  • buildworld benchmarkの結果を見るに、8C動作時はTDP制限でClock抑制されている。4C動作時は、Ryzen 9 7950X 16C動作時のbenchmark scoreの1/4を少し下回るスコアであり、Clock制限を考慮すると概ね整合する

• I/O帯域 /dev/urandom -> HDD ZFS (lz4) (/dev/urandom読み出しで飽和する模様)

• I/O帯域 SSD ZFS (lz4) -> HDD ZFS (lz4) -> /dev/null

• 消費電力 (4 HDDのアイドリング vs 待機状態で 10W程度の差がでる模様)

• N5 air(RTL8127 + realtek-re-kmod-1102.01.1501502_1) MTU 9000 dev.cpu.0.freq=1600 <-> ConnectX-6 MTU 9000

NETIO - Network Throughput Benchmark, Version 1.34
(C) 1997-2018 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  417.72 MByte/s Tx,  808.57 MByte/s Rx.
Packet size  2k bytes:  573.40 MByte/s Tx,  859.33 MByte/s Rx.
Packet size  4k bytes:  904.08 MByte/s Tx,  894.09 MByte/s Rx.
Packet size  8k bytes:  858.17 MByte/s Tx,  915.71 MByte/s Rx.
Packet size 16k bytes:  855.84 MByte/s Tx,  908.02 MByte/s Rx.
Packet size 32k bytes:  854.36 MByte/s Tx,  891.16 MByte/s Rx.

• N5 air(RTL8127 + realtek-re-kmod-1102.01.1501502_1) MTU 9000 dev.cpu.0.freq=3800 <-> ConnectX-6 MTU 9000

NETIO - Network Throughput Benchmark, Version 1.34
(C) 1997-2018 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  728.34 MByte/s Tx,  850.51 MByte/s Rx.
Packet size  2k bytes:  637.28 MByte/s Tx,  923.55 MByte/s Rx.
Packet size  4k bytes:  948.65 MByte/s Tx,  950.07 MByte/s Rx.
Packet size  8k bytes:  903.89 MByte/s Tx,  907.32 MByte/s Rx.
Packet size 16k bytes:  901.84 MByte/s Tx,  913.24 MByte/s Rx.
Packet size 32k bytes:  859.58 MByte/s Tx,  918.84 MByte/s Rx.

• N5 air(RTL8127 + realtek-re-kmod-1102.01.1501502_1) MTU 1500 dev.cpu.0.freq=1600 <-> ConnectX-6 MTU 9000

NETIO - Network Throughput Benchmark, Version 1.34
(C) 1997-2018 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  423.02 MByte/s Tx,  733.53 MByte/s Rx.
Packet size  2k bytes:  601.83 MByte/s Tx,  771.00 MByte/s Rx.
Packet size  4k bytes:  609.74 MByte/s Tx,  778.17 MByte/s Rx.
Packet size  8k bytes:  631.51 MByte/s Tx,  787.40 MByte/s Rx.
Packet size 16k bytes:  653.96 MByte/s Tx,  803.00 MByte/s Rx.
Packet size 32k bytes:  679.44 MByte/s Tx,  793.54 MByte/s Rx.

• N5 air(RTL8127 + realtek-re-kmod-1102.01.1501502_1) MTU 1500 dev.cpu.0.freq=3800 <-> ConnectX-6 MTU 9000

NETIO - Network Throughput Benchmark, Version 1.34
(C) 1997-2018 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  616.41 MByte/s Tx,  818.41 MByte/s Rx.
Packet size  2k bytes:  611.89 MByte/s Tx,  919.95 MByte/s Rx.
Packet size  4k bytes:  647.48 MByte/s Tx,  930.27 MByte/s Rx.
Packet size  8k bytes:  673.31 MByte/s Tx,  921.82 MByte/s Rx.
Packet size 16k bytes:  694.79 MByte/s Tx,  938.89 MByte/s Rx.
Packet size 32k bytes:  682.34 MByte/s Tx,  912.45 MByte/s Rx.

_ [FreeBSD]AQC113サポートが来た

stable/15の sys/dev/aqにAQC113サポートが入ってきた模様

これで、ports/net/aquantia-atlantic-kmodはお役ご免ですねぇ…

head側は確認してないけど、OpenBSDからの移植かなぁ？

_ [雑記]Noctua NL-LC1-36導入

先日、Antec P5に導入したNoctua NL-LC1-24の静音性と冷却性能のバランスが非常によかったので、MASTERBOX CM695で運用していたCooler Master MasterLiquid 360 Atmos II VRM FanをNoctua NL-LC1-36 + NL-ACF1に換装してみた

MasterLiquid 360 Atomos II比較でラジエータが5mm長いので 組み付けクリアランスはかなりギリギリだが、5インチベイ・リア排気ファイン(最下方設置)と共存して組み付け可能

配線に関しては、ラジエーター側での配線集約が無いので、接続順序等を考慮する必要が無いので楽というか普通

ファン回転数の最適化前の全開設定時の計測では、Ryzen 7950X PBO 85℃設定にてCooler Master MasterLiquid 360 Atmos II VRM Fan(同全開設定)を2.3%上回るスコアを叩きだし、アイドル時の最低温度も若干下がる模様

組み付け作業に合わせて、5インチベイの有無でファン全開設定時のベンチマークスコアを比較したが 0.4%の低下に止まるので、ファン1個分弱の領域を被う光学ドライブの影響は実用上問題ないレベルの模様

今回のNL-LC1-36は40dB切り運用(部屋の暗雑音38dB)でパワーを絞り出す想定での導入ですが、値段差考えると性能・静音性の極限を狙うので無ければ普通にMasterLiquidがおすすめです

_ [雑記]LGY-PCIE-MG3

以前、不調だったRTL8127カードであるLGY-PCIE-MG3であるが、ヒートシンクが薄めなものの面積は十分あるが、ヒートシンクが基盤からスペーサーを介して固定距離で固定されており、NIC Chipとの熱結合は2.5〜3.0mm厚の熱伝導パッドのなので、熱伝導パッドの熱抵抗でChipが冷やせてなかったのかなぁ？

_ [FreeBSD]AQC107S driverがstable/15にもマージされた

暫く前に、16-CURRENTへnet/aquantia-atlantic-kmodのaq driverがマージされていたが、15-STABLEにもMFCされた模様

もっとも、このaq driverは現行世代のAQC113Cをサポートしてない＆ベンチマークした範囲だとTCP 1ストリームの割り込み密度だと10Gbpsに届き辛いので、新規調達ならRTL8127カードをnet/realtek-re-kmod driverで使うのがおすすめ (16-CURRENTだとnet/realtek-rge-kmod相等の rgeドライバがマージされたいたはず)

_ [雑記]Noctua NL-LC1-24運用雑感

• ポンプをOptimizedで運用しているが、ポンプ音は気にならない (吸音材の効果か？)
• オプションのVRMファンは、全開でも気にならない
  • ARCTIC Liquid Freezer III ProはVRM Fan全開は耳に聞こえるので、余裕をもった80mmファンが静音化に効いている模様
• ARCTICとの比較だとラジエータ薄いけど良く冷えるのですが、設計的にはラジエーターのコンダクタンスを大きく取って騒音辺りの空気流量を確保することで総合的な冷却力を確保しているのかなぁ…

注意点としては

• ラジエーターのホースヘッダー部が大きめなので、ケースによってはインストールの向きが制限され周囲とのホース干渉があるので、事前の寸法確認が必要 (値段が値段だけに、ホース干渉で実装できないとしゃれにならない)
• VRMファンが、ポンプの静音カバーの上に付ける関係で、VRMファンの吸気スペース込みだと低めのサイドフロー空冷相当の高さが必要

_ [FreeBSD]www/firefox-esr更新

www/firefox-esrがビルド出来ないで報告したstable/15でビルド出来ない140.x系列のwww/firefox-esrだが、153.x系列に更新された

_ [雑記]RTL8127カード壊れた？

以前導入したRTL8127カードLGY-PCIE-MG3であるが、なんか動作が変…

同カードで動かしているWindows11が最近突然再起動するので様子を見ていたのだが、 本日Windows11の突然再起動してからFreeBSD側でnet/realtek-re-kmodで認識するが まともにDHCPが取れない状態が発生。

同ドライバーでマザーボード上のRTL8126だと問題なく動くので、 RTL8127カードの不良の模様…半年で壊れた？

異常時のFreeBSDから見た振る舞い

• DHCP clientが、DHCP serverからのレスポンスを受け取れない (DHCP offerのペイロード長が合わないとか言われる)
  • dhclientのメッセージ的には、返信されたUDPv4パケットを受信するが壊れている？
  • DHCP server側をrestartさせても症状変わらず
• Shutdownしてから起動しても症状変わらず
• 手作業でifconfig inetしてもpingが通らない (ICMPv4不通？)
• 電源のマスタースイッチOFFにして暫く置いてから起動すると正常化した (NEW)

現時点では永続的な故障には見えない

対策するとしても、取り付けスロットが窒息ぎみなので冷却不足を疑ってファンを増設するか、 製品不良を疑って予備品を確保するあたりか…

以前おかしくなった10GbE NICとしては、Intel X550-T2で一時的な通信エラーが発生し、 そのうち再起動しないと治らなくなり、最後は2portのうち使っていたポートが不通になった事例があるので 最新世代の2W級チップでも窒息ぎみの配置だと油断できない？

玄人志向のRTL8127カードに交換＆Noctua 60mmファン増設後は1週間程度連続に安定稼働している (追記 2026-07-27)

_ [雑記]Noctua NL-LC1-24運用投入

Noctua NL-LC1-24・NL-ACF1 vs ARCTIC Liquid Freezer III Pro 240の比較

• Radiator及びVRM Fanのみ変更した比較
  • 240mm Radiatorは、Antec P5 Front Intakeへ配置、ファンは NF-A12x25 G2 PWM Sx2-PP x2/2-パラ・プッシュプル構成 (両者共に標準構成にあらず)
  • Antec P5 Rear Exhaust Fanは、NF-A12x25 G2 PWM
• Ryzen 9950Xの運用は、PBO 85℃ / -20mV設定
• 試験負荷は、buildworld loop

Liquid Freezer III Pro 240 (全開設定)

• Tair 23.5〜24.2℃
• Tcpu(idle) 40.1℃ / 45.2dB
• Tcpu(load) 86.1℃ / 44.6dB
• Lap-Time 657sec

NL-LC1-24 (Fan全開設定・PumpはBalance設定)

• Tair 22.8〜22.9℃
• Tcpu(idle) 36.1℃ / 45.1dB
• Tcpu(load) 86.1℃ / 45.2dB
• Lap-Time 647sec

Liquid Freezer III Pro比でRadiatorが薄くなっているにも関わらず、同等の冷却性能の模様

NL-LC1-24 (Fan 40dB調整)

• Tair 22.8〜23.0℃
• Tcpu(idle) 42.6℃ / 37.7dB
• Tcpu(load) 86.1℃ / 40.2dB
• Lap-Time 654sec

Liquid Freezer III Pro 240 (全開設定)とほぼ同じ性能で、雑音レベル-4.4dBが得られた

Liquid Freezer III Pro 240の40dB設定だと、Lap-Timeは670sec↑なので、騒音辺りの冷却効率はだいぶ上がった模様

備考

Noctua公式の互換資料に在る通り NL-LC1-24はAntec P5で運用可能だが、Radiatorの冷却水ヘッダーを上にして設置する必要あり

これは、冷却水ヘッダー側と反対側の寸法に非対称性があるため(一方、Liquid Freezer III Proなどはほぼ対称)

おそらく、幅が同じNL-LC1-36にも同じような非対称性があるはずなので、360mm Radiatorを天板設置かつ5inchベイ使用する場合、 ケースの奥行きに注意が必要と思われる (最悪、リア排気ファンの設置を諦める必要が出てくる)