Orz日記 by Akio Morita

_ [雑記]QSW-M1208-8C試験中

初期運用で問題が出たので、運用条件だし・負荷試験を継続中

手元の個体(Firmware 1.2.0.28950 2022/01/11)は、かなり癖がある模様

接続試験に参加している機材

• Mellanox Connect X-4 Lx EN (FreeBSD 13.1-STABLEで駆動)
• Mellanox Connext X-6 Lx EN (QNAPブランドのOEM品、QNAP TS-653Dで運用)
• Netgear S3300-28X (10GBASE-T x2 + SFP+ x2スイッチ)
• 10GBASE-CRケーブル(10G SFP+ DAケーブル)
• 10GTek 10GBASE-Tトランシーバ 2個 (Netgear S3300-28Xで運用実績有り)
• 10GBASE-Tトランシーバ(別メーカー)

QSW-M1208-8Cのポート構成は、SFP+専用ポート 4個と RJ45/SFP+コンボポート 8個あるので、接続形態毎に接続性を試験

コンボポート(RJ45)

下記の接続先に10GBASE-Tで普通に繋がり、普通に動く

• S3300-28X RJ45ポート
• S3300-28X SFP+ポート + 10GBASE-Tトランシーバ
• Connect X-4 + 10GBASE-Tトランシーバ

普通の10GBASE-T 8ポートスイッチとして使える

コンボポート(SFP+)

• Connect X-4との10GBASE-CRがまったく繋がらない
  • Connect X-4側から見るとリンクDOWN/UPとネゴシエーションが継続し、物理層の接続が成立しない(UPしても次の瞬間DOWNして、ネゴシエーションやり直しになる)
  • Connect X-4は 1/10/25G マルチレートなので、スイッチ側のオートネゴとファームの相性問題か？
    • Connext X-4 - 10GBASE-CR - S3300-28Xなどは普通に繋がる (Connect X-4の不良ではなさそう)

• QSW-M1208-8C - 10GBASE-Tトランシーバ - Cat.6A - 10GBASE-Tトランシーバ - Connect X-4だと一応繋がって通信可能になるが、何かの拍子に接続が切れる
  • 接続が切れる際、QSWのリンクLEDは緑点灯状態から消灯状態に遷移する
  • 接続が切れている際、Connect X-4側では毎秒5回程度のリンクDOWN/UPイベントが観測される
    • ケーブル接続時のリンクUP動作でも、4～5回程度のリンクDOWN/UPが観測される(オートネゴシエーション動作？)
  • 10分ぐらい監視していたが自然回復しない、QSW-M1208側のSFP+トランシーバを抜き差しすると回復する
  • オートネゴシエーションの誤爆？

残念ながら手持ち機材の組み合わせでは、コンボポートのSFP+接続は実用にならない

SFP+専用ポート

• Connect X-4/6と10GBASE-CRで普通に繋がる
  • 但し、不定期に瞬間的なリンクDOWN/UPが観測される (手元の観測では、4～5回/日)
  • pingなどはリンクDOWNに巻き込まれるとパケットドロップする
  • DOWN状態が継続することはないが、リンクDOWN/UPが1分ぐらいの期間に2～3回連続で発生する事例が多い
    • 再ネゴシエーション動作が誤爆している？

• 10GBASE-Tトランシーバを挟んだConnect X-4との接続は、10GBASE-Tで普通に繋がる
  • 何かの拍子に、リンクDOWN/UPイベントが発生し、QSW-M1208-8CのリンクLEDが緑点灯から赤点灯(マニュアルに記述無し)状態に変わる
    • 赤点灯状態でも10GBASE-Tの通信に問題は出ない(10Gbit/secのリンクレートは出ている)
    • 赤点灯状態だとQSW-M1208-8Cの管理画面「概要」->「システム情報」が更新出来ない(新規に開く・更新ボタンを押した際に読み込んでいます...のままになる障害が発生する
      • 長時間経過すると表示更新されるが、「ファン回転数」の項目が消失したり、「MACアドレス」の項目がeeprom_read_errorになったりする
      • QSW-M1208-8C側のSFP+トランシーバを抜き差しすると回復する(リンクLERが緑点灯に戻り、管理画面が正常化する)
        • Cat.6Aケーブルの抜き差しは効果無し
        • SFP+トランシーバが複数刺さっているケースで、ケーブルを刺していないトランシーバの抜き差しで回復する事例有り
    • 状況的には、QSW-M1208-8Cのファームが何がしかのSFP+トランシーバのステータスを読んでいて、そこで問題が起こっているように見える
    • 10GBASE-CRと同様に瞬間的なリンクDOWN/UP後にも通信自体は正常に行え、VLAN設定等の管理機能は使えるが、「システム情報」だけが機能不全になる(この点が、10GBASE-CRと挙動が異なる)
    • 当該モードの不具合の発生頻度が、SFP+トランシーバの個体毎に異なるように見える
      • 一部の個体では1～2時間以内に発生しているが、12時間以上問題が発生しないトランシーバがある
        • 比較的安定な10GBASE-Tトランシーバと1000BASE-Tスイッチの接続(1Gリンク)は、24時間以上の連続稼働実績がある

排熱

• 本体左側の排気口(40mmファン 2連)から熱い空気がぬるぬる出てくる
• ファン回転数は、無負荷で 1500rpm程度、10GBASE-Tトランシーバを刺してゆくと回転数が上がってゆく、手元で確認した最高回転数は 2000rpm
  • 2000rpmまで回ってもファンノイズは小さい
• 本体左側の天板及び底板がとにかく熱い、本体右側(吸気側)はそれほどでも無い
  • 排気速度が足らずに、排気口周辺に熱だまりが出来ている模様

このままだと、長期稼働や夏場の不在時(空調停止時)が心配なので、吸排気の改修が必要ぽぃ

まとめ

• 排熱回りは要対策(吸排気ファンの増強・風路板導入を検討すべき)
• 10GBASE-T x8 + 10GBASE-CR x4で運用するのが正解っぽぃ
  • 10GBASE-Tトランシーバは使えるけど、管理画面の一部に障害が出るので要検討
  • 光トランシーバは機材が無いので未検証
  • 10GBASE-CRでも瞬間的なリンクDOWN/UPが記録されるので、ファームの修正に期待…

総評 - 製品品質に届いて無い気がする…

• 最近出てきている安価な10GBASE-T8ポートスイッチの類はどこの製品(TP-LinkとかBuffaloとか)も排熱に問題を抱えているらしいので、排熱に関しては2連ファンつけてるあたりは及第点だが、回転数制御はもっと積極的に回すべき
• コンボポートのSFP+が不安定過ぎて、存在意義が分からない…