トップ «前の日記(2022-05-27) 最新 次の日記(2022-07-19)» 編集

Orz日記 by Akio Morita

ToDo:

  • 15 SAD Fit[]回りの障害事例の解析
  • 10 smart pointer版PEGクラスの再実装(Left Recursionまわり)
2006|03|04|05|06|07|08|09|10|11|12|
2007|01|02|03|04|06|09|10|11|12|
2008|01|02|03|04|05|06|07|08|09|10|11|12|
2009|01|02|03|04|05|06|07|08|09|10|11|12|
2010|01|02|03|04|05|06|07|08|09|10|11|12|
2011|01|02|03|04|05|06|07|08|09|10|11|12|
2012|01|02|03|04|05|07|08|09|10|11|12|
2013|01|03|04|05|06|07|08|09|10|11|12|
2014|01|02|03|04|05|06|07|08|09|10|11|12|
2015|01|02|03|04|06|07|08|10|12|
2016|01|02|03|05|06|08|10|11|
2017|01|02|03|04|05|06|07|09|10|11|12|
2018|01|02|03|04|06|07|08|09|10|11|12|
2019|01|03|04|05|07|08|09|10|11|12|
2020|01|02|03|04|05|06|07|08|09|10|11|12|
2021|01|02|03|04|05|06|07|08|09|10|11|12|
2022|01|02|03|04|05|06|07|08|09|10|11|12|
2023|01|02|03|04|05|06|07|08|09|10|11|12|
2024|01|02|03|04|05|06|07|08|09|10|11|

2022-06-14 [長年日記]

_ [雑記]QSW-M1208-8C試験中

初期運用で問題が出たので、運用条件だし・負荷試験を継続中

手元の個体(Firmware 1.2.0.28950 2022/01/11)は、かなり癖がある模様

接続試験に参加している機材

  • Mellanox Connect X-4 Lx EN (FreeBSD 13.1-STABLEで駆動)
  • Mellanox Connext X-6 Lx EN (QNAPブランドのOEM品、QNAP TS-653Dで運用)
  • Netgear S3300-28X (10GBASE-T x2 + SFP+ x2スイッチ)
  • 10GBASE-CRケーブル(10G SFP+ DAケーブル)
  • 10GTek 10GBASE-Tトランシーバ 2個 (Netgear S3300-28Xで運用実績有り)
  • 10GBASE-Tトランシーバ(別メーカー)

QSW-M1208-8Cのポート構成は、SFP+専用ポート 4個と RJ45/SFP+コンボポート 8個あるので、接続形態毎に接続性を試験

コンボポート(RJ45)

下記の接続先に10GBASE-Tで普通に繋がり、普通に動く

  • S3300-28X RJ45ポート
  • S3300-28X SFP+ポート + 10GBASE-Tトランシーバ
  • Connect X-4 + 10GBASE-Tトランシーバ

普通の10GBASE-T 8ポートスイッチとして使える

コンボポート(SFP+)

  • Connect X-4との10GBASE-CRがまったく繋がらない
    • Connect X-4側から見るとリンクDOWN/UPとネゴシエーションが継続し、物理層の接続が成立しない(UPしても次の瞬間DOWNして、ネゴシエーションやり直しになる)
    • Connect X-4は 1/10/25G マルチレートなので、スイッチ側のオートネゴとファームの相性問題か?
      • Connext X-4 - 10GBASE-CR - S3300-28Xなどは普通に繋がる (Connect X-4の不良ではなさそう)
  • QSW-M1208-8C - 10GBASE-Tトランシーバ - Cat.6A - 10GBASE-Tトランシーバ - Connect X-4だと一応繋がって通信可能になるが、何かの拍子に接続が切れる
    • 接続が切れる際、QSWのリンクLEDは緑点灯状態から消灯状態に遷移する
    • 接続が切れている際、Connect X-4側では毎秒5回程度のリンクDOWN/UPイベントが観測される
      • ケーブル接続時のリンクUP動作でも、4~5回程度のリンクDOWN/UPが観測される(オートネゴシエーション動作?)
    • 10分ぐらい監視していたが自然回復しない、QSW-M1208側のSFP+トランシーバを抜き差しすると回復する
    • オートネゴシエーションの誤爆?

残念ながら手持ち機材の組み合わせでは、コンボポートのSFP+接続は実用にならない

SFP+専用ポート

  • Connect X-4/6と10GBASE-CRで普通に繋がる
    • 但し、不定期に瞬間的なリンクDOWN/UPが観測される (手元の観測では、4~5回/日)
    • pingなどはリンクDOWNに巻き込まれるとパケットドロップする
    • DOWN状態が継続することはないが、リンクDOWN/UPが1分ぐらいの期間に2~3回連続で発生する事例が多い
      • 再ネゴシエーション動作が誤爆している?
  • 10GBASE-Tトランシーバを挟んだConnect X-4との接続は、10GBASE-Tで普通に繋がる
    • 何かの拍子に、リンクDOWN/UPイベントが発生し、QSW-M1208-8CのリンクLEDが緑点灯から赤点灯(マニュアルに記述無し)状態に変わる
      • 赤点灯状態でも10GBASE-Tの通信に問題は出ない(10Gbit/secのリンクレートは出ている)
      • 赤点灯状態だとQSW-M1208-8Cの管理画面「概要」->「システム情報」が更新出来ない(新規に開く・更新ボタンを押した際に読み込んでいます...のままになる障害が発生する
        • 長時間経過すると表示更新されるが、「ファン回転数」の項目が消失したり、「MACアドレス」の項目がeeprom_read_errorになったりする
        • QSW-M1208-8C側のSFP+トランシーバを抜き差しすると回復する(リンクLERが緑点灯に戻り、管理画面が正常化する)
          • Cat.6Aケーブルの抜き差しは効果無し
          • SFP+トランシーバが複数刺さっているケースで、ケーブルを刺していないトランシーバの抜き差しで回復する事例有り
      • 状況的には、QSW-M1208-8Cのファームが何がしかのSFP+トランシーバのステータスを読んでいて、そこで問題が起こっているように見える
      • 10GBASE-CRと同様に瞬間的なリンクDOWN/UP後にも通信自体は正常に行え、VLAN設定等の管理機能は使えるが、「システム情報」だけが機能不全になる(この点が、10GBASE-CRと挙動が異なる)
      • 当該モードの不具合の発生頻度が、SFP+トランシーバの個体毎に異なるように見える
        • 一部の個体では1~2時間以内に発生しているが、12時間以上問題が発生しないトランシーバがある
          • 比較的安定な10GBASE-Tトランシーバと1000BASE-Tスイッチの接続(1Gリンク)は、24時間以上の連続稼働実績がある

排熱

  • 本体左側の排気口(40mmファン 2連)から熱い空気がぬるぬる出てくる
  • ファン回転数は、無負荷で 1500rpm程度、10GBASE-Tトランシーバを刺してゆくと回転数が上がってゆく、手元で確認した最高回転数は 2000rpm
    • 2000rpmまで回ってもファンノイズは小さい
  • 本体左側の天板及び底板がとにかく熱い、本体右側(吸気側)はそれほどでも無い
    • 排気速度が足らずに、排気口周辺に熱だまりが出来ている模様

このままだと、長期稼働や夏場の不在時(空調停止時)が心配なので、吸排気の改修が必要ぽぃ

まとめ

  • 排熱回りは要対策(吸排気ファンの増強・風路板導入を検討すべき)
  • 10GBASE-T x8 + 10GBASE-CR x4で運用するのが正解っぽぃ
    • 10GBASE-Tトランシーバは使えるけど、管理画面の一部に障害が出るので要検討
    • 光トランシーバは機材が無いので未検証
    • 10GBASE-CRでも瞬間的なリンクDOWN/UPが記録されるので、ファームの修正に期待…

総評 - 製品品質に届いて無い気がする…

  • 最近出てきている安価な10GBASE-T8ポートスイッチの類はどこの製品(TP-LinkとかBuffaloとか)も排熱に問題を抱えているらしいので、排熱に関しては2連ファンつけてるあたりは及第点だが、回転数制御はもっと積極的に回すべき
  • コンボポートのSFP+が不安定過ぎて、存在意義が分からない…

カテゴリー: Admin | Emacs | EPICS | Fortran | FreeBSD | GCC | hgsubversion | IPv6 | KEKB | LHC | Lisp | LLVM | MADX | Ryzen | SAD | samba | tDiary | unix | WWW | YaSAI | お仕事 | イベント | 出張 | 宴会 | 数学 | 艦これ | 買いもの | 追記 | 雑記