Orz日記 by Akio Morita

_ [雑記]Mellanox Connect X-4 Lx EN 25Gb購入

鯖の10GBASE-CR(10G SFP+ DA)接続向けに最近再入荷したOLIPSPECで調達

ものは、MCX4121A-ACATで 1/10/25GbE対応の SFP28 dual portのカード

10G SFP+ DAで使うだけなら、Intel X520-DAとか XXV710-DAとかも候補だが、 ノーブランド品が最近安価なX520だとバスがPCIe Gen2 x8なので Gen3 x4で使った際の帯域が気になるのと、Intel NICはSFPにベンダロックがあるとも聴くので、ベンダロック無しのMellanoxを選択(Connext X-4とXXV710だとどちらも25GbE SFP28で小売流通価格もほぼ同じ)

ネット通販系だと既に製造終了なConnect X-3 ENの流通在庫を見かけるが 10GbEまでな上に、新品だとConnext X-4 Lx ENと値段が変わらない罠

Connect X-3や X-2(PCIe Gen2 x8)の中古品は、ヤフオク等で見かけるが出所とコンディションが怪しい割に、新品と大差ない値付けになっているものが多い(不良在庫の新古品の放出だとしても、半値以下でも無ければサポートが付く代理店経由の品が欲しい)

FreeBSD 13.1-STABLEだとdevd->devmatchのコンボで、mlx5_coreドライバの読み込みまでは自動化されていて、挿すだけで認識してくれる

実際に、Ethernetを使うには/etc/rc.confのkld_loadにmlx5enを追加しておけば、network interface mce#が生えてくる

通信自体は普通に動くし、TCPであっさり10Gbit/sec出るあたりは流石…

NETIO - Network Throughput Benchmark, Version 1.33
(C) 1997-2012 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  746.27 MByte/s Tx,  499.45 MByte/s Rx.
Packet size  2k bytes:  1.086 GByte/s Tx,  863.71 MByte/s Rx.
Packet size  4k bytes:  1.112 GByte/s Tx,  1.113 GByte/s Rx.
Packet size  8k bytes:  1.128 GByte/s Tx,  1.133 GByte/s Rx.
Packet size 16k bytes:  1.127 GByte/s Tx,  1.132 GByte/s Rx.
Packet size 32k bytes:  1.136 GByte/s Tx,  1.125 GByte/s Rx.
Done.

接続経路はMTU 9000な通信路で、MCX4121A-ACAT - 10G SFP+ DA - p28/SFP+ Netgear S3300-28X p26/RJ45 - Cat.6A - X550-T2

MTU1500だと、安定に性能が出ないようで、Connect X-4側のTxもしくは X550-T2側のRxで詰まっているのかなぁ…

NETIO - Network Throughput Benchmark, Version 1.33
(C) 1997-2012 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  537.65 MByte/s Tx,  490.80 MByte/s Rx.
Packet size  2k bytes:  568.66 MByte/s Tx,  848.37 MByte/s Rx.
Packet size  4k bytes:  601.07 MByte/s Tx,  930.48 MByte/s Rx.
Packet size  8k bytes:  603.51 MByte/s Tx,  936.73 MByte/s Rx.
Packet size 16k bytes:  425.26 MByte/s Tx,  784.93 MByte/s Rx.
Packet size 32k bytes:  338.73 MByte/s Tx,  904.71 MByte/s Rx.
Done.