Orz日記 by Akio Morita

_ [FreeBSD][雑記]nfe driver

1000BASE-TでのスループットをnetioでTCPでの通信速度を測定してみると、 色々興味深いことが分かった。

割り込みモードだと、Txは112MB/sまで伸びるが、Rxは25MB/s辺りで頭打ち。 また、性能はパケットサイズにあまり依存しない。

ポーリングモードだと、Txは90〜112MB/s、Rxは12〜92MB/s辺りで、 パケットサイズに依存する。(2kB以下のパケットサイズではRxは割り込みモー ドの半分程度しか性能が出ない)

であるのだが、ipfwをくぐらせるとTxスループットが4分の1程度まで落ちてしまう。 また、TCP Segmentation Offloading(tso)がONだとRx性能がかなり下がる。 逆にTCP Segmentation Offloading(tso)がOFFだとRxスループットが 伸びるのだが、Tx/Rxスループットともに値が安定しない。

チップの特性的には、Rxバッファが少ないか受信割り込み回りの性能が 低めのようである。

ipfwと組み合わせた際の謎の挙動は、NICとipfwの処理速度と TCPのバッファリングや輻輳制御と干渉が起こっているのであろうか？

_ [FreeBSD][雑記]TCP Segmentation Offloading(tso)怪しさ爆発

nfeからStore Forward Switch経由で 100BASE-TXのホストに繋いで TCPスループットを測定した場合

TCP Segmentation Offloading(tso)の無いとき
NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  11399 KByte/s Tx,  11468 KByte/s Rx.
Packet size  2k bytes:  11505 KByte/s Tx,  11233 KByte/s Rx.
Packet size  4k bytes:  10894 KByte/s Tx,  11468 KByte/s Rx.
Packet size  8k bytes:  11510 KByte/s Tx,  11281 KByte/s Rx.
Packet size 16k bytes:  11454 KByte/s Tx,  11280 KByte/s Rx.
Packet size 32k bytes:  11508 KByte/s Tx,  11100 KByte/s Rx.
Done.

TCP Segmentation Offloading(tso)の有るとき
NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  20836 Byte/s Tx,  1777 KByte/s Rx.
Packet size  2k bytes:  24393 Byte/s Tx,  1630 KByte/s Rx.
Packet size  4k bytes:  24229 Byte/s Tx,  1625 KByte/s Rx.
Packet size  8k bytes:  20908 Byte/s Tx,  1626 KByte/s Rx.
Packet size 16k bytes:  16584 Byte/s Tx,  1623 KByte/s Rx.
Packet size 32k bytes:  16579 Byte/s Tx,  1639 KByte/s Rx.
Done.

Rxスループットが致命的低い＆何やら、20MB/sという不思議な数字が... 少なくとも、nfeのTCP Segmentation Offloading(tso)の実装は かなり怪しいようで...

_ [Admin]本日のMomentus 5400.3

ad6: WARNING - SETFEATURES SET TRANSFER MODE taskqueue timeout - completing request directly
ad6: timeout waiting to issue command
ad6: error issuing SETFEATURES SET TRANSFER MODE command
ad6: timeout waiting to issue command
ad6: error issuing SETFEATURES ENABLE RCACHE command
ad6: timeout waiting to issue command
ad6: error issuing SETFEATURES ENABLE WCACHE command
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=104068639

_ [FreeBSD]SA-09:05

話題のtelnetd 0-dayのパッチだが、environから許された環境変数以外 (例えばLD_PRELOAD)を取り除くと言う意味では、元のコードでも 問題ないはずで、何故mallocした上でstrdupしているのか 疑問だったのだが...src/lib/libc/stdlib/getenv.cを読んで納得。

ポイントは__merge_environでenvironから構造体型の キャッシュを作っており、setenvやgetenvはそちら側を参照している。 setenvの最後で、__rebuild_environしてenvironを 再生成してしまうので、scrub_envした後に/bin/loginを execvする前に行うsetenv,unsetenvでenvironが巻き戻る という筋書きになっている。従って、本質はenviron配列を複製して __merge_environに変更を通知する部分が肝である。

この辺の、環境変数回りの管理コードの変更は歴史的には比較的最近導入された はずで、昔のlibcだとenvironの現物を直接参照＆操作していたので 問題は出なかったはず。

今回の問題の本質は、歴史的にenvironへの直接操作が許されるのに それを想定していないsetenv,getenv系APIの実装に問題が 有るような気がする。

environ回りのAPIに、定義済み環境変数を辿るイテレータAPIが無いのも 原因なんですが...(イテレータで辿って、不要な変数をunsetenvする)