Orz日記 by Akio Morita

_ [雑記]kblogrdベンチマーク

前にごそごそチューニングした KEKBLog読み出しツール kblogrdの ベンチマークを現代的なStrage上で取ってみた 手持ちの SSD3台(MX100 x2, M5Pro x1)を投入して ZFSを構成し 複製したデータを舐めとるベンチマークを実施

環境は、PhenomII 1090T(3.2GHz 6C/6T) + 16GB + 890FX/SB850

• Thread当たりの Peak I/Oバンド幅 336MB/sec
• Systemの Peak I/Oバンド幅 1090MB/sec
• RF/AnalogData一年分の最短処理時間 111秒 @ 2009年度

Kernel内での転送レートは、400MB/secを越えているので、 3台でピークバンド幅が 1090MB/secまでしか伸びていない ことから

• ZFSの処理負荷に対して CPUパワーが不足している
• Kernelと User空間のコンテキストスイッチ・コピーバンド幅が飽和している
• SB850からのバスバンド幅が飽和している

等の理由が疑われる

現時点ではっきりしている性能上のボトルネックは、以下の通り

• Thread当たりの実効 I/Oバンド幅は、kblogrdのメインループの命令バンド幅もしくはメモリバンド幅で制限を受けている
  • lz4圧縮時の実効 I/Oバンド幅と 無圧縮時の I/Oバンド幅の限界がほぼ同じである
  • 複数Threadでは、合計 I/Oバンド幅は伸びる(メモリコントローラのバンド幅では無い)
• I/Oバンド幅とCPUパワーが不足しない状況では、lz4圧縮によって実時間で 10%程度のオーバーヘッドがある
  • I/Oバンド幅が飽和するまで並列度をあげた場合、無圧縮に対して 50%程度のCPUパワーオーバーヘッドが必要
    • cMLCを採用する場合、I/Oバンド単価はThread単価に対してかなり安いため、最大並列度に見合うだけの I/Oバンド幅まで増設するのが良い