Orz日記 by Akio Morita

_ [雑記]NTP offsetジッターの件

とりあえず、現状までに分かったことを纏める

• Ryzen 9 9950X/B650M PG Riptide Wifi環境で、同一ネットワーク内のGPS付きNTP serverとのNTP offsetが不定期に300msecほどずれる
  • 2024/09/14頃から発症し、現在も続いている

• 使用マザーASRock B650M PG Riptide WiFiのFirmwareリリース日

• 同一ネットワーク内ノードまとめ
  • A - Ryzen 9 9950X機 (問題のノード)
    • インターネットGatewayとして運用している
      • 2024/08/30頃にRyzen 9 7950Xから9950Xに換装している
    • (B)への経路は、LAN内の10G core switch経由 (Connext-X6 -DAC-> Switch -CAT.6A-> (B))
    • nict.go.jpへの経路は、インターネットプロバイダ経由 (RTL8125(100BASE-TX) -Cat.6A-> ONU)
    • nict.go.jpと(B)および予備のGPSレシーバでNTPを構成すると、nict.go.jp・GPSを基準に、(B)のoffsetが不定期に+300msec飛んで見える
      • (B)のoffsetは±0付近と+300msec付近に二値化しているように見える
    • sysutils/clockspeedに含まれるsntpclockで、(A)の時計を基準に(B)のNTP時刻を観測すると、24時間以上連続で±1msec内のoffsetで安定している (1秒周期の観測)

• • B - GPS NTP server
    • GPS 1PPSとnict.go.jpに同期しているNTP server
    • (A)への経路は、LAN内の10G core switch経由 (I-225V -Cat.6A-> Switch -DAC-> (A))
    • 外部ネットワーク接続自体は、(A)をgatewayにしている
    • nict.go.jpとGPS 1PPSは±1msecで同期しており、offsetの日格差も小さい

• • C - Ryzen 9 7950X機 (テストノード)
    • (A)と同型のマザーボードを搭載した試験機
    • (A),(B)への経路は、LAN内の10G core switch経由 (RTL8125(2.5GBASE-T) -> Switch -> (A) or (B))
    • nict.go.jpへの経路は、(A)をgatewayにしている
    • nict.go.jpと(B)でNTPを構成すると、nict.go.jpと(B)へのoffsetは追従している
      • (A)のようなoffsetの不定期な飛びは見られない (連続的な変動は、7950X機側のクロックドリフトの模様)

• 調査まとめ
  • (A)のConnect-X6インターフェースの遅延ばらつきとは考えにくい
    • (A)以外のnict.go.jpの通信で影響が出るはず
    • sntpclockによる(A)-(B)間の観測結果と一致しない
  • (A)にて(B)のNTP offset変動時に、(A)および(B)ではGPS offsetの変動が観測されていない
    • (A)および(B)のローカルクロックは問題なく同期している (先のsntpclockの観測事実と整合する)
  • 観測されるoffsetの飛びの幅と符号が一定である (約 +300msec)
  • (A)と(B)のNTP clientとしての違いは、マザーボード・メモリ等に欠陥が無ければ、CPUモデル・使用NICとGatewayであるか否か (OSは同一)

現状の調査状況からは、ntpdのソフトウェアのバグもしくは、NTPDがやりとりするNTPパケット(UDP port 123→port 123)の混線((A)がNAPTな外部Gatewayなのでパケットがあつまる)あたりしか原因が思いつかん Orz

時間が取れたら、RTX830を本番投入してGateway機能を分離してみよう…NTPパケットの混線ならこれで治るはず