Orz日記 by Akio Morita

_ [雑記]家のコアスイッチが落ちた落ちたぽぃ

今朝、7時過ぎにお家ネットワークの基幹鯖のLANが変なリンクダウンして、13分後に復帰した

Dec 27 07:10:04 aeka kernel: ix0: TX(0) desc avail = 34, pidx = 1785
Dec 27 07:10:04 aeka kernel: ix0: link state changed to DOWN
Dec 27 07:10:04 aeka kernel: ix0.2: link state changed to DOWN
Dec 27 07:10:05 aeka kernel: ix0: link state changed to UP
Dec 27 07:10:05 aeka kernel: ix0.2: link state changed to UP
Dec 27 07:10:05 aeka kernel: ix0: link state changed to DOWN
Dec 27 07:10:05 aeka kernel: ix0.2: link state changed to DOWN
Dec 27 07:10:11 aeka kernel: ix0: link state changed to UP
Dec 27 07:10:11 aeka kernel: ix0.2: link state changed to UP
Dec 27 07:18:28 aeka su[97256]: amorita to root on /dev/pts/5
Dec 27 07:23:11 aeka kernel: ix0: link state changed to DOWN
Dec 27 07:23:11 aeka kernel: ix0.2: link state changed to DOWN
Dec 27 07:23:11 aeka kernel: ix0: link state changed to UP
Dec 27 07:23:11 aeka kernel: ix0: link state changed to DOWN
Dec 27 07:23:11 aeka kernel: ix0.2: link state changed to DOWN
Dec 27 07:23:12 aeka kernel: nd6_dad_timer: cancel DAD on ix0.2 because of ND6_IFF_IFDISABLED.
Dec 27 07:23:17 aeka kernel: ix0: link state changed to UP
Dec 27 07:23:17 aeka kernel: ix0.2: link state changed to UP

以後、LAN側で通信不能になっているっぽぃ

トラブルシュートの過程

1. /etc/rc.d/netif restartとDHCP鯖の再起動してもLAN側の機器と疎通確認出来ない
2. メイン鯖(DHCP鯖兼ルータ)をshutdownして、cold restartしてもLAN側の機器と疎通確認出来ない
   • wiresharkで覗くと、DHCP Requestは鯖に届いているようだが、他の通信が成立しないっぽぃ
3. LANのコアスイッチ(S3300-28X)のcold restartで、LAN側の通信復帰

どうやら、コアスイッチがハングアップしていたっぽぃ

今回の教訓

• インターフェースがリンクアップ状態でも、スイッチファブリックが機能喪失するハングアップがある
• コアスイッチのハングアップ時に鯖からリブートする手段が無い
  • PDCはUPS系外にある(コアスイッチはUPS系)
  • PDCへのネットワーク経路がTagged VLANでコアスイッチを通過する