はい！電算室です

「すいません、遅くなりまして。」

消え入るような声で入ってきた。
青白く不健康そうな顔だ。

VMware ESXiが固まり仮想サーバーの応答がなくなった。ESXiへのシャットダウン命令もきかず、強制的に電源を長惜ししてOFFしたことを伝えた。

「とりあえずログとらせてくださいね。」

担当者は手際よくログを取得し、USBに入れていった。

[3回]

夜遅く、担当者からメールが来た。
内容はこうだ

「ログを確認しましたところ、iSCSIストレージとの接続障害が１時ころから発生していました。
iSCSIストレージ装置への接続に以上が発生したために、多くの仮想マシンで電源制御できないことや、ゲストOSとして動作が継続できない事象が発生しました。
仮想マシンに正常にアクセスできていない状態のため、ホストの再起動も正常に行えなかったことになります。

さて、原因としてNICドライバの不具合事例に該当していたと推定しております。
vmwareのナレッジベースに該当となる事例が報告されております。
http://kb.vmware.com/kb/2035701

iSCSIに接続に利用されているvmnic3などで下記のログが記録されています。
このログはネットワークトラフィックが多くなった場合などで頻繁に記録されやすくなり、ついにはトラフィックが停止してしまうという事例となります。

対処方法はナレッジベースの下記のコマンドを実行して、NetQueue機能を無効にして、ホストを再起動してください。

# esxcli system settings kerner set -s netNetqueueEnabled -v FALSE
# reboot

以上よろしくお願いします。」

ここまで読んで頭をかかえた。
だから、ESXへのログイン知らないんだって・・・・。

電話をしようとした矢先、メールが届いた

「先ほどは失礼いたしました。vSphere Clientから設定する方法を添付いたします。
該当のESXホストを選択し、[構成]を選んでいただいて、[ソフトウェア]の[詳細設定]を選択、[VMkernel]内の[Boot]を選び、[VMKernel.Boot.ntNetqueueEnabled]のチェックを外した上で、ホストを再起動してください。

よろしくお願いいします。」

とりあえず当日中に対応できそうだ。
まず、不具合のあったESXホストに設定し、再起動。次に、全ての仮想サーバーを移して、もう一台のESXホストに設定して再起動し、仮想サーバーを元のとおりに配置した。
Vモーションのおかげで仮想サーバーを落とさずにできた。

ふぅ。
長い一日だった。
これでしばらく様子を見ることにしよう。


後日、障害報告書を役員に提出した。
もちろん、言葉はわかりやすくしたつもりだったが

「いやぁ、ぜんぜんわからん。とにかく直ったんだね。」


サーバーへの対応より、役員への対応のほうが苦手だ。