お客様のサーバで、SSIをふんだんに使いまくっているページがあるのですが、一日に何度も、途中でコンテンツが切れる現象が発生していました。初め、全く原因がわからなかったのですが、SSIが走った瞬間にApacheの子プロセスがSegmentaion Fault(11)で落ちていることがわかりました。色々と格闘したところ、apacheの設定のEnableMMAP offで回避できました。こんなオプションがあったんですね。不勉強でした。(^^;
RapidSSLのWildカード証明書を使っていたサイトで有効期限が切れたので、いつものように更新作業を行ったのですが、なぜかIE,Safari,Chromeは問題なかったのですが、FireFoxだけsec_error_unknown_issuer rapidsslで証明書がエラーになってしまいました。よくよく調べてみると、去年からシングルルート証明書ではなくなっていた事に気づきました。
- wget https://knowledge.rapidssl.com/library/VERISIGN/ALL_OTHER/RapidSSL%20Intermediate/RapidSSL_CA_bundle.pem
- ssl.confに SSLCACertificateFile /etc/httpd/conf/keys/RapidSSL_CA_bundle.pem を追加
ここのところサーバ工事やネットワーク工事で「負け」が続いています。でもこの負けの蓄積こそがIT職人の重要な財産だと思っています。以下は、ここ最近の負け実績です。(^^ゞ
■fsckが途中で10分間停止
客先でlinuxサーバを再起動したところ、180日を経過していた(tune2fsでoffにしていなかった）ので起動時にfsckが走りました。このfsckが29.8%のところでピタっと止まってしまいました。
左脇の「／」がくるくる回るアニメーションも停止したままです。サーバのdisk i/oのランプはつきっぱなしでした。10分まっても状況が変わらず予定作業時間をオーバーしてしまったので、リセット＆fastbootでfsckスキップでサービス再開せざるおえませんでした。ただ、/var/log/messageにもEXT3 Error等は待ったく出ません。
後日、スタンバイサーバへの切替を行い、落ち着いてfsckをかけたところ、やはり同じ29.8%でピタッと止まったのですが、待つこと15分。正常に動き出しました。ちなみにbadblocksでも何も出ませんでした。
教訓：「fsckのアニメーションが10分ぐらい止まってもdisk i/oがあるうちは信じて待つべし」
■日曜日にサーバが過負荷になる
毎週、日曜日、処理が微妙に遅延するという連絡がありました。調査すると確かにロードアベレージが高い。よくよく見ると99-raidなるプロセスがcron.weeklyで起動されていました。
これは、software RAIDのチェックプログラムで、昔は無く、CentOS5の途中からmdadmのパッケージ内で供給されるようになったようです。
このサーバは、2TBのハードディスクをSoftware RAID1していたため、チェックプログラムが半日近く走っていました。ただ、実際には0.1TBぐらいしか使っていないのが現状でした。
教訓：「ハードディスクが大容量になったとは言え、使いもしない容量のパーティションは切らないほうが良い。」
■apacheのリバースプロキシのリクエストが切れる
apacheのリバースプロキシを運用しているサーバで、「時々真っ白の画面になる」との連絡。apacheのログにはエラー無し。tcpdumpをすると、apacheまでパケットは来ているのに、裏の実サーバには届かない。結局原因は、リバースプロキシの設定を外部のシステムから制御できる仕組みがありこの仕組みで/etc/init.d/httpd reloadを使っていた。よくよく調査すると、apachectlのreloadは、セッションは保持されるが、/etc/init.d/httpd のreloadはセッションは保持されないrestartと同じである事が判明しました。
教訓：「/etc/init.d/httpd reload は使ってはいけない」
■SSDなのに異常に遅い
近年、SSDの恩恵に預かることが非常に多くなったのですが、あるときSSDに換装すると逆に遅くなる現象に出くわしました。ベンチマークを取ると数MB/sぐらいしか出ない始末。認識もなぜか /dev/hda1。対策としては、grub.conf のkernelパラメータにhda=noprobe hda=noneで、/dev/sda1として認識されるようになり、ベンチマークも100MB/sを超えるようになりました。
■vistaとwindows7だけインターネットに出れない
あるお客さんの環境で、ある日突然、vistaとwindows7だけがインターネットに出れない現象が発生しました。そのフロアには、Mac,XP,Vista,Windows7と4種類のOSがあったのですが、MacとXPだけは全く問題がありせんでした。wiresharkを使ってパケットを解析すると、ルータまでpingのICMPのパケットは来るのですが、ルータがなぜか応答パケットを返せない始末。結局は、BuffaloのDWR-PGがクレードル経由でネットワーク上に接続されていたのが原因でした。DWR-PGはクレードルでLANに接続するとルータとして機能するようになり、この時のIPが既存のルータとぶつかっていたようです。通常同じネットワーク内であれば、pingを打つとIPがぶつかっている場合は、duplicateとワーニングが出るはずなのですが、この時は、HUBのせいかこのワーニングが出なかったため、気づくことが出来ませんでした。
教訓：「pingの応答パケット来ているのにackがない場合はルーティングだけでなく同一IPの機器がネットワーク上にいないが調べるべし」
IT系の仕事にむいているかどうかは、トラブル解決を楽しめる性格（≒マゾ?）かどうかだと思っています。自分は比較的むいているほうだと思うのですが、さすがにこれだけ続くと・・・くたびれました。(^^ゞ