Kuronowish.com  Free Webhosting Service


ホーム > ISSUE_20141118_SERVICEFAIL

2014年10月11日より発生した障害に関してのご報告

利用者様各位

いつも当サービスをご利用頂きありがとうございます。
この度は約2週間に渡る障害によるサービス停止で大変ご迷惑をおかけしました。
また、2013年9月頃より1年以上に渡り、当サーバへの接続が遅い状態(場合によっては接続出来ない状態)が続いておりました。
その状況下でも長期に渡り適切な対応が出来ず、結果として多くの皆様にご迷惑をおかけし、信頼を裏切る結果となってしまったことをお詫びいたします。
今回状況を改善し、サービスを安定して提供出来るようになったことをご報告すると共に、
現在までの状況、今までの対応、今後に関してご説明させていただきます。

まず、現在までの状況とサービス再開・チューニング完了までの対応を時系列順に記載します。

-- サービスに接続しづらい状態 --
2013年
- 9月はじめ頃 サーバ過負荷によるサービスに接続しづらい状況が発生。当時はルータ、サーバ機の処理能力超過と判断。
- 12月末 サーバリプレース対応予定だったが、スケジュール都合により対応出来ず。
2014年
- 10月頃まで 管理者都合により長期間に渡りサポート対応が滞る。セキュリティ対策など最小限の対応のみショットで実施。
-- サービス停止 --
- 10月11日 午前 台風19号の影響でサーバ設置場所停電。サービス停止
- 10月11日 夜間 電源復旧。自動での電源ONが働かなかったため、当日中のサービス復旧は出来ず。
- 10月13日 夜間 サーバに電源を供給しているコンセント付近が漏電し、ブレーカーが落ちてると判明。
- 10月14日 夜間 電源取得場所を変更。再度電源投入を試みるもサーバ起動せず。
- 10月15日 夜間 電源ユニット交換をするもサーバ起動出来ず。マザーボード故障の可能性。
- 10月16日 夜間 現地での修理対応は不可能と判断。サーバ機移設のため輸送開始。
- 10月24日 夜間 サーバ機到着。修理を試みるも起動しないため、HDDを新サーバ機に移植。復旧作業開始。
-- サービス再開(まだ重い状態) --
- 10月25日 20時頃 修理完了。新サーバにてサービス再稼働開始。
- 10月27日 未明 大量のリクエストを捌ききれず、接続しづらい状況に。原因調査
- 10月26日 夕方 HDD老朽化(以前のサーバで利用していたHDDをそのまま使い回していたため)に伴うHDD交換作業開始。サービスは継続。
- 10月29日 未明 HDD交換作業完了。作業影響で一時的に重い状態、HDD物理交換時の再起動があったものの、長時間のサービス断は無し。
- 10月29日 15時頃 時間帯によっては重い状態が続く。原因は主に海外からの掲示板スクリプトに対する大量アクセスと判明。対応開始。
- 10月30日 未明 Webサーバプログラムの設定を見直すも根本解決にはならず。
-- だいぶ応答が良くなった --
- 10月30日 8時頃 掲示板への書き込み(POST)が一定時間内に閾値を超える回数行われた場合、接続を遮断する設定を試験投入。(主に163data.com.cn向け)
- 10月30日 未明 サーバHDDのログ記憶領域が少なくなって来たため、領域拡張作業を開始。終了まで重い状態となる。
- 11月01日 未明 領域拡張作業完了。ディスク合計容量がユーザ領域を含め3TBになる。
-- かなり快適に閲覧できるようになった --
- 11月05日 3時頃 当サーバへの全リクエストに対して閾値を超えるPOSTリクエストがあった場合に遮断する設定を投入。効果覿面。遮断されてるアクセスはほぼ中国から。
- 11月07日 2時頃 セキュリティ対策のためSSLv3によるアクセスを拒否するよう設定変更(古い携帯電話などからのhttpsアクセスが今後不可能になる)
- 11月08日 2時半頃 セキュリティ対策のため、SSL証明書をSHA-2アルゴリズムを用いたものに変更。
- 11月11日 4時頃 原因不明の障害のため、サーバがフリーズ。
-- サービス再開。ファイアウォールが作動するまで数時間程度は重い状態に。
- 11月11日 9時頃 再起動によりサービス再開
- 11月12日 14時半頃 設定ミスによりサービス停止。
- 11月12日 15時半頃 誤った設定を修正してサービス再開。
- 11月12日 16時頃 spam的アクセスに対する遮断ポリシーを変更。

11月18日13時現在、ほぼ安定してサービスを提供中です。
今後も状況を見ながら随時チューニングを施していく予定です。

現在に至るまで1年以上も接続しづらい状況になっていた理由としまして、
2012年ごろより当方の生活環境が変わり、サーバ機設置場所に年に数回程度しか行けない状況でした。
基本的に遠隔操作での対応となった結果、大規模な機器の置き換えやリスクの高い設定変更などの作業が難しく、作業が順延を繰り返しておりました。
それに加えて当方の現在の本業が多忙になってきたのも加わってしまい十分なサポートやサーバの維持作業が出来ない状態でした。
そのため、最小限の保守作業(サーバのセキュリティアップデートなど)のみの現状維持という段階で現在まで運用を続けている状況でした。
今回10月11日に発生したの停電の影響でサーバが完全に起動出来なくなった際に遠隔の対応では不可能となったため、
一時はそのまま閉鎖も考えましたが、突然のサービス廃止に伴う利用者への影響も考慮しサーバ機の移動及びシステムの総入れ替えを実施しました。
ただ、長期に渡り現状すらお伝え出来ていなかったのは私の怠慢であり、厳粛に受け止めさせていただきます。
管理者自身の都合もありましたが、長期に渡りご説明・ご対応が出来ず、結果としてユーザの皆様からの信頼を失う結果となってしまいました。
管理者としての意識が足りなかったと猛省しております。

今回手元にサーバを移設したことでサーバ機の物理メンテナンスやリスクの大きい設定変更も行えるようになりました。
サーバ開設時の2003年とはSNSやWebサービスも充実するなど情勢も変わっており、
もはや個人で運用しているホスティングサーバなどは需要も薄いのかと思っておりますが、
個人運営や技術検証サーバも兼ねているこのサービスのメリットとして柔軟な対応で差別化を図りつつ、
ご利用いただける方が居る限りサービスを継続していけるよう努力して参ります。

現在サーバの状況や障害情報をお伝えする媒体が複数有り、どの様になっているのか分かりづらいという声も伺っております。
告知媒体に関しましては現在の利用状況をみつつ、わかりやすいように整理していく予定です。

新規でのユーザ登録も長期に渡り停止しておりますが、既存ユーザ(アカウント)の中で休眠アカウントに対する対応を行った後
新規募集再開も検討しております。対応に関しては決まり次第ご連絡させて頂きます。

この度は長期に渡る障害、サポートの停滞で利用者の皆様には大変ご迷惑をおかけしました。
皆様によりよいサービスを提供していけるよう努力して参ります。
ご意見やご要望などがありましたらメールやツイッターなどからでも結構ですのでお気軽にご連絡いただければと思います。
今後ともよろしくお願いします。

Kuronowish.com 管理者

リンク・ピックアップ

Twitter(ID:kuronowish)
Follow me
icat
このリンク先からお買い物をすると購入金額の一部がKuronowishに還元されます。
ホーム > ISSUE_20141118_SERVICEFAIL