プロジェクトオーガナイザの吉田聖書です。
6月24日に、東日本旅客鉄道（JR東日本）の大規模なシステム障害が発生しまして、「モバイルSuica」や「えきねっと」などのサービスが一時使えなくなりました。これを受けてJR東日本は6月26日にニュースリリースを出しまして、今回の障害の原因と対策を公表しました。
システム不具合による影響及び原因と対策について（2023/6/26 東日本旅客鉄道）
私は24日の朝のニュースで知ったんですけれども、復旧までかなりの時間がかかったようです。土曜日ということで影響の大きさは平日よりはましなのかもしれませんが、土曜日に利用を予定していた人にとってはとんだハプニングでした。事故の発生は24日の0時37分ということで、もしかしたら金曜日の帰宅に影響した人もいるかもしれませんね。
具体的にどのような影響があったかというと、まずはJR東日本のウェブサイトですね。コーポレートサイトです。それから、窓口や券売機、エキナカなどにおいてViewカードでの決済ができなくなったようです。あとはモバイルSuicaがチャージ済みのポイントでは決済出来たようですが、チャージしたりクレカ関連の操作が出来なくなったようです。そして、「えきねっと」でのチケット予約や変更などが出来なくなったということです。
事故の直接的な原因は、屋内の電源工事で計画と異なるブレーカーを切ったこと。これによってシステムのサーバーの電源が供給されなくなったということです。そんなシンプルな事故なのになぜ復旧まで時間がかかったのでしょうか。「電源を間違って切ってしまったのならすぐに入れればいいだけじゃないか」と思うかもしれませんが、そういう問題でもないんですね。
というのも、運悪く、夜間バッチ処理の真っ最中にいきなり電源がオフになったので、ハードウェアの故障とかデータの不整合が発生してしまったということです。これはシステム構築を経験したことのある人なら分かると思いますが、かなり痛いです。ハードウェアを交換したのかもしれませんし、少なくとも正常に動くことを確認する手間がかかったでしょう。
それから夜間バッチも途中だったので、その処理を再実行した上で、最終的にデータに問題が無いかということを確認していたために、システム復旧までに時間がかかってしまったようです。ちなみに、そこまでの確認が必要無いコーポレートサイトは、モバイルSuicaやえきねっとの約半分の時間で復旧しています。
※ この記事は、先日公開した以下の音声コンテンツを基に編集したものです。
では、事故の根本的な原因は何かということですが、なんと、工事の操作手順書に誤記があって、実際に操作すべきブレーカーではない別のブレーカーを指示していたようです。まあ、もしそうだったとしても、実際に操作する人が気付けばまだよかったのですが、そういうこともなく、結果的に間違ったブレーカーを切ってしまったということです。
これ、直接ではないんですが私は過去に似たような事故を経験していまして、関わっていたシステムで利用していた外部サービスが、誤った電源オフにより機能を停止して大問題になったことがあります。誤った装置の電源を切ったのはそのサービスとは全く関係の無いデータセンターのオペレーターですが、装置の特定が難しかったのか結果的に切ってはいけない装置の電源を切ってしまったようです。
こういうインフラ関連の工事って難しいですよね。ソフトウェアの世界だと実際の作業を行う前にテスト環境でリハーサルを行うことで、手順書の間違いに気付く可能性が高まるんですけれども、電気工事の場合はテスト環境なんてないでしょうから、間違いに気付くチャンスが少ないと思います。だとすると、出来ることとしたら、手順書を過信するのではなく、本当にこの操作を行って良いのかということを慎重に確認しながらやるしかないと思います。
このニュースリリースには、対策としてブレーカーに「取扱注意」と掲示することと、手順書のチェック体制の強化が書かれています。どれも決定的な対策ではないなと感じますが、電気工事の難しさを示しているということなのでしょう。せめて、実際の操作は行わないけれども、現場に立ち会ったうえでの手順書の読み合わせくらいは実施した方が良さそうですね。
関連記事
プロマネの右腕
プロジェクトマネジメントの支援を行っています。
新サービスの企画を任されたけど どう進めていいか悩んでいる担当者、
部下に新しい企画を任せたけど このままで大丈夫か不安な管理職の方、
以下のサイトをご参照ください。
https://www.crossidea.co.jp/services/right-hand-pmo.html
YouTubeにて動画配信中！
プロジェクトマネジメントのノウハウをYouTubeで配信しています。
ブログと併せてご活用ください。