クリティカルな本番障害に遭遇した。障害の原因はフロントのバグ。同じ内容の致命的なエラーが、一日に複数件発生してしまった。約2日間、トレースして再現させて手を入れるなどしたが、まだ解決していない。
インパクトの割には比較的発生度の高い障害で、出会った時は冷や汗をかいた。
これは、リリース当初から抱えていたバグで、今回障害として問題にあがる以前から、実は過去に数件発生したことがあったようなのだが、最近該当箇所周りのUI/UXが改善されたことにより、ユーザーがそのバグにつながってしまう複雑な操作をするようになったことで、日常的なレベルに顕在化してしまったようだ。
誤決済など、一大事にはいたらせないように、サーバーサイドでバリデーションエラーを吐くように入れるなどして一息つくものの、このバリデーションによるエラーはユーザーからみて、明らかに理不尽であり、かつ、かなりの違和感と不便さを感じるものでもあるので、これが直接的な売上の減少はもちろん、生涯的なユーザーの離脱の原因にも繋がるだろう痛いバグである。だから、焦っている、腰が痛い。
原因の全てを把握して手を入れるには、あまりに複雑に思えたので、「この通り動く限りバグは起きない」とあたりをつけて、修正を入れてみて動作確認をしたところ、バグの発生率が100%となった。流石の三十路中堅エンジニアだ。
まあ冗談でなく、かなり前進だ。これが今日の進捗である。明日も頑張る。
