逆境は偉大な教師である。ただし授業料が高すぎる。　突発的な難題に向き合う考え方　エンジニアが見ている視点のお話🎃

こんにちは黒パグです🐾

10月16日、22時06分。私はXにこう書いた。

は？待って？
またP1？

これ寝れないやつじゃん......

あー。終わった

ここから戦いは始まった。丸二日間、ほぼ不眠で対応して、解決した。

なお、私はいまLLMエンジニアである。インフラやSREの現場で障害対応をしていたのは以前の話で、担当を離れて何年も経つ。それでも重大障害が起きると、過去の経験を理由に呼ばれることがある。P1は、急いで対応を集めるほど重大な障害、くらいに読んでほしい。

昔の担当者を呼べば、経験を復旧に使える。私は専門技術を提供し、対価を受け取る。組織にも私にも、仕事を引き受ける理由がある。

ういんういん。

睡眠だけが負けた。

実際の原因や内部の対応手順は書かない。この記事の漫画は、この投稿を起点にしたフィクションだ。CWE-197、CWE-202という弱点分類を使う場面も、実際の障害とは関係のない創作として描いている。

偉人たちの逆境教室

逆境についての名言が好きだ。追い詰められたとき、あの短い言葉に助けられることがある。古い時代の誰かも、似たようなことを考えたのかと思うと、少し心強い。

今回は、好きな言葉を出典までたどってみた。名言集の一行から本の中へ戻ると、思っていた以上に登場人物たちが困っている。

最初はディズレーリ。

“There is no education like adversity.”

「逆境に勝る教育はない」。出典は小説『エンディミオン』第61章だ。シドニー・ウィルトンが、若い主人公の判断力や勤勉さを認め、幼いころの苦難にも触れながら言う。

そこで主人公は返す。「それが適切なときに終わってくれればね」。［資料1］

分かる。教育的価値の説明を聞きたい日もあるが、まず授業を終えてほしい日もある。1880年の小説の中に、すでに受講生側の意見があった。

ヘイズリットは、順境も教室へ連れてくる。

“Prosperity is a great teacher; adversity is a greater.”

「順境は偉大な教師だ。逆境はさらに偉大だ」。1826年の随筆「貴族の会話について」に出てくる。華やかな社交界の会話と、作家が自分の考えを掘り下げる仕事を比べる文章で、満たされていることが知的な探究を保証するわけではない、という批評の流れにある。［資料2］

障害対応でも、普段は別々に眺めていた情報が急につながることがある。何を調べればよいか分からなかった状態から、確かめるべき仮説が一つできる。あの瞬間に、経験を積んだ実感があるのは分かる。

シェイクスピアの『お気に召すまま』では、追放された公爵が、森での暮らしについて「Sweet are the uses of adversity」と語る。「逆境にも、甘美な効用がある」。冷たい風まで、自分たちに何かを教えるものとして受け止める場面だ。

ところが同じ場面を読むと、公爵たちが狩る鹿の苦しみも話題になる。森で暮らす側の学びの隣に、森で傷つく側の話がある。［資料3］

障害から得た知識を喜ぶときも、サービスを使えなかった人の時間は、私の経験値とは別に数えたい。復旧した技術者の達成感だけでは、その日の全員の話にならない。

ホラティウスに帰される「逆境は才能を引き出す」という言葉は、原典の場面がいい。

出典は『風刺詩』第二巻第八篇。豪華な宴会で、つり下げた幕が料理の上に落ちてくる。主人が打ちひしがれていると、客の一人が、宴の主人の才覚も将軍の才覚も逆境で露わになり、順境では隠れるものだ、と言う。［資料4］

人生訓として読む前に、まず料理が大変なことになっている。崇高な人生訓に見える言葉が、原典では宴会の障害対応に出てくる。古代ローマにも、段取りが崩れた席を何とかする人がいる。

ヘレン・ケラーの「人格は安楽と静寂の中では育たない」という言葉は、1936年12月11日の日記にある。試練や苦難を通して魂が強くなり、視野が明らかになり、志が励まされる、という一節だ。

この日の日記は、エドワード八世の退位について論じたあとに、その言葉へ進む。日記全体には、少し前に亡くした恩師アン・サリヴァンへの悲しみも書かれている。個別の一節の話題と、日記全体を貫く喪失の両方がある。［資料5］

一行だけなら、自分を励ます言葉として読める。本を開くと、その言葉を書いた人にも、考え込んでいた具体的な出来事があった。その距離が見えると、名言の声が少し変わって聞こえる。

ところで、授業料はいくらですか？

どれも、逆境の中で自分を保つためには頼もしい言葉だ。私も好きで、何度でも読みたい。

しかし、重大障害を組織の側から見ると、気になる欄がある。

授業料である。

今回、私が対応に使った丸二日間は、学びの比喩ではなく、実際に過ぎた時間だ。ほぼ眠れなかったという負荷も残る。ここで述べているのは対応に費やした期間で、サービスが丸二日間停止していたという意味ではない。

私への専門技術の対価は、私にとって収入になる。同じ支払いは、組織にとって復旧費用になる。仕事として両者の利害が合っていても、障害全体が得な出来事だったかは、その取引だけでは決まらない。

障害の費用を考えるときは、停止中の機会損失、問い合わせ対応、対応者を集めた時間、通常業務へのしわ寄せも勘定に入る。利用者に説明し、安心して使ってもらえる状態へ戻す仕事もある。

復旧時刻だけで記録を閉じると、その後に残る仕事が見えにくい。問い合わせが残れば誰かが答える。対応で予定が飛べば、別の仕事を組み直す。対応者が休む時間も要る。サービスが動き出した瞬間に、人間まで満充電になるわけではない。

障害対応の腕を褒めてもらうのは、ありがたい。それで帳消しになる疲労ばかりではない。睡眠を無料の予備資源として積んでおく運用には、黒パグとして異議を申し立てたい。

「勉強になりました」は、対応者の感想としては本当だと思う。それを、そのまま組織の収支報告に書くと、支出欄が抜ける。

名言集には、だいたい請求明細が付いていない。

逆境は才能を引き出す。だから何だ？

火事場で働く能力には価値がある。切迫した場面で情報を整理し、仮説を捨て、必要な人を集められる人がいると助かる。その人へきちんと対価を払うのも、筋が通っている。

復旧後に考えたいのは、その人が次回も同じ負担を引き受ける必要があるか、ということだ。同じ失敗の入口が開いたままなら、経験豊富な人を呼ぶ仕組みだけが、どんどんよくできてしまう。

私の電話番号を共有するところで、再発防止を完了しないでほしい。

SREのやり方で、この費用を小さくする余地はある。たとえば変更を一度に全員へ出さず、一部から段階的に広げる。利用者に近い指標で様子を見て、悪化したら拡大を止める。元へ戻す手段も、必要になってから探すのでは間に合わない。GoogleのSRE資料も、段階展開によって不具合の影響を限りながら情報を得る方法を説明している。［資料6］

漫画にある「全体は緑なのに、一か所だけ赤い」という架空の場面なら、全体平均とは別に、変更を受けた範囲の失敗率を見る設計が役に立つ。見つけた異常を誰へ知らせ、どこで展開を止めるかまで決めれば、赤い印が対応につながる。

復旧後のポストモーテム(振り返りノートみたいなものをみんなでつくる)では、影響と出来事、当時使えた判断材料を時系列で記録し、次の手当てを決める。人を責めるための反省文にすると、次に必要な情報まで書きにくくなる。Googleの資料でも、非難を避けた振り返りと、その後の行動が重視されている。［資料7］

そこで決まる項目は「監視を強化する」だけでは着手しにくい。どの症状を拾う指標を追加し、誰が通知を受けるのか。戻す手順のどこを、いつまでに直すのか。次の当番者が使える形になると、経験が個人の頭から外へ出る。

予防策にも作る時間と維持する手間がかかるから、手を付ける順番は選ぶ。何度も起きる失敗なのか。一度で広い範囲を巻き込むのか。早く見つければ影響を抑えられるのか。過去の障害の知識は、その判断に使える。演習で戻す手順を確かめれば、実際の利用者の時間を借りずに練習できる部分もある。

対策を入れたあと、次の検知や切り戻しが楽になったかを確かめるところまでが仕事だと思う。報告書ができたことと、次の人が助かることの間には、まだ実装がある。


殴られる前に教えてくれ

生物学者トマス・H・ハクスリーは、自然の教育をずいぶん手厳しく描いている。自然は先に説明せず、いきなり平手打ちをする。なぜ打たれたのかは、自分で考えなければならない。

だから、人間が行う教育は、その欠点を補うものだという。打たれるまで待たず、先に兆候を理解できるようにする。1868年の講演で、そこまで話している。［資料8］

この教室、ようやく予習を認めてくれた。

Adversity is a great teacher. Prevention is usually cheaper.

逆境は偉大な教師だ。予防したほうが、たいてい安い。

これは私の側の勘定だ。逆境の中で覚えたことは使う。学びの代償を払ったのだから、その知識を検知や変更管理や復旧手順へ移して、次の出番を減らしたい。私を呼ばずに戻せるようになったなら、それも仕事の成果だ。

漫画の最後には、明日がよくなると信じれば今日の苦難に耐えられる、という言葉を置いた。希望を持つことと、今日できる手当てを進めることが、一緒に描けていたらうれしい。［資料9］

ひとまず、黒パグは寝る。

卒業したはずの科目から、補講の電話がかかってくるのは勘弁してくれ。

本文の資料

資料1：Benjamin Disraeli, Endymion (1880), ch. LXI: https://www.gutenberg.org/files/7926/7926-h/7926-h.htm
資料2：William Hazlitt, “On the Conversation of Lords,” The New Monthly Magazine (April 1826), 後年の全集所収: https://www.gutenberg.org/cache/epub/72206/pg72206-images.html
資料3：William Shakespeare, As You Like It, 2.1, Folger Shakespeare Library: https://www.folger.edu/explore/shakespeares-works/as-you-like-it/read/2/1/
資料4：Horace, Sermones 2.8, lines 73–74, Dickinson Classics Online: https://dco.dickinson.edu/horatius-carmina/sermonum-2-8
資料5：Helen Keller, Helen Keller’s Journal: 1936–1937 (1938), December 11, 1936: https://www.fadedpage.com/books/20260348/html.php
資料6：Google SRE Workbook, “Canarying Releases”: https://sre.google/workbook/canarying-releases/
資料7：Google SRE Book, “Postmortem Culture”: https://sre.google/sre-book/postmortem-culture/
資料8：T. H. Huxley, “A Liberal Education; and Where to Find It,” Science & Education: https://www.gutenberg.org/files/7150/7150-h/7150-h.htm
資料9：Thích Nhất Hạnh, Peace Is Every Step (1991), “Hope as an Obstacle”: https://archive.org/stream/PeaceIsEveryStep-ThichNhatHanh/ThichTextNew_djvu.txt （最終漫画の英文に対応。原著は “a hardship today”。続く文章では、未来への希望が現在への集中を妨げることも論じている。）

#SRE #障害対応 #インシデント対応 #ポストモーテム #再発防止 #LLMエンジニア #技術エッセイ #名言 #組織論 #黒パグ