社内SEの実態を公開

業務とシステム

»

2010年12月、年末の最終営業日。大手SIerのプロジェクトルームでは仕事もそこそこに、納会の準備が進められています。今年は基幹システムの納品を11月に終えたばかりで、12月末で開発チームが解散し、運用チームに引き渡されることになります。納会は打ち上げも兼ねています。全国各地から集まってもらったメンバーも年が明けたら次の開発現場に向かいます。

【17:05】
「17時も回ったことで、もういいでしょ!今年はお疲れさまでした!かんぱーい!」

いつも大事な時にいない元受SIerの営業が乾杯の音頭を取りました。一安心するにはちょっと早いのでは、と私は思いつつ、私はノンアルコールビールを飲んでいました。

まだ開発者としては駆け出しな私。某社基幹システム更改プロジェクトが炎上して、大手SIerでは修復できずに、頭数をそろえるために集めらました。みんなが喜んでくれるようなWebシステムを作りたいと思って会社に入ったのですが、基幹システムのバッチ処理担当です。今一つ自分が何を作ったのかもよくわかっていません。

(後は夜間処理がコケなければ大丈夫だろう)

先月末の月次バッチはデータ量も少なく、切り替え過渡期なので、今月の月次処理がうまくいけば一安心です。夜間バッチが起動するのは夜21時。

【19:30】
地方から単身赴任で来ている人など、ポツポツと退社していきます。もちろん、乾杯の音頭をとった営業はどこにも見当たりません。PMとPLはのんびり雑談しています。

(夜間処理まで待つのかな。どうしよう帰ろうかな......)

そんな事を考えているとPMから
「お疲れさまでした。もう帰ってもらっていいですよ。一応、電話はつながるようにしてくださいね。では解散!」
と話があり、帰ることにしました。

【21:10】
帰ることにしたものの、何となく気になって駅近くの漫画喫茶で時間をつぶしていました。何かあればそろそろメールか電話がある頃です。
(特に問題ないのかな)
何となく 一人暮らしのアパートに帰りづらく、漫画を流し読みしていました。

【21:55】
そろそろ帰ろうとした時に電話がかかってきました。PMからです。

「夜遅く申し訳ない。もう家に帰った?実は夜間バッチが想定時間になっても終わらずロングランしているようなんだ。本当に申し訳ないけど、戻ってこられない?」

(予測では10分から長くて30分程度で完了するはずなので、てっきり問題がなかったと思ったけど、ロングランしてたのか。1か月で急激にデータ量増えたのかな?)

「わかりました、まだ駅の近くで飯食っていたのですぐ戻れます」

【22:10】
プロジェクトルームに到着すると、PM、PLとエンジニアの方々が2名残っていました。おそらく帰っていなかったのでしょう。それともう一人初めて見る人もいます。元受SIerの方なのか。いつもの調子のいい営業はもちろんいません。

「遅い時間に申し訳ないね。早速だけど、月次処理の中で、3番目のバッチ処理が終わらなくて。異常終了していないようだけど、ちょっとデータ見てもらえる?」

対象のデータベースを確認しても、データ量もそれほど膨大でもなく、目検では問題なさそうに見えます。バッチをキルして開発環境にデータをごっそり持ってきて流せば何かわかるかも。

(この時間からデータベースを開発環境にコピーするのはちょっと時間がかかるな)

そんなことを考えていると、見知らぬ人が質問してきました。
「すみません、月次バッチ処理終了後、後続のバッチ処理はありますか?」
後はバックアップ処理があるくらいと答えると、彼は何かを考えているのか、ぼそぼそ言いながらプロジェクトルームをうろうろしています。

「待っていても解決しないのでバッチを止めてください。その状態で、現在のシステムの画面、帳票類のアウトプットを確認します」

その見知らぬ男はPMを差し置いていきなりバッチを止める指示をしました。PM、PLも了解したのか、運用担当者にバッチを終了させるように指示をしています。
(何者なんだろう?)

【22:30】
バッチを強制終了しロールバックもしていない状態です。見知らぬ男が基幹システムにログインして画面からデータのチェックをしています。操作はものすごく早く、システムをよく知っていそうです。何者だろう?と思うのと同時に、初めて基幹システムの画面を見ました。なんだかよくわかりません。自分の作ったバッチ処理は、システムのどこと関連しているのか気になって、画面に近づいて見ようとすると

「この月次処理でその月の実績データを固まりにして、専用のテーブルに保存するんですよ。ほら、このテーブル。12月の実績は反映しているっぽいですね。在庫はどうでしょう。在庫もできているようですね。とすると、次は決算帳票関係がどこまで処理できているかですね。」

私がポカーンとしていると、近くのホワイトボードに業務のながれと月次処理の関連性を図解してくれました。PMとPLがシステム的な制御を追加して、バッチ処理が可視化され、自分が作ったプログラムの役割が何となくわかって気がします。

(すごく勉強になったけど、悠長にしていていいの?早く原因を突き止めないと)

「業務上の影響範囲はアウトプット関係のみということであれば、1月7日頃に決算帳票が見れれば構いません。それまでに原因を突き止めてもらい、データの整合性がとれていればいいですよ。これから原因を突き止めて直しても、帳票見る人なんていないから」

結局、見知らぬ人の指示で、バッチ処理は3番目の処理以降を停止した状態で解散することになりました。原因を突き止めて直したいと思っていたので、もやもやが残った状態で帰宅です。

(バタバタしていて聞けなかったけど、あの人は何者だったのかな?)

【1月4日 9:00】
仕事始め。元受SIerの調子のよい営業が年始の挨拶を長々としています。年末のバッチ処理の事は知らされていないのか、どうでもいいくだらない話をしています。本来1月から別プロジェクトになる予定だったのだが、バッチの件があったので、解決するまで急遽延長になったそうです。自社の営業から聞かされました。

早速年末の事象を調べるのに本番のデータを開発環境に移しました。再実行すると数分で終了しました。

【15:00】
(いったい何が原因なんだろう......そういえばあの人アウトプット関係って言ってたな)

そう思って、もう一度見直すと、一つの可能性が頭によぎりました

(もしかしてデッドロックなんじゃないか)

PMに可能性として話すと、全員集まってジョブとデータベースのログを見ながら該当時間帯にデッドロックが発生している箇所が特定できました。コーディングとジョブの組み方がまずかったようです。

PMが障害報告書に経緯と対策をまとめて、客先に報告しに行きました。

【16:30】
PMが帰ってきました。客先から細かく指示があったそうですが、こちらから提示した対策で進めてよいとのことです。早速修正に入ります。

【1月5日 22:00】
日時の締めが終わり、夜間バッチ終了を待って、修正版のバッチを適用します。適用後、3番目以降の処理を流したところ、問題なく終了しました。一安心です。PMが客先にメールで報告しています。

それにしても、開発の仕事は夜遅くなります。待ち時間で夜中までプロジェクトルームにいるとシーンと空気が張り詰めています。聞こえるのはPCのファンの音。外は極寒で真っ暗な夜。誰かが自販機でホットドリンクを買ってきて戻ってくると、自然と会話が始まりました。前の現場はもっと悲惨だったとか、先月まで一緒だったメンバーの悪口。元受SIerの営業はボロクソ言われています。子供とクリスマス過ごせなかった、とか悲惨な話もありましたが、
「年末年始は休暇がとれたからリカバリーできて本当によかった」と口々に言っています。
「最終日のバッチロングランは冷や汗ものだったね。あのまま直せ!とか言われたら年末年始返上で検証作業しなくちゃならなかったよ。メンバーも集まらなかったしね」
「それにしても何でデッドロックだと思ったの?」

「年末に来ていた人がいたじゃないですか。あの人にバッチ処理の業務の流れを説明してもらって、アウトプット系という話を聞いて。アウトプット系の処理がパラレルで流していたから、もしかしてバッティングしちゃったのかと思いまして。当時はデータばかりに気を取られて、ログを見れば早めに分かったかも知れないのに。すみません、作りが悪かったです。そうそう、あの人ってどなたですか?」

各種帳票作成バッチ処理を呼び出す元の処理の部分は前任の担当者が作ったままだったのですが、言い訳がましいので黙っていました。

「あの人はお客さんとこの人。情シスのマネージャーさんだよ。要件定義と基本設計を取りまとめてくれて、業務とシステム両方に精通している人なのよ」

(情シスにもそんな人がいるのか......)

与えられたタスクを消化するのにいっぱいいっぱいで、自分も周りのメンバーも全体を見る余裕がありませんでした。全体を俯瞰で見てくれる人、システムの影響度だけではなく、業務面の影響度を判断できる人の重要性を改めて痛感しました。情シスも捨てたもんじゃない、と思っていたらPMの方からグサッと釘を刺されました。

「あの人は特別、レアキャラだからね。他のお客さんも同じだと思ったらメンタルやられるよ。気を付けてね!」

Comment(4)

コメント

えどわーど

守護神の様な人はいるものですね。
守護神は必ずいるとは限らないのでチーム一丸となって守護神になれればいいのですが。

山無駄

確かにレアキャラですね。20年近くこの業界に携わっていますが、まだ、こんなにさばける情シ部の担当に出会ってません。たいがいトラブルが発生すると利用部門に忖度して説明や謝罪など余計な仕事を増やしてくれます。

コメントを投稿する