人間中心のサイバーリスク管理を考える ――人をスコアせず、組織の判断力をどう育てるか ⑩
それで、研修の効果をどう確かめるのか
このシリーズは、一つの質問から始まりました。
人間中心のセキュリティ研修には、本当に効果があるのか。
サイバー判断力が向上したことを、どう測るのか。
意味のないことに、時間とお金を使いたくない。
もっともな質問です。
研修を実施した。
参加者の満足度は95%だった。
確認テストの正答率が上がった。
それだけで、会社は本当に安全になったのでしょうか。
その問いを考えるために、ここまで少し遠回りをしてきました。
よい判断と、よい結果は同じではない。
何も起きなかったからといって、安全だったとは限らない。
リスクは、まだ起きていない「かもしれない」である。
何を守るのかが決まらなければ、リスクは決まらない。
ERMとサイバーリスク管理は、同じ会社を違う場所から見ている。
リスクは単独ではなく、ドミノのように連鎖する。
事故が起きれば、インシデント対応、DRP、BCP、危機管理が重なって動く。
そこで必要なのは、正解の暗記ではなく、迷い、確認し、相談し、判断を更新する力である。
そして、人間中心だからこそ、人を危険度で評価してはいけない。
ようやく、最初の問いへ戻ってきました。
効果を測る前に、「何を変えたいのか」を決める
研修の効果を測るとき、最初に指標を選びたくなります。
満足度。
正答率。
報告件数。
クリック率。
対応時間。
けれど、その前に決めなければならないことがあります。
この研修によって、何を変えたいのでしょうか。
不審なメールを見抜けるようにしたいのか。
分からないときに立ち止まれるようにしたいのか。
相談や報告を早くしたいのか。
部門間の判断基準をそろえたいのか。
緊急時の役割と権限を確認したいのか。
一人に集中している判断や負担を見直したいのか。
被害が事業全体へ広がりにくい仕組みをつくりたいのか。
目的が違えば、見るべき変化も違います。
目的を決めずに数字だけ集めても、その数字が何を意味しているのか分かりません。
研修を始める前に、
この研修によって、誰が、どのような状況で、どのような判断をしやすくなることを目指すのか。
を言葉にしておく必要があります。
一つの点数ではなく、四つの層で見る
人間中心の研修効果を、一つの点数で表すことは難しいと思います。
そこで私は、変化を四つの層に分けて考えます。
第1層 理解
最初は、必要な知識が身についたかを見る層です。
-
リスクの兆候を説明できるか
-
不審な状況で、何を確認すべきか知っているか
-
相談先や報告先を知っているか
-
自分の役割と権限を理解しているか
-
インシデント対応、DRP、BCPの違いを理解しているか
ここでは、確認テストや簡単な質問票も役に立ちます。
ただし、知っていることと、実際にできることは同じではありません。
知識は必要ですが、効果測定の入口です。
第2層 判断の過程
次に、不確実な状況で、どのように判断したかを見ます。
-
小さな違和感に気づけたか
-
取り返しのつかない行動の前に立ち止まれたか
-
何が分からないのかを言葉にできたか
-
必要な情報を探したか
-
別の経路で確認したか
-
誰かに相談したか
-
判断理由を説明できたか
-
新しい情報によって判断を更新したか
-
結果にかかわらず、後から振り返ったか
ここで見るのは、正解したかどうかだけではありません。
その時点で与えられていた情報の中で、どのように考えたのかを見ます。
よい判断をして悪い結果になった場合もあります。
十分に確認しなかったのに、偶然よい結果になった場合もあります。
だから、結果だけで判断の質を決めません。
第3層 組織の仕組み
三つ目は、組織が人の判断を支えられるようになったかを見る層です。
-
相談経路が明確になったか
-
担当者が不在の場合の代行者が決まったか
-
部門間で必要な情報を共有できるようになったか
-
二重承認が形だけでなく、実際に機能するようになったか
-
一人に集中していた権限や負担が見直されたか
-
手順が現実の業務に合うようになったか
-
技術的な警告が、理解できる形で示されるようになったか
-
報告した人を責めない運用になったか
-
技術対応と経営説明の役割を分けられたか
-
演習で見つかった課題に、責任者と期限が設定されたか
ここは、とても重要です。
参加者がどれだけ学んでも、相談先が応答しなければ、相談は機能しません。
異変に気づいても、止める権限がなければ、被害を止められません。
報告したことで責められれば、次から報告しなくなるかもしれません。
研修の後に組織の仕組みが何も変わっていないなら、研修の効果を参加者だけに求めることには無理があります。
第4層 リスクと回復力への寄与
最後に、その変化が組織のリスクや回復力へ、どのように貢献したかを見ます。
-
異変の発見から報告までの時間が短くなったか
-
被害が広がる前に、封じ込めや確認を始めやすくなったか
-
一つの判断が重大な損失へ直結しにくくなったか
-
重要業務の代替手段が準備されたか
-
バックアップから安全に復旧できることを確認したか
-
事業、IT、法務、経営の判断基準が共有されたか
-
重大な判断の決定者と代行者が明確になったか
-
事故後に学びを仕組みへ戻せるようになったか
-
何かが起きても、組織として戻ってこられる可能性が高まったか
ここでは、研修だけの効果だと断定しないことが大切です。
実際のリスクは、研修だけで変わるものではありません。
技術的な対策。
権限の見直し。
手順の改善。
組織文化。
経営の判断。
外部環境や攻撃の変化。
さまざまな要素が関係します。
したがって、
この研修によって、リスクが30%下がった。
と簡単に言うことはできません。
代わりに、
研修とその後の組織改善によって、判断過程と、リスクを小さくするための条件に、これらの変化が確認された。
と説明します。
報告が増えたら、悪くなったのか
研修後、不審なメールの報告件数が増えたとします。
数字だけを見れば、問題が増えたように見えるかもしれません。
けれど、実際には、
-
以前なら見過ごしていた違和感に気づけるようになった
-
確信がなくても報告できるようになった
-
報告先が分かりやすくなった
-
報告しても責められないという安心が生まれた
可能性があります。
一方、報告件数が減ったとしても、組織が安全になったとは限りません。
報告手順が面倒になった。
報告しても返事がない。
以前、報告した人が責められた。
問題を起こしたと思われたくない。
そのような理由で、報告されなくなった可能性もあります。
数字には、必ず背景があります。
増えたか、減ったかだけではなく、なぜ変わったのかを確認する必要があります。
速くなれば、よくなったのか
判断や報告にかかった時間も、よく使われる指標です。
早く気づき、早く報告し、早く封じ込められることには価値があります。
けれど、速ければ速いほどよいとは限りません。
必要な確認を省略して早く決めたのかもしれません。
反対に、以前より少し時間がかかったとしても、別経路で確認し、複数の部門から情報を集めた結果かもしれません。
時間を見るときには、
-
どの判断に時間がかかったのか
-
その時間は必要な確認だったのか
-
情報や権限の不足による待ち時間だったのか
-
特定の人に問い合わせが集中していなかったか
-
判断の質と結果に、どのような影響があったか
まで見ます。
一つの数字を、そのまま良い、悪いと決めません。
効果測定は、研修の後だけに行うものではない
研修が終わってからアンケートを取るだけでは、変化は十分に分かりません。
効果測定は、研修を始める前から始まっています。
研修前
-
守りたい目的を決める
-
対象となるリスクシナリオを明確にする
-
役割、アクセス、権限、相談経路を確認する
-
現在どこに困りごとがあるのかを把握する
-
研修後に期待する変化を決める
-
集める情報と、集めない情報を決める
研修中
-
情報の捉え方を見る
-
判断の過程を見る
-
部門間の連携を見る
-
時間的圧力の影響を見る
-
権限と責任が機能したかを見る
-
組織の支援が使えたかを見る
研修直後
-
判断の理由を振り返る
-
迷った場所を確認する
-
仕組み上の問題を整理する
-
改善項目、責任者、期限を決める
-
参加者が安心して意見を出せたかを確認する
一定期間の後
-
決めた改善が実施されたか確認する
-
手順、権限、連絡先が更新されたかを見る
-
同じ、または少し変えたシナリオでもう一度試す
-
以前の課題が改善されたか確認する
-
新しく見つかった問題を、次の改善へつなげる
研修は、一度実施して終わる行事ではありません。
試し、振り返り、直し、もう一度試す。
その循環が、組織としての学びになります。
人を測らずに、変化を見る
効果測定を行うときにも、前回までの境界を守ります。
個人別の危険度ランキングを作らない。
一度の失敗から、その人の人格や将来を推測しない。
研修結果を人事評価や懲戒へ安易に転用しない。
必要以上の情報を集めない。
本人に知らせず監視しない。
研修データと日常の監視データを安易に結びつけない。
必要以上に長く保存しない。
見る単位は、個人の順位ではなく、
-
シナリオ
-
役割
-
チーム
-
判断の流れ
-
部門間の接点
-
組織の仕組み
です。
小さな集団では、名前を消しても本人が推測されることがあります。
その場合は、結果の示し方をさらに大きな単位にする、詳細を残さない、あるいは測定そのものを行わないという判断も必要です。
測れるから測るのではありません。
人の尊厳を守りながら、組織が学ぶために必要な範囲だけを見るのです。
投資価値を、どう説明するのか
では、この研修に投資する意味を、経営へどのように説明すればよいのでしょうか。
満足度や正答率だけでは、十分ではありません。
一方で、すべてを金額へ変換することも簡単ではありません。
「この研修によって、必ず一億円の損失を防げる」と約束することはできません。
未来は不確実だからです。
それでも、投資によって何が得られたのかを説明することはできます。
例えば、次のように伝えます。
このワークショップによって、参加者の満足度が上がっただけではありません。
経営、事業、IT、セキュリティ、法務の間で、停止判断の基準が一致していないことが分かりました。
緊急時の確認経路と、責任者不在時の代行者が定義されていないことが分かりました。
一人に技術対応、経営説明、顧客対応が集中することが分かりました。
重要な業務の代替手段が、実際には使えないことが分かりました。
その結果、判断基準、権限、連絡経路、役割分担、技術的統制、復旧手順を改善しました。
そして、同じシナリオで再び演習したところ、以前より早い段階で必要な部門が集まり、重要業務を維持しながら封じ込めを判断できました。
これなら、研修を実施したという報告ではありません。
研修を通して何が見つかり、組織が何を変え、その結果としてどのような判断が可能になったのかを示しています。
投資価値は、参加者が何点取ったかだけではありません。
組織が、自分たちの弱い接点に気づき、改善できたことにあります。
研修は、技術対策の代わりではない
人間中心の研修をどれだけ行っても、技術的な対策が不要になるわけではありません。
人に不審なメールを見抜くよう求めながら、危険な添付ファイルを止める仕組みを整えない。
複雑なパスワードを覚えるよう求めながら、安全で使いやすい認証方法を提供しない。
早く報告するよう求めながら、報告先を分かりにくくする。
慎重に判断するよう求めながら、速さだけを評価する。
それでは、責任を人へ押しつけているだけです。
研修は、技術対策の代わりではありません。
人、プロセス、技術、ガバナンスをつなぐ一つの手段です。
ワークショップで人の判断を見るのは、人の弱さを見つけるためではありません。
技術や手順だけを見ていては気づけなかった、組織の接点を見つけるためです。
「事故ゼロ」だけを目標にしない
セキュリティの最終的な理想は、重大な被害を起こさないことです。
けれど、「事故件数ゼロ」だけを目標にすると、小さな異変や失敗が隠されることがあります。
大切なのは、何も起きないことだけではありません。
事故になる前に気づけた。
分からないときに立ち止まれた。
早い段階で相談できた。
別の経路で確認できた。
一つの失敗が大きな被害へ広がらなかった。
重要な業務を続けられた。
安全に復旧できた。
そして、事故や演習から学び、次の備えを変えられた。
それも、セキュリティの価値です。
「何も起きなかった」ことだけでなく、
起きるかもしれないことに気づき、被害を小さくし、そこから戻ってこられるようになった。
という変化を見る必要があります。
分からない。だから、考え続ける
このシリーズを書き始めたとき、私は、完成した測定方法を持っていたわけではありません。
今も、すべての答えが出たとは思っていません。
人の判断を測ろうとすれば、人を格付けする危険があります。
個人を守るために何も見なければ、組織が学ぶ機会を失うかもしれません。
数字を使えば分かりやすくなります。
けれど、数字だけでは、迷い、相談、信頼、文化、回復といった大切なものが見えなくなることがあります。
だから、簡単な一つの答えを出すのではなく、問い続ける必要があります。
何を変えたいのか。
誰を、何を守りたいのか。
そのために、本当に必要な情報は何か。
何を測り、何を測らないのか。
誰がその結果を使うのか。
測ることで、新しいリスクを作っていないか。
組織は、人に求めるだけでなく、自らの仕組みを変えたか。
この問いを持ち続けること自体が、人間中心のリスク管理なのかもしれません。
人間中心のサイバーリスク管理とは
このシリーズを通して、私が考えてきたことを、最後にまとめます。
人間中心のサイバーリスク管理は、人を管理することではありません。
人を「最も弱いところ」として扱い、間違えないように監視することでもありません。
人が不確実な状況で、よりよく判断できる環境をつくることです。
人を責めるのではなく、
-
役割
-
権限
-
アクセスできる情報とシステム
-
判断に使える時間と情報
-
相談経路
-
技術的な支援
-
手順
-
組織文化
-
起こり得る影響
を見直すことです。
人は、リスクの原因になるだけの存在ではありません。
異変に気づきます。
立ち止まります。
確認します。
誰かに相談します。
異なる情報をつなぎます。
被害を小さくします。
仕事を続けます。
何かが起きても、そこから戻ってきます。
そして、学んだことを次へつなげます。
人を測るのではない。
人と組織が、よりよく判断できるようになったかを見る。
研修の価値は、人を正解させることだけではありません。
組織が、自分たちの判断と仕組みを見直せるようになること。
人、プロセス、技術、ガバナンスをつなぎ、何かが起きても被害を小さくし、戻ってこられるようになること。
その変化を、人の尊厳を傷つけることなく確かめていくこと。
それが、私が今考えている、人間中心のサイバーリスク管理です。
まだ、すべての答えがあるわけではありません。
だからこそ、これからも実務と研究の両方から、迷い、確かめ、振り返り、考え続けたいと思います。
最後まで読んでくださり、ありがとうございました。
#サイバーセキュリティ #サイバーリスク #人間中心 #セキュリティ教育 #効果測定 #リスクマネジメント #サイバー判断力 #組織文化 #意思決定 #レジリエンス