ビックデータにチャンスは無い
■トレンドと言われた時点でもう古い
IT業界で働いていれば、ビックデータという言葉を耳にしたことがあると思う。正直、コレの何が良いのか全く分からない。なんやら、コイツを分析すればビジネスに役に立つとか、イノベーションが起こせるとか、そんな雰囲気の話をちらほら聞く。
もし、ビックデータがイノベーションの鍵となるなら、トレンドとしてキーワードに挙がった時点で中古品だ。新基軸とか革新というのがイノベーションだ。追従するならできるが、創り出すには一歩出遅れている。もっとも、イノベーションは結果として起きるもので、それ自体が目的として成り立つか疑問だ。
インフラ系のエンジニアをやっていると、どうも大規模なシステムを弄れる人の方が優秀という傾向を強く感じる。ビックデータって、大っきいの大好きなインフラエンジニアのツボにハマりやすいキーワードだなぁと思った。
■ビックデータを捌く能力なんてありません
ビックデータ云々と囁かれて、そこそこ経ったと思う。だが、何か変わっただろうか。周りのエンジニアは十年前と変わらず、未だにExcelでちまちまやってる。Web系のエンジニアは何やらいろいろやっているようだが、SIer系では生きた化石みたいな技術で仕事をしてる人が大半だ。
平均的なSIer系のインフラエンジニアは、サーバが10台を超えると構成管理がしんどくなってくる。クライアントが100台を超えると管理が行き届かなくなる。データの管理能力自体は、事務職の女の子と大した差は無い。いや、むしろ劣るかもしれない。
大半のエンジニアが誤解しているが、サーバを構築したりコードを書く能力とデータを管理する能力は別物だ。特定分野に優れた能力があったとしても、全てに通じるとは限らない。単に慣れているだけなのと、知能が高いことを混同してはいけない。
実際、Excelすらろくに使いこなせないエンジニアが大半だ。データ処理の基本すら固まっていのだ。何万件、数千件、いや、百件レベルのデータすらまともに捌けないだろう。そんな技術力でビックデータでイノベーションとは、悪い冗談にしか聞こえない。
■君にビックデータの処理は求められていない
ビックデータといって一番に思い浮かぶのは、オンラインゲームのサーバだ。残念ながら、日本でITが活用されているのは、課金で稼いでるオンラインゲームくらいだと思う。
日本では、仕事を効率化してさっさと家に帰ろうという発想はまだマイナーだ。普段の業務を自動化してさっさと終わらせるより、Excelのマス目を手作業で揃えていく作業の方が評価される。なので、データを効率的に処理しようというミッション自体がこない。
働いてる人も働いてる人で、指示されたことを指示されたようにしかやろうとしない。平たく言えば、工夫をしない。思考が止まってる。こんなので、高い思考力が求められるデータ処理のスキルが伸びるはずがない。
要求がない、やろうとしない。つまり、ビックデータなんて誰も必要とは思っていないのだ。従来の方法でやっていけばいいじゃないかで収まっている。ビックデータにチャンスなんて見出そうとしていない。必要なヤツがやってりゃいいよ。というのが今の日本のスタンスだと思う。
■データの裏にある事実を見ろ
ぶっちゃけ、私もビックデータなど必要無いと思っている。役に立つとしたら、世の中がビジネスではなく、学術を中心に回るようになった時だろう。普段生活していて、どれほどのデータを扱うだろう。せいぜいが家計簿レベルだろう。
確かに、ビックデータを扱えるスキルは希少性が高い。だが、一つの分野に過ぎない。最高に面白いと思った人が突き進めばそれで十分だ。そういう人でもないと、プロとして通用するだけのスキルに到達できないだろう。トレンドに流されてるレベルのスキルでは、次のトレンドが来た時に崩れる。
ビックデータより、手元にあるExcelのクソファイルを解消する方が先だ。効率の悪い手作業を解消して、みんなでさっさと定時で帰れるようにしよう。残業代の節約になるし、働いている人の自由時間も増える。ビックデータを云々するより、よっぽどイノベーティブだ。
ビックデータの前に、きちんとExcelくらい使いこなそう。ビックデータを語るなら、せめてピポットテーブルくらいは使いこなせるレベルに到達しよう。関数の扱いもおぼつかないのに、大規模なデータを処理するミドルウェア云々の技術を学んでも、大して活きることは無い。これが、ビックデータの裏にあるIT業界の事実だと思う。
コメント
夢夢
あけましておめでとう。
コラムの内容に賛成する。
開発側としては「お客様がビッグデータを扱う」となっているから、ビッグデータ利用スキルは低くなりがち。
ビッグデータは経営戦略系システムでやるんだが、お客様は自由にデータを引き出しいという。
その一方で役立つ結果が欲しいという。
どこを固定してどこを自由化するか。
開発者側はそこが悩ましい。
Anubis
> 夢夢さん
あけましておめでとうございます。
ビックデータって、どのデータをどう見るかが勝負なんですよね。
それをエンジニアに丸投げじゃどうしようもない。
コードは書けても、何らかの結論を導き出す手法は知らない。
SIerでなく、統計の専門家に頼むべきものだと思っている。
ちけんち
あけましておめでとうございます
Anubisさんのコメントを読んでやっと腑に落ちました。
ビッグデータを有効な扱うには統計の知識が不可欠ですよね。
それをソフトウェアエンジニアに丸投げすることがあるなんて
想像もしていませんでした。
> ビックデータといって一番に思い浮かぶのは、
> オンラインゲームのサーバだ。
私の場合はCCCが収集しているTポイントカード関連のデータですね。
扱い方によっては恐ろしいことが起きそうな...(笑)
夢夢
そうそう。本質を見抜いている。
データどう見るかが大事であり統計学の智識が必要だ。
それで統計学もやって知ったんだが結局無理だった。
問題の根は深くて統計データは過去しか示さない。
だが経営の問題は未来なんだ。
ならばとベイズ統計に期待したりしたんだがそれでも不十分。
実のところ統計学者に依頼しても経営は上手くいかない。
統計学者は経営者ではない。
結局のところお客様である経営者のセンス次第になる。
やっぱり現実に目を向け泥臭くやるしかないのだろうな。