第三回　Vol.4　TCA実施案件から見える課題と学び（３）

第三回のアジェンダは、TCAとして注力する案件の方向性と個別事例の振返りについて。
TCA実施案件から見える課題と学び（２）＜アドバイザリーボードVol.3＞ の続きです。

事例における共通の課題

ＣＥ　内　田

ここまで挙げた事例には、「まずデータ分析をやってみよう」というところから入っているという共通の課題があります。事業の初期段階ではしかたのないことですが、無理に課題を捻りだしていることに起因する側面もあります。

ＴＣＡ西　浦

中部電力のITシステムセンターはITのスキルがあるので、そこを通過する案件は分析企画の行程からスタートします。

TCAに直接持ち込まれる案件にはその前段階の整理されていないニーズも大量にあり、その前のフェーズから支援しないと、課題そのものや変革のポイントが分からない状態のものも少なからずあります。問題の根本はここにある気がします。

ＴＣＡ野　田

まずやってみようという発想があるとすると、もう一つ考えられるのが「漠然とした課題感はあるが本質的な課題を理解していない」ということでしょうか。本質的な課題を見つけるためのコミュニケーションに多くの時間を割いています。それを経て、課題解決の方法や目的に達する方法が理解できるのですが、ここに至るまでに時間のかかる案件が多いことがよく分かりました。

システム・ツール選考の観点

ＴＣＡ野　田

他の企業ではどうなのでしょうか。システムを導入することを優先して、入れたのはよいけれど使い方に困っているといった企業の事例や、それに対してどういったアドバイスを行ったかなどの事例があればご教示をお願いします。

ＡＣＮ保　科

事例A、Bのように、目的の定義が不十分、優先度を見誤りに関しては、どこの会社でもあります。

そもそもどんなデータがあり、そのデータを使って何がしたいのかという目的があった上で、「いつまでに」、予測のモデルであれば「どのくらいの精度で」、加えて「モデルをどう業務に組み込んで」、結果として「業務がどう回るのか」「どのようなビジネスアウトカムが得られるのか」という見通しが必要です。

システムの面からも、既存のシステムに「モデルをどう組み込んで」、トータルとして「業務とシステムがどのように動くのか」という見通しも必要です。機械学習のモデルはデータをもって学習させてみないと分からない部分があるため、さらに難しくなります。どのタイミングで具体的にどれだけ効果が出るのかをしっかりと見極めねばなりません。

案件開始時もそうですが、途中でも見極めが必要です。そこを見ながらコントロールできる人材の有無が大切で、先ほどの人材育成の話にも絡んできます。

そういう意味では分析ツールの話にも通じる部分があります。我々も数百名人規模のデータサイエンティストを抱えており、昔は結構分析のためにパッケージソフトウェアを使用していましたが、今はほとんど使っていないです。全く意味がないのかといえばそうは思わないですが、ライセンス料を払うほどメリットは感じないケースが多くなってきたからです。

なぜかというと、結局は便利そうなツールほど、使えばそれらしい結果が出るものの、裏で分析モデルがどういうデータを使い、なぜそのような結果が出ているのかがわかっていないと、ミスリードする結果になるという落とし穴があるからです。

そこまで理解しようとすると、結局コーディングが必要になります。さらに言うと、先ほどシステムと業務への組み込みについて話しましたが、既存のツールを既存のシステムに組み込むことは難しく、結局は自らPython（パイソン/プログラミング言語の一種）でモデルを作ってシステムに埋め込むところまでやらなければなりません。結果として、このツールは一体何だったのかという話になりがちです。

結論としては、ツールは魔法の杖ではないということです。まずやりたいことがあり、それに合わせて道具は選ぶべきです。ツールは確かに魅力的に見えますが、あまり上手くいくアプローチではありません。

ＣＥ　伊　藤

既に使っているツールがあると思いますが、本当に使いきれているのかは疑問です。使うといっても最も重要なのは、中身です。そのツールの機能であればよいですが、Excelでも出来ないことはないという程度では意味がないです。

ＡＣＮ保　科

使いこなせていないとすると、とてももったいないと思います。

パートナーについても、アルゴリズムに関しては一流の会社と組む必要があります。中途半端なところと組むぐらいであれば、人材の育成も考慮に入れて、苦労してでも自らやる方がよいと思います。

ＴＡＣ野　田

他社から一部引き継いでいる分析モデルもありますが、グループとして内製化できてきています。中身が分かることで不十分な部分を自分たちでバージョンアップできるため、結果としてよかったですし、学びになっていると思います。

分析モデルの構築方法

ＣＥ　伊　藤

機械学習で行った方がよい課題とはどのようなものでしょうか。

ＡＣＮ保　科

質問への適切な回答になるか分かりませんが、私が最近よく行うプロセスとしては、まず機械学習のモデルを構築し、最初のバージョンでは全員でなくても大半の人間には勝てるレベル感のものであればそれを導入します。これを、トップ層の人材でアップデートをかけて学習させることによって、人間のトップ層に近付き、更に超えていくという方法です。

ＣＥ　伊　藤

一定の案件では確率密度的な関数があり、特定の要素に左右される部分が大きかったりします。確率には中心線があり周辺に誤差関数がありますが、人間の感覚をもってコンサバティブな予測をしてリスクを減らすということもやっています。

まずそのような頭があった上で、従前のやり方ではこうだが、さらにそこからこのような発展があるしれないという予測までして活用するのであれば話は分かります。逆にそれがなければ意味がないと言えるでしょう。

ＡＣＮ保　科

そういった予測モデルを構築すると、当然のことながらブレ幅が見えてきますが、それが狭い時も広い時もあります。そして、コンサバティブにいくのか、アグレッシブにいくのかは人間の判断にもよります。

また、現在の学習データに入っていない「不確定要素」が何かを理解した上で、運用上それをいかに取り込んで進化させるのかが重要です。運用段階ではもちろんのこと、開発段階でもそういった会話をしながら進めるべきです。

ＣＥ　伊　藤

目的関数も重要で、ある地点からもの凄く損失が大きくなったりもします。VaR（バリュー・アット・リスク/予想最大損失）的な発想が必要です。損失の崖を超えないような制約条件や目的関数を入れながら、進めることが重要となります。

ＡＣＮ保　科

分析モデルを構築する際には、このモデルには何が求められているのかを考えます。高い精度が必須なのか、あるいはスピードやコストを重視し、大外ししないことこそが重要なのか、多様なケースがあるため、そういった感覚を持ちながらモデルを作るのが最も大切なことです。

ＴＣＡ野　田

TCAとしてはコンサル部隊が会話をしながら聞き出す努力をすることで、そういった考え方が判明してきた場合もあります。
それをデータサイエンティストが汲み取りながらモデルを修正するという流れになっています。

ＡＣＮ五十嵐

一朝一夕で済む話ではなく、利用する側もリテラシーを高めることが必要です。最初の１年は全体のコンセプト作りのような側面もあり、そういった意味ではうまくいっていると思います。

ＴＣＡ野　田

大変ながらもここまでTCAの社員はすごくよく働いてくれていており、それがゆえにTCAとしても経験値が上がり、しっかりとしたクオリティコントロールができています。アウトプットが良くなっていることも事実です。中電グループ全体に活きてくると思いますので、継続していきたいと思っています。

ＣＥ　内　田

分社化によって会社が分割されたがゆえに各事業会社で人が育ちきっていないという部分もある前提で考えていく必要もあります。

ＡＣＮ五十嵐

TCAとしてはうまく離陸できたと思いますし、これからどんどん上昇していくことを期待しています。

ＡＣＮ竹　井

他社では実証段階で停滞してしまう事例も見受けられます。

ＡＣＮ五十嵐

現在の仕事や枠組みの中で、とりあえずデータサイエンスを使ってみようというところから始まりがちです。

そして、新ビジネスの創出といったイノベーティブなものや組織をまたいだ大きな活動というのは、後回しになってしまうことがあります。大きな取り組みはある程度まとまった投資が必要になることもあり、その投資予算を抑えなければいけない中で、小ぶりな案件を実施するに留まるケースも散見されます。

Vol .5　TCAの人材課題に対する取り組み　に続きます。