三菱UFJ信託の「難題」を唯一クリアした、AIスタートアップ「カサナレ」の技術とは

執筆: Universe編集部

生成AIが登場して以降、企業のAI活用のあり方は模索され続けています。そんな中、三菱UFJ信託銀行はAIスタートアップのカサナレと協働し、特定の部署の業務時間を半減させることに成功しました。

この取り組みを推し進めた、三菱UFJ信託銀行株式会社市場デジタル推進部の村山幾宣氏、デジタル戦略部の田中経太郎氏および海老名喜直氏、カサナレ株式会社 CEOの安田喬一氏とCOOの西田慶氏に経緯や成功要因を伺いました。

（※所属、役職名などは取材時のものです）

カサナレは「他のAI企業と違った」

──Kasanareを導入する前の状況や課題を教えてください。

村山：弊社には、市場部門という為替や債権などを取り扱う組織があります。私のいる市場デジタル推進部はこの市場部門からの問い合わせ対応を行っていますが、その業務負荷が以前から課題でした。

問い合わせ内容は業務システムの操作方法から、リスク管理や損益計算のロジックに関することなど多岐にわたります。回答するには会計や金融工学などさまざまな専門知識を調べる必要があり、専門部署にエスカレーションしなければならないケースも出てくるんですね。そのため、1件の回答を作るのに7時間かかることもありました。

村山幾宣：三菱UFJ信託銀行に1995年入社。金融派生商品等の市場リスク管理業務や時価評価・リスク量評価モデルの検証などの業務や、IT開発・企画に従事後、2023年4月からは市場デジタル推進部に所属し、照会業務に生成AIを活用する当該案件を担当。

田中：信託銀行には専門的な業務が多く、従来から問い合わせに対応できるAIの活用ニーズがあり、さまざまな取り組みを模索してきました。そんな中で登場した生成AIはまさに課題解決のチャンスでしたので、まず社内でAI構築をしたんです。しかし正答率が3～4割程度に留まり、業務に活用できるレベルには達しなかったため、改めて照会業務の効率化を実現できるパートナーを探すことにしました。

海老名：その際、カサナレさん以外にもいくつかのAI企業にご相談をしました。ほとんどの企業さんは「マニュアルを学習させるだけですぐにそれなりのものができます」というご提案でしたが、カサナレさんだけ視点が違っていて。「私たちはクライアントと一緒にデータに向き合い、整え、構造化するフローに力を入れています」と仰ってくださいました。

短期的には照会業務で使えるQ&Aチャットボットを作るのが目標でしたが、将来的には整備したデータを他の業務にも広げていきたいと考えていたので、データ整備に主眼を置くカサナレさんとなら、そこまで見据えて取り組めるなと魅力を感じました。

──Kasanareによってどのくらい業務効率化が進みましたか？

田中：去年の8〜9月ごろから1ヶ月ほどPoCを行いましたが、最初の正答率は7〜8割程度でした。そこからRAG（Retrieval Augmented Generation：検索拡張生成）データの調整やAIが参照する辞書の整備などの改善を重ね、いまでは正答率が9割にまで向上しています。問い合わせ対応にかかる工数は50％ほど削減され、効率化が大きく進みました。

村山：結果を見たときには本当に素晴らしい技術だなと感じました。以前別のAIサービスで試したのとまったく同じデータをカサナレさんに提供して、そこから1カ月チューニングしてこの精度を出されたので驚きましたね。

「正答率9割」を実現できる理由

──Kasanareが高い正答率を実現できるのはなぜなのでしょうか？

西田：創業初期から、RAGという大規模言語モデル（LLM）に外部情報を組み合わせる技術を重視していたからだと思います。加えて、三菱UFJ信託さんとの協力体制が功を奏しました。

西田慶：千葉県出身。千葉工業大学プロジェクトマネジメント学科卒業、東北大学共同研究員。カサナレ株式会社の法人設立前から事業に参画し、全てのプロジェクトの開発および品質管理を担当している。RAGにおける推論アルゴリズム、自然言語処理における言語検索最適化処理、LLMにおける推論最適化処理などの開発に携わる。

精度を高めるうえで鬼門だったのは、専門用語の多さです。難解な金融用語が多く、回答が正しいのか素人の私たちだけでは判別ができませんでした。

また、今回は問い合わせされた質問以外の、細かい背景情報やニュアンスまで答えられるようにする必要もあります。たとえば法律関連のことを聞いたら、単に法律の条文だけを返すのではなく、関連する判例情報も教えてほしいわけです。

この難題に挑むには、三菱UFJ信託さんと強固な協力体制を築き、一緒に正答率を上げる取り組みをする必要がありました。

──正答率を上げる取り組みではどのようなことをされたのでしょうか。

西田：私たちが回答精度の結果表をつくり、三菱UFJ信託さん側にも確認していただいたうえで「この質問であればどこまでの情報を回答すべきか」を綿密に協議しました。

当然私たちとしても精度をあげる取り組みは行いますが、そもそも学習データに入っていない内容をAIは答えられません。適宜、新たに情報をインプットしたり、データ構造を見直したりする必要があります。その際は私たちから「こういうデータが必要そうです」とお伝えし、三菱UFJ信託さん側にインプットするデータの作成をお願いしました。

村山：チャットボットで適切に検索できるようにするためには、インプットするデータの中に問い合わせの回答を特定できる情報が含まれるように、ある程度手作業でインプットするデータを修正する必要があります。たとえば、実際の問い合わせ内容をみて「これは商法の話だけど回答を特定するためには関連するこの実例も必要だ」とか、「これは業務システムの質問だけど、どのシステムの問い合わせかを特定できるように関連する作業の情報も必要だ」という感じで、問い合わせ内容と回答内容を分類・分析し、必要な要素をデータ内に散りばめる作業を行いました。

RAG技術はよく「参考書をもって試験を受けること」に例えられます。でも、いくら参考書を持っていても、答えがどのページに書かれているかを知っていなければ人間でも回答はできませんよね。RAGも同じで、適切なページを開いて回答をピックアップしてもらうのが難しいわけです。そこで結果と要因の関係性を調べる「因子分析」的な要素をQ&Aのセットに組み込んで、より適切な回答ができるようにしていきました。

西田：村山さんをはじめとする三菱UFJ信託さんの皆さんは、私たちの意図を高度に解釈し、先回りして準備してくださいました。これが今回の成功の大きな要因ですね。

安田：企業がAIを活用するためには、AI自体の能力はもちろんですが、クライアント側の協力も鍵となります。精度を向上させるためにどれほど社内データの整備に時間を割いていただけるか、その意思決定をしていただけるか、で結果は大きく変わってきます。弊社は以前からRAG技術を用いて正しいデータを使うことを重視していましたが、三菱UFJ信託さんにはその意味を深く理解してご協力いただけました。

安田喬一：立命館大学政策科学部卒業、京都出身。フリーランスとして新規事業のグロースや複数のSaaSプロダクトにCXM（カスタマーエクスペリエンス・マネジメント）として携わる。「企業が保有する顧客データを活用することで顧客体験を最適化」するため、LLMを用いたAIプラットフォームの開発に着手すると同時に、カサナレ株式会社を設立。

──なぜカサナレは創業初期からRAGに着目していたのでしょうか？

安田：はじめから「RAG技術を使おう」としていたわけではありませんでした。カサナレは元々「カスタマーサクセスをより良くしたい」という思いで始まっています。顧客からの問い合わせに、担当者が速く正確に答えられる世界を作るための手段がAIだったわけです。

ただ検証を進めると、AIだけでは適切な質問ができないとわかりました。たとえば「ビデオが映りません」という顧客からの問い合わせに対し、AIは「テレビと繋いでください」と返すことがあります。おそらく顧客はテレビと繋いだ上でビデオが映らないから問い合わせているわけですが、AIはそこまで察せません。

そこで私たちは、LLMに「カンニングペーパー」のような参考データを持たせることで、より適切な回答ができると考えました。まだRAGという言葉はありませんでしたが、プロンプトエンジニアリングを活用して「この場合はカンニングペーパーのここを見よ」とAIに正しく指示できれば、良い回答が出るのではないかと仮説を立てたわけです。当時社内ではこの仕組みを「カンニング技法」などと呼んでいました。いまではRAGという名前がつき、テクノロジー分野で価値が認められ始めている状況です。

西田：安田からもあったとおり、私たちはよりよい顧客体験を実現するためにAIを使ってきました。そのため数値的な回答精度だけでなく、人間が見たときに欲しい回答になっているかを重視しています。そこが精度の良さにつながっているのかなと。

安田：私たちはAIを使うのが目的ではありません。顧客に良い体験を提供するために、人間がやるべきではない業務をテクノロジーで代替していきたいと考えています。究極的には、チャット体験すらもなくし、顧客の表情や声色などだけでニーズを推測できるようにしたいんですよね。

田中：私たちとの最初の商談でも「チャットボットをなくしたい」と仰っていましたね。そもそもチャットボットの打ち合わせをしているのに（笑）

一同：（笑）

AI活用による思わぬ副次効果も

──Kasanareによる業務効率化以外の好影響があればお聞かせください。

村山：チャットボットを社員教育のツールとしても使える見込みがでてきました。金融用語を含んだ難しい質問をしても、新入社員が理解できるように解説してくれるので、社内の教育コストを下げる意味でも使えるんじゃないかと。

田中：市場デジタル戦略部以外の業務効率化の道筋も見えてきています。今回の成果を全社に展開したところ、他部署からも導入したいとの声が複数挙がりました。現在は、リテール部門での活用に向けてチームを組成し、展開を進めています。

田中経太郎：三菱UFJ信託銀行に2001年入社。IT開発・企画に従事後、経営企画、新事業開発・スタートアップ投資等業務に従事。2024年4月からはデジタル戦略部に所属し、三菱UFJ信託銀行のDX全般を統括。

海老名：自社データの利活用の観点でも良い影響があったと思います。これまで弊社ではノウハウの言語化やドキュメント化があまりされてきませんでした。ドキュメント化する社員へのインセンティブも乏しく、なかなかデータの蓄積が進まなかったんですね。ただ今回の取り組みをきっかけに、各部署でのノウハウの言語化や散在していたデータの統合が進んできています。

田中：社内のデータ整備やノウハウの言語化はまだまだ途上ではありますが、大きな変化が出てきていると感じます。Kasanare導入をきっかけに、足下の業務効率化と未来につながるデータ整備の好循環を生み出せると感じています。

海老名：カサナレさんが「チャットボットをなくすこと」を目指しているという話がありましたが、チャットボットの先にある新たな価値創造やユーザー体験には整備されたデータが必要不可欠な要素だと考えています。AIチャットボットの導入は短期的な業務効率化だけでなく、将来のイノベーションに向けた準備という意義もあると思います。

海老名喜直：三菱UFJトラストシステムに2017年入社。入社後は資産管理システムの開発保守に従事後、2019年から三菱UFJ信託銀行へ出向しデータサイエンス業務に従事。2024年4月からはデジタル戦略部に所属し、三菱UFJ信託銀行のAI活用推進や事業部のデータ利活用支援を担当。

2社で目指す「AIバディ」の実現

──業務効率化を一定実現したいま、これからKasanareを使ってどんな取り組みを進めていきたいか展望をお聞かせください。

村山：市場デジタル推進部では、引き続き登録データの量を拡充し、精度をさらに向上させていきたいと考えています。先ほどもお伝えした教育面での活用も進めていく予定です。海外拠点からの問い合わせにも対応できるよう、英語対応も視野に入れています。

田中：全社的にもさらに活用を進めたいと考えています。先ほどお伝えしたリテール部門での活用が始まれば利用者数が大幅に増えるので、大きなチャレンジです。

現在は業務単位でAIを活用していますが、いずれは「AIバディ」のように社員個人をAIがサポートするようにできたらなと考えています。もちろんいきなりは実現できませんが、カサナレさんと一緒に段階的にその目標に向かって進んでいきたいです。

──カサナレのお2人はいかがでしょうか。

安田：いま評価いただいている精度を当たり前のものとして、さらに高度な個別化対応を目指していきたいですね。田中さんが仰った「AIバディ」のような仕組みは、日本でも数年以内に業務利用できる世界が来るはずです。実現は容易ではありませんが、今回のようにプロジェクト形式でクライアントと伴走し、課題を共有しながら良いものを作り上げていけば到達できない未来ではないと信じています。

西田：技術面を担当する私は「LLMを腐らせない」のが目標です。社内では「持続可能性のあるLLM」というキーワードで表現しています。

Q&Aシステムには常に新しい情報を取り入れ、精度を向上させ続ける循環を作るのが重要です。そこで、精度向上に貢献した担当者の評価や貢献を明らかにする仕組みを作りたいなと思っています。

Kasanareは現場の方々のフィードバックが直接精度向上につながります。ふつうは社内で新しいマニュアルを作成しても、成果として認められることは少ないと思いますが、私たちのシステムではその貢献を可視化することができるわけです。そうやって現場の方々のフィードバックが加速し、AIも成長していくような好循環を作っていきたいですね。

先日、Kasanare導入を検討しているリテール部門の方々とお会いしたのですが、皆さんの目がすごく輝いていて。生成AIや新しいことに関わりたいという強い意欲を感じました。革新的なことに挑戦する三菱UFJ信託さんの文化が、今回の成功を導いてくださったんだと改めて思いましたね。こうしたカルチャーを持つ三菱UFJ信託さんと、今後も協力体制を築きながら頑張っていきたいと思っています。