こんにちは、ソラコムのテクノロジー・エバンジェリスト 松下（ニックネーム: Max）です。
皆さんは生成 AI をどのように活用しているでしょうか？
2022年11月の ChatGPT 登場以来、私は執筆のサポートやアイデアの壁打ち相手として、毎日のように利用しています。ソラコムでもブログの原稿作りや、サポート支援をするボット提供といった成果を出しています。このように、人間との対話を支援する「チャットボット」としての活用が、現在の生成 AI のトレンドです。
ここでは、チャットボット以外にも適用できる「生成 AI をさらに活かす、５つの考え方」を、前後編に分けてご紹介します。
生成 AI 活用、５つの考え方
生成 AI の活用の方向性は、以下の５つが考えられます。
- マルチモーダル情報の認識
- 時系列データへの適用
- データ加工・処理の自動化
- UX の拡張 ― オフライン動作や、クラウド上の LLM との協調
- 物理世界へのフィードバック
すでに実現・活用され始めていることもあります。ここからは、具体的な技術や考えられるユースケースと共に詳しく解説していきます。
マルチモーダル情報の認識
マルチモーダルはテキストだけでなく画像や音声といった、種類の異なる情報をまとめて扱える事を指します。対義語はシングルモーダルです。マルチモーダルは、既にいくつかの生成 AI で利用ができる技術です。
以下のように、レシートの画像と “記載金額はいくらか？”というテキストという、２つの異なる情報を生成 AI に入力して、その結果を得ています。
応用例としては、上記のように OCR（光学的文字認識）のような使い方が即戦力になるでしょう。また、人数や在庫のカウントも考えられます。また、異なる情報を扱えるという事は、センサーやカメラといった IoT デバイス、すなわち人間以外からの入力データを、生成 AI の情報源に使えることを意味します。人間がデータの整形せずに、生成 AI にデータを渡すことが可能になります。
マルチモーダル AI の事例
ソラコムでは2024年7月に三菱電機とソラコム・松尾研究所にて「生成 AI と IoT の組み合わせで空調設定の最適化」といった成果を出しています。これは 1) IoTデバイスで得た室内温度 2) 天気情報で得た外気温 3) 空調機の設定温度 4) 室内ヒートマップ画像 5) 勤務者からのフィードバックという５つの異なる情報を生成 AI に入力し、設定温度を導き出しました。
このようにマルチモーダルにより、すでに生成 AI の社会実装への道筋が見え始めているのが現状です。
時系列データへの適用
時系列データとは、時間の経過に沿って測定されたデータの事です。室温であれば、10時に25.5℃、11時に26.3℃…といった具合ですし、他にも電力消費量や貯水池の水位、製造ラインの生産数に来店者数など、私たちの身の回りは時系列データで溢れています。一般的には「過去１時間の平均は〜」「最新（＝最後の１件）の情報は〜」といった使い方をしています。
この時系列データにおいて生成 AI の活用は、データの「分析」そして、「未来予測」も可能にします。
時系列データの分析
まず分析ですが、平均・中央値といった集計に加えて、レポートで利用できる「トレンドの言語化」に利用できます。例えば「１時間毎の平均と中央値の算出と、そこから得られる洞察が欲しい」といった指示ができます。また、異常値（外れ値）や欠損値の検出、補完をした上での集計・分析もできます。
ソラコムでは、ChatGPT を用いて IoT の時系列データを分析できる「SORACOM Harvest Data Intelligence」というサービスで、この機能を使える環境を提供しています。
未来予測、２つのアプローチ
もう１つの使い方「未来予測」には、２つのアプローチが存在しています。時系列データ向け基盤モデル（時系列基盤モデル）の利用と、LLM（大規模言語モデル）へのデータ入力やプロンプトの工夫があります。両者に共通しているのは、実績や複数の情報を入力元として、未来を予測させることができる点にあります。
以下は、時系列基盤モデルの１つ「Amazon Chronos」を用いて、シンプルな増分データを基に予測される範囲と、最も強く予測した値をグラフ化した例です。
このような未来予測は、回帰分析などの統計的手法や機械学習（そして、現場の経験も含めて）で行っています。対して、専門知識や学習フェーズが無くとも未来予測が手軽に実現できれば、今後の業務の在り方、例えば人員や在庫の配置、電力、交通量等といったリソースマネジメントの考え方を一変させる可能性を秘めています。
時系列基盤モデルと、LLM へのプロンプトの工夫については、別のブログ（時系列データの予測に使える「時系列基盤モデル」の種類と活用例）で詳しく解説していますので、併せてご覧ください。
データ加工・処理の自動化
生成AIは、自身が持つ膨大な情報を “常識” として扱い、人間が “想像” するように予測や推論が可能になり始めています。
例えば、先ほどのレシート画像では “合計” という情報があります。対して “支払金額は？” という質問をすると “支払金額＝合計金額” という「常識」を使って回答しています（GPT-4o を使用）。すなわち、データの意味を理解した上でのデータ処理が可能なのです。
「意味」によるデータの取り扱いは、データ処理における ELT（抽出・変換・格納）プロセスや UX（ユーザー体験） の大きな変化をもたらす可能性を秘めています。
例えば住所から地域区分を割り当てる事を考えてみましょう。一般的には、入力された住所を基に解析用のプログラムや SQL の準備が必要になる手間があります。生成 AI では以下のように、”住所” と “地域区分” の関係性や意味を理解してもらい、データ加工させることもできます。
考えられる応用例には、入力フォームの簡素化があります。ユーザーの入力量を最小限にしつつ、受け取り側が欲しい情報を生成 AI で増幅・展開できます。
他には様々なデータベース間を「意味」でつなげる使い方も考えられます。CRM や SFA、基幹 DB、問い合わせ履歴、そして外部のニュースサイトや SNS といった様々なデータベースに対して、会社名や担当者、他には役職といった抽象的な情報で一括抽出できます。さらにサマリー作りも支援させれば、お客様訪問前の情報収集といったセールス部門や、コールセンター業務の強い味方になります。
これを実現する技術キーワードは RAG（検索拡張生成） やファインチューニングです。
IoT においても、デバイスから送信された機器 ID を基にお客様や設置先情報、障害・修理履歴との連動や、先に紹介した時系列データとの組み合わせで、故障前の能動的なメンテナンスも実現できます。
このように、手動で行っていたデータ加工や処理の省力化・自動化も、生成 AI の活用ポイントです。
ここまで、３つの考え方「マルチモーダル情報の認識」「時系列データへの適用」「データ加工・処理の自動化」を解説しました。
残り２つ「UX の拡張」「物理世界へのフィードバック」は、後編をご覧ください。
― ソラコム 松下 (Max) ※ mixi2 はじめました！ (@ma2shita)