みなさんこんにちは！
テクニカルライターであり、SORACOM Support Bot の生成 AI (LLM、大規模言語モデル) 周りの開発を担当している矢崎 (社内ニックネームは makoto) です。
SORACOM Support Bot は、ユーザーのみなさんの質問に対して生成 AI が素早く回答するオプションです。使い方は「ソラコムのサポートにて、生成 AI からの回答を受け取るオプションを提供開始しました 」をご覧ください。
さて「AI の回答って、あまり期待できないな」と思われている方も多いのではないでしょうか？そこでこのブログでは、SORACOM Support Bot を洗練させてきた裏側を通じて、どのようなお問い合わせに適しているのかをご紹介します。
SORACOM Support Bot をリリースしてから約半年
SORACOM Support Bot の提供を開始してから約半年が経過しました。社内では毎月 SORACOM Support Bot の回答をすべて SORACOM サポートメンバーが評価し、正解/不正解を判定したり、カイゼンの芽を探したり、といった精度向上のための活動をしています。この活動自体はとても良いモノと考えていますが、より大きな視点でのカイゼンの必要性を感じてきました。
言葉にすると「もっといいサポートを提供できないか」とか「SORACOM サポートメンバーと同じようなサポートを提供できているか」という観点での評価が足りていないかも…？ という漠然とした不安でした。言い換えると、「SORACOM Support Bot は “サポートメンバーの一員として見たときに” どの程度の実力があるのか」という評価になるかもしれません。
その実力を評価するために私たちが考えたのは、「ある疑問を SORACOM Support Bot と解決する体験」と、「同じ疑問を SORACOM サポートメンバーと解決する体験」を比べてみるという方法でした。
比較することで SORACOM Support Bot のことがもっとうまく言語化できるかもしれない、というアイディアです。
実施ルール
参加者は以下 7 名。
- SORACOM Support Bot (と担当 makoto)。
- SORACOM サポートメンバー (mick、kanu、hisaya、mike)。
- ユーザー役として参加していただいた Engineer の shinya と Sales の gyori。SORACOM Support Bot や SORACOM サポートメンバーと、サポートシステムを通じて実際に対話する役目です。
shinya と gyori は、問題の作成と引き出したい回答の作成も担当しました。Bot に有利そうな問題と人に有利そうな問題をうまく作ってくれました。
そして、SORACOM Support Bot と SORACOM サポートメンバーに対して、同時に同じ質問を送ってスタートし、あとは話の流れに沿って、引き出したい回答を得られたら終了、というルールです。たとえば、一問目は gyori と SORACOM Support Bot が、shinya と kanu (SORACOM サポートメンバー) が対話します。スタートの質問は同じで、各問に設定された「引き出したい回答」を得られたら終了です。
「疑問が解決するまでの時間」という点で SORACOM Support Bot が優勢なのは間違いないし、SORACOM Support Bot が正しい回答をするという期待はしていたのですが、実際に「体験」を比べてみると、「適切な文章量」とか「ユーザーの理解を推測する力」など、ユーザーにかかる負荷を軽減するという軸があることも明らかになりました。
短い結論
SORACOM Support Bot との対話では、すべての問いで対話を繰り返すことで期待していた回答を得られました。一方、SORACOM サポートメンバーにも明確な強みがありました。知りたいことの内容、急ぎの程度などにあわせて使い分けていただくと良さそうです。
たとえば、「どこかでこんなことができるって見聞きしたんだけど、どうやってやるの？」とか「ドキュメントに書いてあることは見つけたんだけど、読むのが面倒だからちょっと教えてくれる？」とか「こんな簡単な質問で申し訳ない…。ドキュメントに書いてあると思うんだけど」というようなケースでは、SORACOM Support Bot に聞いていただければ圧倒的に早く解決するでしょう。「ドキュメントに書いてあること」であれば、Bot が十分にサポートできると言えそうです。
逆に「ドキュメントを一通り読んだけど情報が多すぎてよくわからなかった」とか「やりたいことはあるんだけどドキュメントには書いていないと思う。実現方法を相談したい」というように、ドキュメントだけではどうにもならなかった疑問については、SORACOM サポートメンバーに相談していただいたほうが良さそうです。おもてなしの力が段違いでした。
とはいえ、「ドキュメントに書いてあるかどうか」を判定するのは簡単ではありません。まずは、SORACOM Support Bot に聞いていただいて、残念ながらハルシネーションが始まってしまったら、途中から SORACOM サポートメンバーに切り替えることもできます。ぜひお気軽に SORACOM Support Bot に聞いてみてもらえればと思います。
具体的にはリクエストを送信するときに、「問い合わせのカテゴリを選んでください」で「技術仕様・使用法に関する問い合わせ」を選択し、次の項目の説明をよく読んだうえで「まずは SORACOM Support Bot (AI) と対話する」にチェックを入れます。
ということで、四つの問題について体験を比較しましたので、それぞれの見どころを手短に紹介していきましょう！数値で見る両者の強みについては、この記事の最後に書きましたので、ぜひぜひ最後までご覧ください。
一問目: SIM のプランの違いを教えてください
一問目は、「SIM のプランの選びかた (観点) を知りたい。その観点に基づいて、プランを選びたい」という最終目標を見据えた問題にしました。SORACOM サポートメンバーは kanu が対応しました。
ソラコムの主力商品である SORACOM Air for セルラーには、日本国内で利用できるプラン (サブスクリプション) が、10 種類以上あります。様々な用途に合わせて用意したラインアップラインナップであるため、利用シーンに合わせたプランをお選びいただくことになります。そこで SORACOM サポートにアドバイスを受けてプランを選べるか確認する、という出題意図でした。
「SIM のプランの違いを教えてください。」という問い合わせがきたとき、SORACOM Support Bot の回答は次のようになりました (なお、この回答は 2024 年 5 月時点でのものです。みなさんが同じ内容を質問したとしても、同じ回答にはならない可能性があります。ご了承ください。)
| 質問の要約: SIM のプランの違いについて知りたい。 |
| 質問の回答: SORACOM では、利用する地域や用途に応じて複数の SIM プラン（サブスクリプション）を提供しています。以下に主要なプランの違いを説明します。 詳細な説明: 日本カバレッジ plan-D: 日本国内専用のプランで、データ通信のみのプランと SMS 付きプランがあります。速度クラス（s1.minimum、s1.slow、s1.standard、s1.fast）を選択できます。 plan-K2: 日本国内専用のプランで、300MBのデータ通信がバンドルされています。SMS も利用可能です。 plan-DU: 日本国内専用のプランで、10GB、50GB、100GBのデータ通信がバンドルされています。SMS は利用できません。 plan-KM1: 日本国内専用のプランで、データ通信のみのプランです。SMS は利用できません。 グローバルカバレッジ plan01s: 世界中で利用可能なプランで、データ通信と SMS が利用できます。速度クラス（s1.minimum、s1.slow、s1.standard、s1.fast、s1.4xfast）を選択できます。 planX3: グローバルカバレッジのプランで、5MBのデータ通信がバンドルされています。SMS も利用可能です。 速度クラス 各プランには速度クラスが設定されており、通信速度と料金が異なります。たとえば、plan-D では以下の速度クラスがあります。 – s1.minimum: 最も低速で、料金が最も安い。 – s1.slow: 低速。 – s1.standard: 標準速度。 – s1.fast: 高速。 バンドルプラン 一定のデータ通信量が基本料金に含まれるバンドルプランも提供されています。たとえば、plan-DU では10GB、50GB、100GBのバンドル量を選択できます。 SMS の利用 プランによっては SMS の送受信が可能です。たとえば、plan01s や plan-D (SMS 付き) では SMS を利用できますが、plan-DU や plan-KM1 では利用できません。 回答として想定される別のアイディアの要約: – 詳細なプランの比較や選定については、サブスクリプションの種類を参照してください。 – 特定の用途や地域に最適なプランを選ぶために、SORACOM のサポートチームに相談することもおすすめです。 一般的な回答となりますが、具体的な利用シナリオや要件に応じたプラン選定については、SORACOM のサポートチームにお問い合わせください。詳細な情報や最新の料金については、SORACOM の公式サイトをご確認ください。 |
私は、意外とおしゃべりだな、という印象を受けましたが、みなさんはいかがでしょうか。
プランの選びかた (観点) という点では、利用できる国と地域、データ通信量、SMS の利用可否が挙げられています。他方、SORACOM サポートメンバーの kanu が書いた初めての回答は以下のようになりました。通信方式、接続先キャリアという観点を重視しているようですね。視点が少し違うのは、これまでのサポート経験によるものなのでしょう。
| お問い合わせいただきましてありがとうございます。 SIM プラン (plan-D , plan01s など) の違いをお知りになりたい状況と認識いたしました。 SIM のプランは利用できる国・地域、通信方式 (3G, LTE, LTE-M など) 、接続先キャリアなどにより分かれております。 お客様が検討されたい要件 (利用する地域、想定される通信量など) はございますでしょうか。 SIM のプランは多数ございますので、ある程度絞った状態で違いをお伝えできるとスムーズかと存じまして、お伺いしております。 また、既に特定のプランを検討されている場合はその旨を共有くださいませ。 その他、ご不明な点などございましたらご連絡ください。 何卒、よろしくお願いいたします。 |
(紙面の都合ですべての対話は載せられませんが) ボットと対話していた gyori は、「日本国内で使うのであれば、日本カバレッジのSIMを選択すれば良いですか？」「plan-Dとplan-K2とで利用を迷っています。この2つのプランの違いを教えてください。」と対話を続けてゴールしました。一回のやりとりだけでは提供される情報に差があったものの、最終的には、ボットも人 (kanu) と同程度の適切な情報を提供できていました。
読みやすさという点では、kanu は「SIM のプランは多数ございますので、ある程度絞った状態で違いをお伝えできるとスムーズかと存じまして、お伺いしております。」というように、ユーザー(役)のshinya から情報を引き出すことで、shinya が知りたい情報を適切に提供したいというサポートポリシーが感じられる対話になっていました。さすがでした。
一問目からは、ボットに質問したときに一回で期待する情報を得られなかったとしても、追加の質問をすることで十分な情報が得られることがわかりました。たとえば「どのプランを購入すればいいかちょっと心配」「どのサービスを利用すればいいか相談したい」といったケースでは、SORACOM Support Bot と対話してみて、それでも不安が残るようなときには、SORACOM サポートメンバーに聞いていただくと良さそうです。
二問目: ラズパイ (Raspberry Pi) を遠隔メンテしたい
二問目は、SORACOM で最も人気があるユースケースの一つ「遠隔メンテナンス」に関する問いです。SORACOM を使えば簡単に遠隔メンテナンスができるらしい、そんな噂を聞いたことがある方は少なくないでしょう。でも実際には、どうしたら遠隔メンテナンスが実現できるのか、何を契約すればいいのか？ いろいろなことが気になってしまう、というケースもあるでしょう。そこで、どうすれば噂どおりのサービスを受けられるのかを、SORACOM サポートに聞いて的確なアドバイスを受けられるのか！？という出題意図です。
期待するポイントは、「自分が直面している状況で遠隔メンテナンスを行うには、SORACOM Napter と SORACOM Gate のどちらを使うか判断したい」です。
SORACOM サポートメンバーは、hisaya が担当してくれました。
開幕の質問は「SORACOM を使うとラズパイを遠隔メンテできるって聞いたのですが、どのサービスを使ったらいいですか？」でした。
SORACOM Support Bot は以下の回答から始めました。
| SORACOM を使うとラズパイを遠隔メンテできるって聞いたのですが、どのサービスを使ったらいいですか？ |
| ラズパイの遠隔メンテナンスに関するご質問ですね。 SORACOM を使ってラズパイを遠隔メンテナンスするためには、以下のサービスを利用することが考えられます。 SORACOM Gate: SORACOM Gate を利用すると、ラズパイを含むデバイスとクラウド環境（例えば AWS）を双方向で通信できる環境を構築できます。これにより、ラズパイの遠隔メンテナンスが可能になります。 詳細な設定方法については、AWS CloudFormation で Gate Peer を作成する を参照してください。 SORACOM Canal: SORACOM Canal を利用して、ラズパイと AWS VPC をプライベート接続することができます。これにより、セキュアな通信環境を構築し、ラズパイの遠隔メンテナンスが可能になります。 詳細な設定方法については、SORACOM Canal を使用して閉域網で接続する (Amazon VPC ピアリング接続) を参照してください。 SORACOM Door: SORACOM Door を利用して、ラズパイとオンプレミス環境や他のクラウドサービスを VPN で接続することができます。これにより、セキュアな通信環境を構築し、ラズパイの遠隔メンテナンスが可能になります。 詳細な設定方法については、SORACOM Door を使用して Microsoft Azure と VPN 接続する を参照してください。 詳細な説明 SORACOM Gate: Gate Peer を設定することで、ラズパイとクラウド環境間の双方向通信が可能になります。これにより、ラズパイの設定変更やソフトウェアのアップデートなどのメンテナンス作業を遠隔で行うことができます。 SORACOM Canal: AWS VPC とラズパイをプライベート接続することで、セキュアな通信環境を提供します。これにより、ラズパイの遠隔メンテナンスが安全に行えます。 SORACOM Door: VPN 接続を利用して、ラズパイとオンプレミス環境や他のクラウドサービスをセキュアに接続します。これにより、ラズパイの遠隔メンテナンスが可能になります。 別のアイディア SORACOM Napter: 一時的にラズパイに対してリモートアクセスを行いたい場合には、SORACOM Napter を利用することも考えられます。Napter を利用すると、特定のデバイスに対して一時的なリモートアクセスを簡単に設定できます。 一般的な回答となりますが、具体的な設定や利用方法については、SORACOM のサポートチームにお問い合わせいただくか、公式ドキュメントを参照してください。SORACOM のサポートチームは、具体的な環境や要件に応じた最適なソリューションを提供することができます。 |
SORACOM Gate、Canal、Door の情報提供からスタートして、最後に SORACOM Napter まで含まれています。
ユーザー役の shinya は、次の質問として「どのサービスでも遠隔からのラズパイへのアクセスが可能ということでしょうか。どのサービスを利用するべきか、基準はありますか？」と送ってくれました。その後も「遠隔からラズパイの設定変更や、再起動等の命令を行いたいと考えています。この利用用途にはNapterが適切ですか？また、Napterを利用するには、別途AWSとの契約や、SIMが必要でしょうか。」「ありがとうございます。Napterを利用すると、SORACOMのSIMが入ったラズパイにリモートからSSH接続できるようになるということでしょうか？」と、対話を繰り返し、少しずつ Napter を利用することを心に決めていった様子。
ここでもやはりボットに質問を繰り返すことで、回答の方向性が適切に定まってくる印象がありました。
一方の hisaya からの回答はどうだったのでしょうか、見てみましょう。
| お問い合わせいただき、ありがとうございます。 お送りいただいた内容について、ご認識のように当社サービスをご利用いただくことで Raspberry Pi を含むお客様の機器にリモートアクセスいただけます。 接続に適したサービスや形態につきましては、台数やアクセスしたいクライアント機器などに応じて検討いただくとよろしいかと存じます。下記のユーザードキュメント等をご確認のうえ検討いただけますと幸いでございます。 デバイスにセキュアにリモートアクセスする IoT SIM で通信しているデバイスに対して外部からアクセスできますか？ 回答は以上となりますが、上記ドキュメント等の内容を含めご不明な点などございましたらお知らせください。 どうぞよろしくお願いいたします。 |
サービス名を出すことなく、ユーザードキュメントを提示することで質問側の時間を無駄にしない情報量に限定しています。これに対し、ユーザー役の gyori の回答はこうでした。
「ご回答ありがとうございます。ラズパイは合計で3~5台くらいになる予定です。今は1台です。SORACOM Gate、SORACOM Napter というサービスがあることは分かったのですが、どちらを使えば良いのかわかりません。ドキュメントを読むのが面倒なので、教えていただけませんか。」
ドキュメントを何とか読んでいただくことはできませんか！！とドキュメント担当 (私 makoto) が盛大に突っ込みたくなったのは言うまでもありませんが、hisaya はそんなことをほのめかすこともなく、ていねいに情報を引き出そうと対話を続け、最終的には gyori は「特定地域向け IoT SIM を使いつつ、Napter を使う」という結論に到達しました。
ボットは質問者の意図や置かれている状況を想像して情報を提供し続け、hisaya は質問者の意図や置かれている状況をヒアリングしつつ情報を提供する、という違いがありましたが、ボットとの対話でもしっかりゴールまでたどり着けていました。
これは両者にとってなかなか難しいお題だったかもしれません。
三問目: (ソラカメの) プランの違いを知りたい
三問目は、あらゆるビジネス現場を身近につなぐソラコムクラウドカメラと銘打って人気のソラカメ (Soracom Cloud Camera Services) です。ソラカメもいくつかプランがあり、用途に合わせて選んでいただけるようになっています。
SORACOM サポートメンバーは、mike が担当してくれました。mike は「スピード重視で行きます！」と、普段とは異なり、 SORACOM Support Bot が得意な分野で正々堂々と戦う (?) ことを宣言し、「その手があったか！！」と参加者全員をざわつかせるところからスタート。
ユーザー役のgyori と shinya が準備した開幕の質問は「このページにある緑色と紫色のプランの違いをおしえてください。https://sora-cam.com/pricing/」(この文章のとおりでした)SORACOM Support Bot が持っていないであろう、ウェブページ上の「色」といった視覚情報によるお問い合わせです。
この問題のゴールは『「クラウド常時録画 ライセンス」と「クラウドモーション検知無制限録画 ライセンス」のどちらを利用するか決め、そのライセンスを利用するために必要な手順を知る』でした。
そもそもソラカメのことであるということも明記されていないので、LLM 担当としてはこれは無理じゃないかなぁとも思いましたが、どうやら URL から (アクセスはできないものの、その文字列から) ソラカメのことであることは理解できた様子。以下の回答になりました。
| 質問の要約: SORACOM Cloud Camera Services（ソラカメ）の緑色と紫色のプランの違いについて知りたい。 |
| 質問の回答: SORACOM Cloud Camera Services（ソラカメ）の緑色と紫色のプランの違いについては、具体的な情報が提供されていないため、詳細な回答はできません。 一般的な回答となりますが、プランの詳細や違いについては、公式のサポートページやお問い合わせ窓口にて確認することをお勧めします。以下のリンクから詳細な情報を確認するか、直接お問い合わせください。 ソラカメの料金ページ ソラカメのサポートページ SORACOM が詳細に回答できない理由: プランの具体的な内容や違いについては、公式の料金ページやサポートページに記載されている情報が最も正確で最新です。公式の情報を確認することで、正確なプランの違いを理解することができます。 |
まずは、SORACOM Support Bot が把握する情報の中には、「緑色と紫色のプラン」がないことを明示しています。これは良いふるまいでした。しかしながら、Bot が書いたリンクは一方が無効なもの (つまりハルシネーション) で、少し残念でした。
その後、gyori は何度かのやり取りの末、『「クラウド常時録画 ライセンス」と「クラウドモーション検知無制限録画 ライセンス」との違いを教えてください。』と聞き直してくださったり、そのあと何回かの Q&A を通して、なんとかゴールまでたどり着いていました。質問の意図が正しく伝われば、ボットだけでも対応できるようでした。
SORACOM サポートメンバー mike の回答も見てみましょう。（以下は原文をそのまま掲載しています）
| お問い合わせありがとうございます。 緑いろはクラウドモーション検知無制限録画 ライセンスというプランです。モーション (動体) を検知している間に動画を録画します。録画時間の制限や、再検知までの時間制限はありません。 紫色はクラウド常時録画 ライセンスというプランです。モーション検知録画だけでなく、常時、動画が録画されます。 クラウド常時録画とクラウドモーション検知 “無制限” 録画の違いは下記をご確認くだし ソラカメ対応カメラで利用できる映像について | はじめに: Soracom Cloud Camera Services でできること | Soracom Cloud Camera Services | ソラコムユーザーサイト – SORACOM Users よろしくお願いいたします。 |
スピードに全振りした mike の回答は、「緑いろ」「ご確認くだし」などの typo が散見されましたが、そんなことも気にしない漢 (おとこ) な感じがしますね。(※実際のサポート業務では Bot を意識せずに、もっと時間をかけて対応しています。)
一見、これでほぼほぼ回答しているのでは？とも見えるのですが、実は隠れた出題意図として、「SORACOM ユーザーコンソールでライセンスを割り当てられるという情報も引き出すべし」というものがあったため、対話が続きます。
SORACOM Support Bot との対話では、その情報を引き出すために何回かやりとりが行われましたが、 mike は、ユーザー役のshinya とのやり取りの中で、隠れた出題意図を読み取ったのでしょう。具体的な質問が出る前に、「ライセンス解除・再割り当ては後からでもできます。下記のようにSORACOMユーザーコンソールから変更いただけます。」と回答していました。「スピード重視」でもちゃんと先回りしていてさすがでした。
満足するまでの時間については「スピード重視で行きます！」と宣言していた mike の作戦もあり、時間差が最も小さい結果となりましたが、やはり Bot のほうが速いのは間違いありません😊
四問目: ソラカメで定期的に静止画を撮影したい
とうとう最後の質問です。質問は「ソラカメがとても便利だと思うのですが、データ通信量を抑えたいです。たとえば定期的に静止画を撮影できますか？」からスタートです。これが実はなかなかの難問です。想定回答は「データ通信量を抑えるために、ソラカメ対応カメラで定期的に静止画を撮影して静止画だけをアップロードすることはできない」でした。できないことをできない、と回答できるのかが見どころでした。
これまでと同じように、SORACOM Support Bot の回答から見ていきましょう。
| ソラカメがとても便利だと思うのですが、データ通信量を抑えたいです。たとえば定期的に静止画を撮影できますか？ |
| ソラカメの利用方法について、データ通信量を抑えたいというご質問ですね。 質問の要約 ソラカメで定期的に静止画を撮影し、データ通信量を抑える方法について知りたい。 質問の回答 ソラカメでは、定期的に静止画を撮影する設定は直接的には提供されていませんが、APIを利用して定期的に静止画を取得することが可能です。 詳細な説明 ソラカメの設定で定期的に決まった動作を行ったり、静止画を撮影したりする機能は提供されていません。しかし、ソラカメはAPIを公開しており、APIを利用することで定期的に静止画を取得することが可能です。以下の手順でAPIを利用して静止画を取得することができます。 APIの利用: ソラカメのAPIを利用して、定期的に静止画を取得するスクリプトを作成します。例えば、PythonやNode.jsなどのプログラミング言語を使用して、定期的にAPIを呼び出すスクリプトを作成できます。 スケジューリング: 作成したスクリプトを定期的に実行するために、cronジョブ（Linux）やタスクスケジューラ（Windows）を使用してスケジューリングします。これにより、定期的にAPIを呼び出して静止画を取得することができます。 回答として想定される別のアイディアの要約 クラウドモーション検知”無制限”録画ライセンス: 通信容量を減らすために、クラウド常時録画ライセンスからクラウドモーション検知”無制限”録画ライセンスに切り替えることも検討できます。モーション検知が発生したときだけ映像をクラウドにアップロードするため、通信容量の大幅な削減が期待できます。 一般的な回答となりますが、詳細な設定や具体的なスクリプトの作成については、ソラコムのサポートチームにお問い合わせいただくことをお勧めします。ソラコムのサポートチームは、具体的な技術的なサポートを提供できます。 |
最後に出力された「クラウドモーション検知 “無制限” 録画ライセンス」を使う方法は悪くありませんが、その前に書かれている内容は、ソラカメ対応カメラの通信量を削減することには寄与しません。
この回答を見ると、質問には「ソラカメ対応カメラの通信量」とは書いていないので、誤解するのもわからないではない…と言えなくもありません。(が、それは LLM 担当の勝手な思いかもしれません😅)
その後、質問者の shinya からの助け舟が入り「つまり、クラウドに保存された録画から定期的に静止画を取得することができるということでしょうか。カメラの通信量を削減するために静止画のみをアップロードすることはできますか？」という質問で注目してほしいところを限定してくれました。ここからは、何とか「静止画のみをアップロードすることはできません」という回答がでてくるものの、ユーザーの期待に応えたい気持ちが優先したのか、さまざまなハルシネーションを発動してしまいました。。。悔しい。
もし、途中で「これは事実とは異なりそう」とか「これはボットの願いが書かれているな」と感じられるようなことがあったら、SORACOM サポートメンバーに切り替えていただくのが良さそうです。
一方、SORACOM サポートメンバーの mick はどのように回答したでしょうか？
できないことは「できない」と回答しつつ、返す刀で出題チームが予想もしなかった「スリープ」の利用を提案！出題チームも驚く一手の紹介に舌を巻きました！！
質問には「何かを検知したときの静止画」ということも書いていませんし、「撮影したいと思ったときに静止画を撮影したい」とも読めますので、適切な回答と言えるでしょう。
ドキュメントでは明確に書かれていない利用方法を相談するときは、SORACOM サポートメンバーに聞いていただくほうがよいことが分かる結果になりました。(ボット担当としては、悔しいの一言ではあります。)
感想戦
参加者の感想も聞いてみましたので、抜粋して紹介します。
SORACOM サポートメンバー:
- Bot の正答率が高くて驚きました。質問内容がシンプルだと良いのか、あるいは GPT のバージョンをあげたからなのか、要因分析をしたいところではありますが、いずれにせよ希望が持てる結果だと感じました。(kanu)
- 特に二回戦のリモートアクセスに回答できたことは凄くすごいと思いました。
- あえて、長文で質問したらどういった回答精度になるのかも試してみたい気持ちがあります。
- 発想力を必要とするケースにおいては本気を出したサポートよりも品質は劣るな、、という気持ちはありますが、必要なドキュメントとその要約を引っ張ってくるツールとしてとても強いなと思いました。まだまだ引退できません。(mick)
ユーザー役より:
- 相手がBotですぐに返事を返してくれると、雑に質問を投げられるという心理的負担軽減もあるなと感じました。(shinya)
- さすがエキスパートは回答が適切だと思いました。Botは正しいことを言っていても余計な情報も多いので読むのが大変、と思うことがありました。遠隔メンテナンスの質問は、Gate、Canal、Door、Napterを提示された時点で諦めてサポートスタッフに切り替えていたかもしれないです。ただ、そういう時でもダメ元で雑に追加質問できるのがBotの良いところかな、とも思いました。（shinya）
- botは質問したいことが明確なときには早く回答を得られるという強いメリットを感じました。一方で自分自身の理解が浅く質問すらも明確にできないときには、道筋を適切な量と、素早いのに丁寧な内容でさし示してくれるCREメンバーのありがたみを強く感じるなと思いました。 (gyori)
- botに回答を求めるための質問スキル (例えば三問目のような質問だとbotにとってはわかりづらい) が必要だなと感じました。構造の理解や慣れがあるとよりbotのパワーを活かせるのだろうと。 (gyori)
まとめると、以下のようになるでしょうか。
- SORACOM Support Bot は、期待する以上の正答率がある。試さない手はない。
- 手早く情報を収集する用途や、質問者も何を聞いたらいいかわからないときでも気軽に聞ける、という点では非常に有用。
- 本気を出した SORACOM サポートメンバーは、より適切な情報提供ができるケースがある。
つまり、初手で SORACOM Support Bot に聞き、不安が残るときには、そのまま SORACOM サポートメンバーに対応を求める、というのが良さそうです。適材適所で使っていただければと思います！
おわりに
今回の結果からそれぞれの強みを読み取ると、以下のようになると思います。
- SORACOM Support Bot の強み:
- 気軽なやり取り。相手がボットと分かっているためか、堅苦しい挨拶などは省かれることが多いようでした。
- 圧倒的な情報量！ SORACOM Support Bot は、質問に回答する情報もあわせて提供するため、人よりも多くの情報を返していました。
- 何しろ早い！！ 質問を送信してから回答が返ってくるまでの待ち時間が、SORACOM サポートメンバーと比べて圧倒的に短かったです。
- SORACOM サポートメンバーの強み:
- 適切な情報量！ ユーザーが理解するべき内容を的確に推測し、ちょうどいい情報量で案内できていました。回答が届くまでは時間がかかるものの、回答が届いてから読み終わるまでの時間は、SORACOM サポートメンバーとの対話のほうが短く済む可能性があります。
- より的確な回答。誤った回答や、ユーザーが「わき道にそれている」と感じるような対話が少ないと考えられます。(SORACOM Support Bot は、ハルシネーションなどで対話回数が増えることがありました。)
繰り返しになりますが、上記のように、両者には明確な強みがあり、知りたいことの内容、急ぎの程度などにあわせて使い分けていただくと良さそうです。
具体的には、「どこかでこんなことができるって見聞きしたんだけど、どうやってやるの？」とか「ドキュメントに書いてあることは見つけたんだけど、読むのが面倒だからちょっと教えてくれる？」とか「こんな簡単な質問で申し訳ない…。ドキュメントに書いてあると思うんだけど」というようなケースでは、どうぞお気軽に SORACOM Support Bot に聞いてみてください。
逆に「ドキュメントを一通り読んだけど情報が多すぎてよくわからなかった」とか「やりたいことはあるんだけどドキュメントには書いていないと思う。実現方法を相談したい」というように、ドキュメントだけではどうにもならなかった疑問については、 SORACOM Support Bot から始めつつも、回答に満足いただけなかったら、SORACOM サポートメンバーに切り替えるというのが良さそうです。おもてなしの力が段違いです！
ということで、この記事をきっかけに SORACOM Support Bot を利用してくださる方が増えますように！ ソラコムでは、これからも SORACOM Support Bot を進化、改善していきます。ぜひご期待ください！ フィードバックもお待ちしております！！
最後に宣伝です。2024 年 7 月 17 日に東京ミッドタウンで開催される SORACOM Discovery 2024 で「LLMと共に進むSORACOMサポートの挑戦と効果」というタイトルで、SORACOM Support Bot のプロジェクトで 1年以上継続してきた挑戦を紹介させていただきます。RAG に挑戦しているみなさま、ぜひ聞きに来てください！語り合いましょう！！
― ソラコム矢崎 (makoto)