検索型チャットとENOKI5.0を比べてみる

前回の記事ではチャットボットで使用されるエンジンの種類（検索型、シナリオ型、機械学習型、オントロジー型）を紹介し、それぞれの特徴について説明をしました。ENOKI5.0は独自の自然言語処理をもち、それらのエンジンを状況に合わせて使用するハイブリッド型チャットであることを解説しました。

世の中に多くのチャットボット製品があるなか検索型やシナリオ型に該当する製品は機能がシンプルで簡単に使えるように見え、費用も安価なので、検討を始めたばかりのお客様は、自分の業務や用途に合っているかをよく考えずに、まずこのようなものを選ばれてしまうというお話をよく聞きます。しかし、当社では目的や状況によって選ぶべきチャットボットの種類を適切に選ぶことが大切と考えて、過去に「お客様にマッチしたチャットボットを選ぶには？～チャットボットマッチングチャート～」を掲載させていただきました。今回は性能面からの考察ということで、検索型チャットとENOKI5.0の比較をご紹介したいと思います。

検索型チャットは名前の通りユーザーの質問に対し「検索」をして回答を提示するチャットのエンジンです。エンジンには質問回答の組（Q&A）が登録されており、ユーザーの質問を受け取ると同じキーワードを含むQ&Aを検索する仕組みです。

対してENOKIはハイブリッド型チャットと呼ばれる仕組みであり、オントロジー型チャットを基盤として、利用シーンにより検索型、シナリオ型、機械学習型、オントロジー型の各種チャットエンジンを自動選択し応答を返す会話エンジンです。

なお、本文中の実験データ以外の、シーン、組織名、他社製品名などは内容分かりやすく説明するためのフィクションですので、あらかじめご了承ください。

A社ではお客様サポートからの質問増加に対応しようと、チャットボットで質問回答の無人対応を検討しました。スモールスタートの考え方を持っていたA社は、まずチャットボットを立ち上げて無人対応を始め、そこから必要な部分に人手や費用をかけて効率よく対応範囲を広げたいと考えていました。すべての問い合わせを無人対応することは困難なため、このようにどこを無人対応すると効果的なのかを業務に合わせて測りながら進める方法は非常に良い進め方です。
A社は色々な製品を検討し、チャットボットが立ち上がるまでの時間や手間を極力かけないよう、手持ちのエクセルのFAQ（よくある質問回答の一覧）を加工せずそのまま使える、検索型チャットの製品XとENOKIを候補に選びました。同社ではお客様対応用のFAQをすでに持っていたのでそれをそのまま活用できる点が良かったようです。

FAQをそのまま流し込めばチャットボットが構築できると説明を受けたが、本当にそうなのか？どの程度無人対応できるのか？など話だけでは実感がつかめなかったので、製品候補のベンダにお願いして評価をしてみることにしました。評価をするには基準を設ける必要があるのでA社は立ち上げ初期状態のチャットボットの評価として次の基準を考えました。

基準	内容
正答	質問に対して正答が一つだけ出力される
範囲内正答	質問に対して複数の候補が表示され、正答が一覧内に出力される（上位3位まで）
範囲外	質問に対して、正答は回答候補に出力されない

「正答」は質問に対して正しい回答が1つだけ出力される結果です。ユーザーはその回答だけを見れば知りたいことが解決することになります。ユーザーの質問に対してチャットボットが的確に答えていることになるので、最も良い結果といえます。

「範囲内正答」は質問に対して正しい回答を含んで複数の候補が出力される結果です。ユーザーの質問に対してチャットボットは正答以外の結果も返していますが、一覧にあるのでユーザーが選んで正答にたどり着くことができますので、ユーザーに選ぶ負担を強いることにはなりますが、妥当性はある結果と言えます。同時に表示する回答候補を増やせば範囲内正答の率は上がりますが、チャットのウインドウに大量の候補は表示しきれずUI的に問題が出ると考えたため、上位3位までを範囲内正答とすることにしました。

「範囲外」は質問に対して正答が回答候補に出力されない結果です。ユーザーは正答にたどり着けないのでよくない結果であると言えます。

検索型チャットとENOKI5.0それぞれの評価用サイトを立ち上げてもらい、手持ちのFAQを登録して評価を始めました。評価に協力してくれる社員の人たちに、FAQの内容をあらかじめお知らせしておき、その範囲内で自由に質問をしてもらいました。

質問の結果がどの基準に該当するかを集計して評価結果としてまとめました。各基準の割合を示したものがこちらです。結果としてはENOKI5.0の正答率が高いことが分かりました。

基準	検索型チャットX	ENOKI5.0
正答	7%	47%
範囲内正答	72%	35%
範囲外	21%	18%

検索型チャットは質問に含まれる語がFAQに含まれていれば回答候補となるので、範囲内正答として正答を含む結果一覧になるケースが多いのは、仕組み上納得ができます。
ENOKI5.0のほうも質問とFAQに含まれる語を使い回答を引いてくるとのことですが、そこに自然言語処理を加えているため正答を一件選び出すことが得意なようです。そのため、同じFAQデータを使用しても正答の割合が4倍近くになっているのが検証できました。

手持ちのFAQを登録して手早くチャットボットを立ち上げた後は、利用状況を見ながらデータ整備をして無人対応の精度を上げる計画です。「範囲外」に分類されたものをまず救うことで多くのユーザーに無人対応ができることになると考えられるので、範囲外のケースがどういう理由によるものかを分析しました。その結果を以下に示します。

基準	検索型チャットX	ENOKI5.0
範囲外	21%	18%
下位正答	12%	5%
正答なし	9%	13%

「下位正答」は正答が回答候補として選ばれていたが上位3位までに入らなかったので一覧からは除外されたもの、「正答なし」は期待する正答が回答候補に選ばれなかったものを示します。これらをどう救うことができるかを検討したところ、ENOKI5.0では「聞き返し」と「シノニム」機能により可能性があることが分かりました。

「聞き返し」機能はFAQの各質問回答に分類のためのタグをつけておくことで聞き返しにより回答の絞込を行う機能です。ENOKI5.0はオントロジー型チャットをベースとしており、回答候補の数が多い場合にタグをもとに聞き返しをすることでユーザーを回答まで導くことができるので、回答にたどり着けない課題のうち「下位正答」が原因のものを解決できそうです。オントロジー型チャットの仕組みついては、別記事「チャットボット ～ 種類別の仕組みを解説～」で説明がありますのでご覧ください。
「シノニム」機能は類義語を登録して、ユーザーが質問できる言い方を広げる機能です。「正答なし」が原因のものは質問に含まれる語から正答が引けなかったということなので、シノニムを使い言い方のバリエーションが広がれば解決できる可能性が高まります。

検索型チャットXでもこれらを救う方法を検討しましたが、安価で機能がシンプルであるため、できることは検索上位に出るようにFAQの文章を試行錯誤で変更するなどしかなく大変そうという印象でした。

A社では以下がポイントとなりENOKI5.0を選択し、無人対応に取り組むことになりました。

• 手持ちのFAQデータで精度良いチャットボットを速く立ち上げられる
• 「聞き返し」「シノニム」など立ち上げ後に精度を上げる仕組みが備わっている

チャットボットでの無人対応は、すべての問い合わせを100%対応することは難しいです。速くチャットボットを立ち上げて、そこからどこを無人対応すると効果的なのか、どこは有人で対応するべきなのかを自分の業務に合わせて測りながら進める。それができるチャット製品ENOKI5.0の詳細はこちらをご覧ください。