シナリオ型チャットとENOKI5.0を比べてみる

「チャットボット ～ 種類別の仕組みを解説～」の記事でご紹介したようにチャットボットで使用されるエンジンの種類には大きく分けると検索型、シナリオ型、機械学習型、オントロジー型などがあります。前回の記事は検索型とENOKIとの比較について実験結果などを書かせていただきましたが、今回は検索型と同様に安価なものでよく使われるもう一つのチャットの種類、シナリオ型との比較をしてみたいと思います。なお今回も、実験データ以外の、シーン、組織名、他社製品名などは内容分かりやすく説明するためのフィクションですので、あらかじめご了承ください。

B社ではお客様センターの負荷軽減のため、チャットボットで質問回答の無人対応を検討しました。スモールスタートの考え方を持っていたB社は、まずチャットボットを立ち上げて無人対応を始め、そこから必要な部分に人手や費用をかけて効率よく対応範囲を広げたいと考えていました。すべての問い合わせを無人対応することは困難なため、このようにどこを無人対応すると効果的なのかを業務に合わせて測りながら進める方法は非常に良い進め方です。
B社は色々な製品を検討し、聞き返しをしながらお客様を回答に誘導できるという点に魅力を感じ、シナリオ型チャットの製品YとENOKIを候補に選びました。シナリオ型チャットは自由な質問入力はできないものの、GUIで簡単にシナリオが定義できるという点、ENOKIは自由入力ができそれに応じた聞き返しができる、Q&Aのデータもエクセルで簡単に作れるという点で候補に選択したとのことです。
B社では契約に関する問い合わせが多くその中でも契約の確認とプラン変更についての問い合わせを無人化することにしました。以下に示すようにどちらの問い合わせも対象の契約プランにより回答が異なるので、プランを聞き返して回答を提示するようにチャットボットを設計することにしました。

No.	質問	回答
1	契約の確認（ライトプランのお客様）	ライトプランのお客様の契約確認方法について・・・
2	契約の確認（スタンダードプランのお客様）	スタンダードプランのお客様の契約確認方法について・・・
3	契約の確認（ビジネスプランのお客様）	ビジネスプランのお客様の契約確認方法について・・・
4	契約の変更（ライトプランへ変更）	契約をライトプランに変更するには、・・・
5	契約の変更（スタンダードプランへ変更）	契約をスタンダードプランに変更するには、・・・
6	契約の変更（ビジネスプランへ変更）	契約をビジネスプランに変更するには、・・・

まず、シナリオ型チャットの評価をすることにしました。シナリオ型チャットでは次のようにユーザーの選択により回答まで誘導を行うためのシナリオを作成します。

シナリオ型チャットを開くと、最初の挨拶とともに１段目の選択肢が表示され、それを選択すると次の選択肢、というように聞き返しによりシナリオが進んでいきます。シナリオの末端にたどり着くと回答が提示されます。

このシナリオ型チャットをお客様センターのサイトに設置して無人対応を開始しました。想定通り「契約の確認」「契約の変更」に関する回答の表示回数が多く、これらの問い合わせによく無人対応できているようでした。そこで次に問い合わせの多い「住所の確認」「住所の変更」に関する問い合わせを新しくチャットのQ&Aに追加することにしました。

No.	質問	回答
1	契約の確認（ライトプランのお客様）	ライトプランのお客様の契約確認方法について・・・
2	契約の確認（スタンダードプランのお客様）	スタンダードプランのお客様の契約確認方法について・・・
3	契約の確認（ビジネスプランのお客様）	ビジネスプランのお客様の契約確認方法について・・・
4	契約の変更（ライトプランへ変更）	契約をライトプランに変更するには、・・・
5	契約の変更（スタンダードプランへ変更）	契約をスタンダードプランに変更するには、・・・
6	契約の変更（ビジネスプランへ変更）	契約をビジネスプランに変更するには、・・・
7	住所の確認	住所の確認はマイページから・・・
8	住所の変更	住所の変更には次の書類をご用意ください・・・

新しいQ&Aを追加するためシナリオは次のように変更しました。赤い部分が追加したり組み替えた部分になります。チャットを開始すると「契約の手続き」「住所の手続き」を選べるようにし、住所に関する問い合わせのユーザーにも対応できるようにしました。

新しいQ&Aを追加したシナリオ型チャットをリリースしてしばらく運用したところ「住所の変更」に関する回答は想定通り利用されていました。しかし想定外だったのは、「契約の確認」についての回答が選ばれる回数が少なくなっており、お客様センターへの確認方法の問い合わせがQ&A追加前より増えたようでした。
その理由について検討したところシナリオの作り方に原因があるのでは？という点が浮上してきました。今までは「契約の確認」「契約の変更」が最初から提示されていたのでユーザーは迷わず選ぶことができましたが、変更後は最初の選択が「契約の手続き」「住所の手続き」となったため「契約の手続き」が確認も含むことに気づかなかったユーザーがそのシナリオを選ばなかったためではないかと考えました。
この問題を解決するため「確認」「変更」を前に出すこととしました。シナリオの構造を大きく変える必要がありましたが、まだQ&Aの数が少ないので何とか対応で来た感じです。これがQ&Aの数が100や200になり全体の見渡せなくなった時、シナリオ全体の整合性を取ってシナリオの構造を大きく変えることができるのか、運用の不安を感じました。

新しいシナリオをリリースして運用すると、どの回答もまんべんなく利用されるようにはなったようです。しかし「契約の確認」「契約の変更」に対する無人対応は最初にリリースしたときほどの使われ方ではなく、お客様センターへの問い合わせも依然来ているようでした。担当者は、選択の奥にある回答に適切に誘導するシナリオ作りはコツが要り意外と難しいと感じ、ここでシナリオ型チャットの評価は一旦終えることにしました。

次に、ENOKIのチャットをお客様センターサイトに設置して無人対応の評価をすることにしました。
ENOKIは質問と回答の一覧をエクセルに記述してQ&Aを作成します。また分類列にQ&Aを分類するためのタグを追加しておくことで聞き返しが自動で行われるということでした。「分類」というのが今まで聞いたことが無い概念で、最初少しわかりにくいと感じましたが、シナリオ型チャットの選択肢に近いものということです。シナリオの選択肢は上から下まで順を追って進んでいくので回答まで一本の線で繋がっている必要がありますが、ENOKIの「分類」はもっと緩い制限で使えるもののようでした。今回はシナリオ型チャットボットと同じ設計で「分類」を作成し、次のようなデータを登録してチャットボットをリリースしました。

No.	分類１	質問	回答
1	契約の確認	契約の確認（ライトプランのお客様）	ライトプランのお客様の契約確認方法について・・・
2	契約の確認	契約の確認（スタンダードプランのお客様）	スタンダードプランのお客様の契約確認方法について・・・
3	契約の確認	契約の確認（ビジネスプランのお客様）	ビジネスプランのお客様の契約確認方法について・・・
4	契約の変更	契約の変更（ライトプランへ変更）	契約をライトプランに変更するには、・・・
5	契約の変更	契約の変更（スタンダードプランへ変更）	契約をスタンダードプランに変更するには、・・・
6	契約の変更	契約の変更（ビジネスプランへ変更）	契約をビジネスプランに変更するには、・・・

ENOKIによるチャットを開くと、最初の挨拶とともに質問をしてほしい旨が提示され、「分類」１列目も選択肢で表示されます。ユーザーは質問を入力するか選択肢を選ぶことができます。最初の印象はシナリオに加えてフリーワード質問が入力できるチャットというイメージでした。

ENOKIでも「契約の確認」「契約の変更」に関する回答の表示回数が多く、これらの問い合わせによく無人対応できているようでした。そこで前回同様に「住所の確認」「住所の変更」に関する問い合わせを新しくチャットのQ&Aに追加することにしました。
最初にENOKIに登録したエクセルデータに新しいQ&Aの行を追加し、「分類」については列を一つずらして１列目は「契約の手続き」「住所の手続き」としました。Q&Aデータに列の入れ替えや行追加をしましたがエクセルは表計算に特化されているのでオペレーションは易く感じました。

No.	分類１	分類２	質問	回答
1	契約の手続き	契約の確認	契約の確認（ライトプランのお客様）	ライトプランのお客様の契約確認方法について・・・
2	契約の手続き	契約の確認	契約の確認（スタンダードプランのお客様）	スタンダードプランのお客様の契約確認方法について・・・
3	契約の手続き	契約の確認	契約の確認（ビジネスプランのお客様）	ビジネスプランのお客様の契約確認方法について・・・
4	契約の手続き	契約の変更	契約の変更（ライトプランへ変更）	契約をライトプランに変更するには、・・・
5	契約の手続き	契約の変更	契約の変更（スタンダードプランへ変更）	契約をスタンダードプランに変更するには、・・・
6	契約の手続き	契約の変更	契約の変更（ビジネスプランへ変更）	契約をビジネスプランに変更するには、・・・
7	住所の手続き		住所の確認	住所の確認はマイページから・・・
8	住所の手続き		住所の変更	住所の変更には次の書類をご用意ください・・・

新しいデータでリリースをしたところ、どの回答も参照の回数は多く、よく無人対応できているようでした。最初の選択肢の内容はシナリオ型チャットで拡張をした際と同じため選択肢で回答にたどり着いている回数は減ったようですが、フリーワードの質問が入力できるのでユーザーが「契約の確認」と入力して回答にたどり着いている回数が増えたようです。また「確認したい」「契約したい」のように何を確認したいのか明示しない質問に対しても聞き返しによって対応できていることが分かりました。データを大きく組み替えなくてもQ&Aの拡張ができ、運用の道筋が見えた感じです。

フリーワードで入力された質問で回答にたどり着かなかったものを分析し、質問の傾向を見る機能もENOKIではあったので、次にどういうQ&Aを追加するか計画できるようになったのも収穫でした。

B社では以下がポイントとなりENOKIを選択し無人対応に取り組むことになりました。

• Q&Aの拡張が容易にでき運用が破綻しない
• 回答にたどり着けない質問を分析しQ&A拡張の計画が立てられる

チャットボットでの無人対応は、すべての問い合わせを100%対応することは難しいです。小さいところからチャットボットを立ち上げて、無人対応範囲を徐々に拡張していく。それができるチャット製品ENOKIの詳細はこちらをご覧ください。