In questo articolo proveremo ad approfondire cosa sono gli AI Chatbot e come si possa misurare la sua “intelligenza”.
I chatbot che ovunque nel web si sostituiscono agli operatori nel fornire assistenza sui sito web ed in particolare sugli e-commerce, sono molto diversi l’uno dall’altro. In generale si classificano per non conversazionali e conversazionali: i primi guidano la conversazione proponendo pulsanti di navigazione che guidano l’utente nell’ambito della knowledge base del sito; i secondi sono sistemi in grado di “dialogare” con l’utente interpretando domande aperte espresse in linguaggio naturale.
Scopri come avere Laila gratis per 15 giorni
I chatbot non conversazionali sono considerati oggi strumenti obsoleti, non tanto per la tecnologia che li sottende quanto per la user experience che offrono agli utenti: navigare le informazioni premendo tasti di navigazione non è molto diverso dall’interagire col menù principale del sito e viene percepito come se si stesse utilizzando il classico help in linea di Microsoft Office (un sistema di reperimento delle informazioni che risale agli anni ’90).
I chatbot conversazionali sono certamente il futuro della comunicazione B2C in quanto offrono agli utenti una esperienza di dialogo nell’ambito della quale l’utente è libero di esprimere le proprie esigenze descrivendole in linguaggio naturale.
Non è semplice misurare l’efficienza dei chatbot conversazionali. In generale ciascun chatbot è caratterizzato:
- da un determinato livello di comprensione del linguaggio naturale
- dalla capacità o meno di collegare la conversazione a flussi di dialogo orientati verso uno specifico obiettivo
- dalla capacità o meno di rilevare lo stato d’animo dell’utente (il mood o sentiment) e di adeguare ad esso la conversazione.
Tutte queste caratteristiche passano attraverso l’applicazione di tecnologie di Machine Learning che rientrano nel più ampio ambito delle Intelligenze Artificiali.
In altre parole, un AI Chatbot è un operatore virtuale in grado di conversare con gli utenti con l’obiettivo di realizzare un dialogo che sia fluente, utile ed adattivo.
La comprensione del linguaggio naturale, il rilevamento della sentiment e la creazione di obiettivi per la conversazioni sono prerogativa delle tecnologie di AI, ma:
- non tutte le tecnologie di AI rispondono altrettanto bene
- una buona base tecnologica basata sulle AI non è sufficiente, serve un approccio multidisciplinare (UX design e psicologia ad esempio sono fondamentali).
Ad oggi non esiste un vero e proprio sistema di verifica oggettivo della qualità degli AI Chatbot: proprio per la loro somiglianza con l’umano, un’analisi della qualità delle risposte deve passare necessariamente attraverso la valutazione di un umano.
Scopri come avere Laila gratis per 15 giorni
Nell’ambito del progetto Laila sono stati introdotti alcuni KPI, delle metriche che consentono una misurazione del livello di gradimento più o meno indiretta. Ad esempio, la qualità percepita del servizio di assistenza da parte degli utenti passa certamente attraverso i seguenti indicatori:
- la durata delle conversazioni, espressa sia in termini di tempo che di numero di interazioni, quando sufficientemente alta è un indicatore positivo in quanto utenti che non ricevono da subito risposte coerenti con la domanda abbandonano immediatamente la chat;
- frequenza con cui gli utenti “ringraziano” Laila alla fine della conversazione;
- feedback sulla qualità del servizio percepito: Laila chiede esplicitamente una valutazione all’utente che risponde con un numero che va da 1 a 5;
- percentuale degli utenti che “convertono” a seguito di una conversazione con Laila: ad esempio, su un e-commerce è il numero degli ordini che scaturiscono da una conversazione con Laila in relazione al totale delle conversazioni sostenute.
La metrica al punto 1 è una metrica indiretta mentre le altre possono essere considerate direttamente applicabili alla valutazione del chatbot.
Il team del Progetto Laila è al lavoro su nuovi indicatori della qualità degli AI Chatbot.