Statistiche Generative AI - Revisiona le Interazioni AI con Piena Tracciabilità in ConvyAI
Panoramica
La sezione Generative AI consente di cercare conversazioni che hanno coinvolto il servizio Generative AI e ispezionare ogni dettaglio di ogni interazione - dal modello invocato ai chunk della knowledge base recuperati, fino alla catena di risposta completa dell'AI Agent.
Vai su Monitor → Generative AI.
Ricerca
Filtra le interazioni per:
- Nome bot
- Dialog ID
- User ID
- AI Model
- Feedback (valutazione dell'utente sulla risposta AI)
Lista risultati
La lista dei risultati mostra ogni interazione con:
- Data e ora dell'interazione.
- Dialog ID.
- L'input dell'utente.
- L'output generato dall'AI.
- Un pulsante per aprire i dettagli completi dell'interazione.
I risultati possono essere esportati come CSV o XLSX. Usa il pulsante Raggruppa per Dialog ID per raggruppare tutte le interazioni della stessa conversazione.
Dettagli dell'interazione
Clicca sul pulsante dettagli per aprire la vista completa di una conversazione. Il pannello sinistro elenca tutte le interazioni del dialogo, raggruppate per nodo del flusso. Clicca su una qualsiasi interazione per espandere i suoi dati in quattro sezioni.
Interaction
| Campo | Descrizione |
|---|---|
| Dialog ID | Con un link diretto alla schermata Dialog Details. |
| Data e ora richiesta/risposta | Timestamp della chiamata AI. |
| Global interaction counter | Il contatore delle interazioni generative AI a livello dell'intera conversazione. |
| Node interaction counter | Il contatore delle interazioni a livello del singolo nodo. |
| Dettagli bot | ID bot, nome e flusso associato. |
| Node ID | Il nodo del flusso che ha scatenato questa interazione. |
| Domanda utente | L'input inviato dall'utente. |
| Risposta AI | La risposta generata. |
| Esito | Se la richiesta al modello generativo ha avuto successo o meno. |
| Tempo di risposta | Tempo impiegato per ottenere la risposta AI. |
| Sentiment | Il sentiment estratto dall'input dell'utente. |
| Feedback utente | La valutazione o il feedback fornito dall'utente. |
AI Model
Informazioni sul modello utilizzato:
| Campo | Descrizione |
|---|---|
| Tipo di modello | Il provider (OpenAI, Bedrock, Gemini, ecc.). |
| Nome modello | La specifica versione del modello invocata. |
| Parametri di invocazione | Temperature, top-p e altri parametri di generazione usati. |
Insight
| Campo | Descrizione |
|---|---|
| Intent estratto | L'intent riconosciuto nel messaggio dell'utente, con il suo punteggio di rilevanza. |
| Motivo di uscita | Perché il nodo generativo è stato abbandonato - un intent riconosciuto o il numero massimo di interazioni raggiunto. |
| Lingua input | La lingua rilevata nell'input dell'utente. |
| Entità estratte | Eventuali entità ricavate dal messaggio dell'utente. |
Documents
Mostra le sorgenti della knowledge base usate per generare la risposta:
| Campo | Descrizione |
|---|---|
| Nome documento | Il documento sorgente da cui è stata generata la risposta. |
| Analisi real-time | Se la funzionalità di analisi documenti in tempo reale era abilitata. |
| Indice knowledge base | Il nome dell'indice interrogato. |
| Chunk di testo | I singoli chunk recuperati dalla knowledge base e passati come contesto. Per ogni chunk viene mostrata la distanza vettoriale dall'embedding dell'input dell'utente. |
Report AI (tracciamento AI Agent)
La sezione Report AI fornisce una traccia completa di ogni interazione generata da un nodo AI Agent - inclusa la catena di risposta completa che mostra quali agent e tool erano coinvolti nell'elaborazione.
Funzionalità:
- Visualizzazione cronologica di tutte le interazioni nella catena.
- Tracciamento delle richieste e risposte AI a ogni passaggio.
- Dettagli dei tool - input e output per ogni tool chiamato durante l'elaborazione.
- Visualizzazione della catena di risposta - evidenzia ogni agent e risorsa coinvolti nell'output finale.
- Funzionalità Copia per estrarre contenuto per ulteriori analisi.
La sezione Report AI è la risorsa principale per il debugging, il monitoraggio e l'ottimizzazione delle interazioni guidate da AI Agent. Fornisce piena trasparenza sul flusso di ragionamento e sui tool invocati a ogni passaggio.