Passa al contenuto principale

Statistiche Generative AI - Revisiona le Interazioni AI con Piena Tracciabilità in ConvyAI

Panoramica​

La sezione Generative AI consente di cercare conversazioni che hanno coinvolto il servizio Generative AI e ispezionare ogni dettaglio di ogni interazione - dal modello invocato ai chunk della knowledge base recuperati, fino alla catena di risposta completa dell'AI Agent.

Vai su Monitor → Generative AI.

Ricerca​

Filtra le interazioni per:

  • Nome bot
  • Dialog ID
  • User ID
  • AI Model
  • Feedback (valutazione dell'utente sulla risposta AI)

Lista risultati​

La lista dei risultati mostra ogni interazione con:

  • Data e ora dell'interazione.
  • Dialog ID.
  • L'input dell'utente.
  • L'output generato dall'AI.
  • Un pulsante per aprire i dettagli completi dell'interazione.

I risultati possono essere esportati come CSV o XLSX. Usa il pulsante Raggruppa per Dialog ID per raggruppare tutte le interazioni della stessa conversazione.

Dettagli dell'interazione​

Clicca sul pulsante dettagli per aprire la vista completa di una conversazione. Il pannello sinistro elenca tutte le interazioni del dialogo, raggruppate per nodo del flusso. Clicca su una qualsiasi interazione per espandere i suoi dati in quattro sezioni.

Interaction​

CampoDescrizione
Dialog IDCon un link diretto alla schermata Dialog Details.
Data e ora richiesta/rispostaTimestamp della chiamata AI.
Global interaction counterIl contatore delle interazioni generative AI a livello dell'intera conversazione.
Node interaction counterIl contatore delle interazioni a livello del singolo nodo.
Dettagli botID bot, nome e flusso associato.
Node IDIl nodo del flusso che ha scatenato questa interazione.
Domanda utenteL'input inviato dall'utente.
Risposta AILa risposta generata.
EsitoSe la richiesta al modello generativo ha avuto successo o meno.
Tempo di rispostaTempo impiegato per ottenere la risposta AI.
SentimentIl sentiment estratto dall'input dell'utente.
Feedback utenteLa valutazione o il feedback fornito dall'utente.

AI Model​

Informazioni sul modello utilizzato:

CampoDescrizione
Tipo di modelloIl provider (OpenAI, Bedrock, Gemini, ecc.).
Nome modelloLa specifica versione del modello invocata.
Parametri di invocazioneTemperature, top-p e altri parametri di generazione usati.

Insight​

CampoDescrizione
Intent estrattoL'intent riconosciuto nel messaggio dell'utente, con il suo punteggio di rilevanza.
Motivo di uscitaPerché il nodo generativo è stato abbandonato - un intent riconosciuto o il numero massimo di interazioni raggiunto.
Lingua inputLa lingua rilevata nell'input dell'utente.
Entità estratteEventuali entità ricavate dal messaggio dell'utente.

Documents​

Mostra le sorgenti della knowledge base usate per generare la risposta:

CampoDescrizione
Nome documentoIl documento sorgente da cui è stata generata la risposta.
Analisi real-timeSe la funzionalità di analisi documenti in tempo reale era abilitata.
Indice knowledge baseIl nome dell'indice interrogato.
Chunk di testoI singoli chunk recuperati dalla knowledge base e passati come contesto. Per ogni chunk viene mostrata la distanza vettoriale dall'embedding dell'input dell'utente.

Report AI (tracciamento AI Agent)​

La sezione Report AI fornisce una traccia completa di ogni interazione generata da un nodo AI Agent - inclusa la catena di risposta completa che mostra quali agent e tool erano coinvolti nell'elaborazione.

Funzionalità:

  • Visualizzazione cronologica di tutte le interazioni nella catena.
  • Tracciamento delle richieste e risposte AI a ogni passaggio.
  • Dettagli dei tool - input e output per ogni tool chiamato durante l'elaborazione.
  • Visualizzazione della catena di risposta - evidenzia ogni agent e risorsa coinvolti nell'output finale.
  • Funzionalità Copia per estrarre contenuto per ulteriori analisi.
suggerimento

La sezione Report AI è la risorsa principale per il debugging, il monitoraggio e l'ottimizzazione delle interazioni guidate da AI Agent. Fornisce piena trasparenza sul flusso di ragionamento e sui tool invocati a ogni passaggio.

Argomenti correlati​