Indicizzazione della Knowledge Base - Indicizza Documenti e Siti Web in ConvyAI
Panoramica
La pagina Indicizzazione è dove crei ed esegui i batch che popolano la Knowledge Base. Ogni batch estrae contenuto da una sorgente, genera vector embedding e li memorizza nel database vettoriale. Puoi eseguire più batch da sorgenti diverse e organizzarli sotto uno o più nomi di indice.
Vai su Generative AI → Indicizzazione per gestire i tuoi batch.
Crea un batch di indicizzazione
Clicca su Nuovo Index Batch per aprire il form di configurazione.
Sorgente: AWS S3
Usa questa sorgente per indicizzare file PDF o DOC archiviati in un bucket AWS S3.
| Campo | Descrizione |
|---|---|
| Bucket URL | L'URL del bucket S3 contenente i documenti. |
| Region | La regione AWS del bucket S3. |
| Access Key | Chiave di accesso AWS con permessi di lettura sul bucket. |
| Secret Key | Chiave segreta AWS associata alla chiave di accesso. |
Sorgente: crawler di siti web
Usa questa sorgente per indicizzare contenuto da un sito web pubblico. Il crawler percorre il sito a partire dall'URL radice ed estrae il testo da ogni pagina raggiunta.
| Campo | Descrizione |
|---|---|
| Website URL | L'URL di partenza per il crawler. |
| Scope di crawling | Scegli se eseguire il crawling solo sul dominio esatto o includere anche i sottodomini. |
| Tipo di sito | Scegli tra Static (pagine HTML standard) e Dynamic (pagine con rendering JavaScript). Il crawling dinamico è più lento ma necessario per applicazioni single-page o pagine che caricano contenuti in modo asincrono. |
| Maximum links per page | Numero massimo di link che il crawler segue da ogni pagina. Default: 5. |
| Max size (MB) | Dimensione totale massima del contenuto da indicizzare da questa sorgente, in megabyte. Default: 10. |
| Include path | Opzionale. Limita il crawling agli URL che corrispondono a questo pattern di path. Verranno indicizzate solo le pagine sotto il path specificato. |
| Exclude path | Opzionale. Salta gli URL che corrispondono a questo pattern. Utile per escludere sezioni come /blog, /careers o /login. |
| Exclude HTML selectors | Opzionale. Selettori CSS degli elementi da rimuovere prima dell'indicizzazione (es. nav, footer, .cookie-banner). Riduce il rumore nel contenuto indicizzato. |
| Timeout (sec) | Tempo massimo di attesa per il caricamento di una pagina prima di saltarla. Default: 30. |
Nome dell'indice
Il nome dell'indice determina come i contenuti sono organizzati nella Knowledge Base.
| Strategia | Descrizione |
|---|---|
| Nome indice unico per tutti i batch | Tutti i contenuti vengono uniti in un unico dominio di conoscenza. I bot interrogano l'intera Knowledge Base senza distinzione. |
| Nomi indice diversi per batch | I contenuti vengono suddivisi in domini separati (es. prodotti, supporto, legale). Ogni nodo bot può specificare quale indice interrogare, limitando con precisione il contesto LLM. |
Parametri avanzati
| Parametro | Descrizione |
|---|---|
| Token per chunk | La dimensione di ogni chunk di testo estratto dalla sorgente, in token. Chunk più piccoli migliorano la precisione; chunk più grandi forniscono più contesto per ogni retrieval. |
| Token overlap | Il numero di token condivisi tra chunk consecutivi. L'overlap preserva il contesto ai confini dei chunk, riducendo il rischio di spezzare contenuti semanticamente correlati. |
| Encoding model | Il modello linguistico usato durante il processo di indicizzazione. |
| Embedding model | Il modello usato per generare i vector embedding. Deve corrispondere al modello di embedding configurato nell'AI Model usato al momento della query. Selezionando una API Key di un determinato provider, il campo viene prevalorizzato con il modello di embedding di default di quel provider; il valore resta un campo di testo editabile. |
Modelli di embedding supportati:
| Modello | Provider |
|---|---|
text-embedding-3-small | OpenAI (default per stack OpenAI) |
text-embedding-3-large | OpenAI |
cohere.embed-multilingual-v3 | Amazon Bedrock (default per stack AWS) |
amazon.titan-embed-text-v1 | Amazon Bedrock |
BAAI/bge-m3 | Xference (default per stack Xference) |
Test ed esecuzione
Prima di eseguire un batch, usa il pulsante Test per validare la configurazione e verificare la connettività alla sorgente.
Una volta superato il test, clicca Esegui per avviare il processo di indicizzazione. La durata varia in base al volume di contenuto. Viene inviata una notifica al completamento del batch.
Stato del batch
| Stato | Descrizione |
|---|---|
| Ready | La configurazione è salvata e pronta per essere eseguita. |
| Running | Il batch è in elaborazione. |
| Completed | Il batch è terminato con successo. |
| Cancelled | Il batch è stato annullato manualmente o ha incontrato un errore. |
Note e limitazioni
- Il modello di embedding usato durante l'indicizzazione deve corrispondere a quello usato nell'AI Model al momento della query. Usare modelli diversi produce risultati di retrieval errati.
- Indici creati con modelli di embedding diversi non sono compatibili tra loro. Cambiare il modello di embedding su una Knowledge Base esistente richiede la creazione di un nuovo indice e una reindicizzazione completa dei contenuti - non è prevista alcuna migrazione o conversione automatica degli indici esistenti.
- Più batch possono essere eseguiti in parallelo.
- Eliminare un batch non rimuove il contenuto indicizzato dalla Knowledge Base. Usa Gestione Documenti per rimuovere il contenuto indicizzato.