Configurazione AI Model Xference in ConvyAI
Panoramica
Xference porta l'inferenza LLM su infrastruttura italiana dedicata, permettendo di adottare funzionalità generative senza far transitare i dati delle conversazioni fuori dal territorio nazionale. È pensato per i contesti in cui la localizzazione del dato è un requisito, non un'opzione.
Prerequisiti
- Un endpoint Xference e una chiave API.
- Credenziali configurate in Impostazioni Generative AI.
Crea un AI Model Xference
Vai su Generative AI → AI Models e clicca su Nuovo Modello → Xference.
Opzioni di configurazione
| Campo | Descrizione |
|---|---|
| AI Model name | Un nome univoco per identificare questo AI Model. |
| Check as default | Imposta questo AI Model come predefinito per il tenant. |
| Fast recognition | Abilita la modalità di riconoscimento rapido per questo modello. |
| Xference Api Key | La chiave API della tua istanza Xference. Viene mascherata dopo il salvataggio. |
| Xference Endpoint | L'URL della tua istanza Xference. |
| Intent threshold | Punteggio di confidenza minimo affinché un intent venga considerato valido. |
Parametri avanzati
| Parametro | Default | Descrizione |
|---|---|---|
| Prompt version | v3 | Versione del prompt di sistema applicata durante l'utilizzo del modello nei nodi Knowledge Base. |
| Completion model | - | Il modello di completion da invocare. Inserisci uno dei modelli attualmente esposti da Xference (Qwen 3.6, Gemma 4 3B, Gemma 4 12B) o un altro nome modello, come campo di testo libero. |
| Embedding model | BAAI/bge-m3 | Il modello di embedding esposto da Xference, usato durante l'indicizzazione e il retrieval della Knowledge Base. |
| Max token completion | 1000 | Numero massimo di token nella risposta generata. |
| Temperature | 0.7 | Controlla la creatività delle risposte. Valori più bassi (0.0–0.3) producono output più deterministici; valori più alti (0.7–1.0) producono risposte più varie. |
| Top P | 1 | Parametro di nucleus sampling. Limita la selezione dei token alla massa di probabilità più alta. |
| Frequency penalty | 0.0 | Riduce la ripetizione di token già apparsi nell'output. |
| Presence penalty | 0.0 | Incoraggia il modello a introdurre nuovi argomenti penalizzando i token già apparsi. |
| Number of extracted chunks | 3 | Quanti chunk della Knowledge Base vengono recuperati e passati al modello come contesto durante la RAG. |
Utilizzo di un AI Model Xference
Una volta configurato, un AI Model Xference può essere usato ovunque sia previsto un AI Model generativo:
- Nel nodo AI Agent del FlowDesigner e nel nodo AI Agent dell'Agentic Designer - inclusi tool MCP Server, funzioni JavaScript e analisi immagini.
- Nel nodo Knowledge Base, per la classificazione degli intent e le risposte ancorate alla RAG.
Intent, entità e test
La configurazione di intent ed entità e il test del modello sono funzionalità condivise tra tutti i provider di AI Model. Consulta Intent, Entità & Test per la documentazione completa.
Note e limitazioni
- Un indice creato con il modello di embedding
BAAI/bge-m3non è compatibile con indici creati con un modello di embedding diverso. Adottare Xference su una Knowledge Base esistente richiede la creazione di un nuovo indice e una reindicizzazione completa dei contenuti. Vedi Indicizzazione.