RAG Reranking King

In questo articolo esploreremo come tecniche avanzate come la Retrieval-Augmented Generation (RAG), embeddings, ricerca per similarità e reranking possano rivoluzionare il recupero delle conoscenze nei domini tecnici.

Retrieval-Augmented Generation (RAG): La Retrieval-Augmented Generation (RAG) è un approccio potente che combina il recupero delle informazioni con modelli di generazione linguistica. Nel contesto dei documenti tecnici, RAG consente ai sistemi di recupero delle conoscenze di non solo trovare i passaggi rilevanti, ma anche generare risposte coerenti e informative basate sulle informazioni recuperate. Sfruttando i punti di forza sia del recupero che della generazione, RAG permette un recupero delle conoscenze più accurato e consapevole del contesto dai documenti tecnici.

Embeddings e Ricerca per Similarità: Gli embeddings sono rappresentazioni vettoriali dense di testi che catturano il significato semantico e le relazioni tra parole o passaggi. Convertendo i documenti tecnici e i diagrammi in embeddings, possiamo effettuare ricerche per similarità efficienti per trovare informazioni rilevanti basate sulla somiglianza semantica tra la query e i documenti embedded. Questo approccio va oltre il semplice confronto di parole chiave e consente il recupero di documenti concettualmente correlati alla query, anche se non contengono esattamente gli stessi termini.

Il Potere del Reranking: Mentre gli embeddings e la ricerca per similarità forniscono una solida base per il recupero delle conoscenze, le tecniche di reranking possono migliorare ulteriormente l'accuratezza e la rilevanza dei documenti recuperati. Durante un recente progetto con un'azienda ingegneristica, dove sono stati inghiottiti e vettorializzati oltre 2.000 documenti tecnici, la necessità di un reranking è diventata evidente durante la fase di User Acceptance Testing (UAT). Il direttore tecnico dell'azienda ha espresso il desiderio di un recupero dei documenti ancora più preciso. Per affrontare questa esigenza, abbiamo testato ampiamente le seguenti opzioni di reranking ponendo la stessa domanda:

Domanda Tecnica: input e output per preheat perkins 1306

Gemini 1.5: Gemini 1.5 è un modello di reranking all'avanguardia che combina i punti di forza di più modelli linguistici. Tiene conto di vari fattori come rilevanza, coerenza e diversità per fornire un reranking completo dei documenti recuperati. Gemini 1.5 ha mostrato risultati promettenti nel migliorare la qualità del recupero delle conoscenze nei domini tecnici.

Ecco un possibile ordine di rilevanza basato sui documenti forniti:

Documento 0 (4008 TAG1A 644 - 882 kWm): Questo documento sembra altamente rilevante poiché discute specificamente il modello di motore Perkins 1306 e fornisce dati tecnici dettagliati, inclusi sezioni su "Installazione generale" e "Sistema di raffreddamento", che sono direttamente correlati al preriscaldamento.

Documento 2 (Installazione generale 4008TAG1A - Temperato): Questo documento fornisce informazioni specifiche sull'installazione generale del motore 4008TAG1A, che probabilmente include dettagli rilevanti per le procedure di preriscaldamento.

Documento 3 (4008TAG2A - Designazione Temperato): Sebbene si concentri sul modello 4008TAG2A, questo documento potrebbe offrire informazioni sulle procedure di preriscaldamento applicabili alla serie Perkins 1306 a causa delle possibili somiglianze tra i modelli.

Documento 1 (Manuale Software DSE P810 per Windows™): Questo documento, sebbene relativo al controller DSE, potrebbe contenere informazioni sulle impostazioni e configurazioni del preriscaldamento che potrebbero essere utili.

Documento 4 (4008TAG2A - Designazione Tropicale): Simile al documento 3, questo documento potrebbe offrire alcune informazioni rilevanti a causa delle caratteristiche condivise all'interno della serie Perkins 1306.

Documento 5 (Bilancio energetico 4008TAG1A - Designazione Temperato): Questo documento probabilmente si concentra sul consumo e la distribuzione dell'energia, che potrebbe non essere direttamente correlato al preriscaldamento.

Documento 6 (Dati sul rumore): Questo documento sembra riguardare i livelli di rumore e difficilmente contiene informazioni sul preriscaldamento.

Documento 7 (4008TAG1A e 4008TAG2A - Vista laterale sinistra (Temperato)): Questo documento, pur fornendo una rappresentazione visiva del motore, potrebbe non offrire dettagli specifici sul preriscaldamento.

Documento 8 (4008TAG1A e 4008TAG2A - Vista frontale (Tropicale)): Simile al documento 7, questo documento potrebbe non trattare direttamente le procedure di preriscaldamento.

Documento 9 (4008TAG1A e 4008TAG2A - Vista laterale destra (Tropicale)): Questo documento, come i documenti 7 e 8, è improbabile che sia una fonte primaria di informazioni sul preriscaldamento.

Documento 10 (4008TAG1A e 4008TAG2A - Vista posteriore (Tropicale)): Simile ai documenti 7, 8 e 9, questo documento potrebbe non essere direttamente rilevante per il preriscaldamento.

Documento 11 (Unità controller CEA6): Questo documento, sebbene relativo a un diverso modello di controller, potrebbe non fornire dettagli specifici sul preriscaldamento per il Perkins 1306.

[0, 2, 3, 1]

Cohere Reranker: Il modello di reranking rerank-multilingual-v3.0 di Cohere sfrutta una comprensione avanzata del linguaggio naturale per riordinare i documenti recuperati in base alla loro rilevanza per la query. Considerando il contesto semantico e le relazioni tra la query e i documenti, Cohere Reranker può migliorare significativamente l'accuratezza dei risultati recuperati.

Reranking Cohere

RerankResponseResultsItem(document=None, index=3, relevance_score=0.6087685),

RerankResponseResultsItem(document=None, index=2, relevance_score=0.2961451),

RerankResponseResultsItem(document=None, index=1, relevance_score=0.2791402),

RerankResponseResultsItem(document=None, index=6, relevance_score=0.07450026),

RerankResponseResultsItem(document=None, index=5, relevance_score=0.02092419),

RerankResponseResultsItem(document=None, index=0, relevance_score=0.016090874),

RerankResponseResultsItem(document=None, index=4, relevance_score=0.009196552)], meta=ApiMeta(api_version=ApiMetaApiVersion(version='1', is_deprecated=None, is_experimental=None), billed_units=ApiMetaBilledUnits(input_tokens=None, output_tokens=None, search_units=1, classifications=None), tokens=None, warnings=None))

Claude Opus: Claude Opus è un modello di reranking progettato specificamente per documenti tecnici. Incorpora conoscenze specifiche del dominio e comprende le complessità del linguaggio e dei concetti tecnici. Sfruttando la sua comprensione del gergo tecnico e del contesto, Claude Opus può efficacemente riordinare i documenti recuperati per dare priorità ai risultati più rilevanti e informativi.

Claude Opus 3

In base alla domanda posta dall'utente e alla lista di documenti forniti, ecco il mio ranking dei documenti dal più rilevante al meno rilevante per rispondere alla domanda "input e output per preheat perkins 1306":

Il documento più rilevante sembra essere il documento 1, poiché

menziona specificamente il motore Perkins 1306 e descrive gli input e

gli output relativi al sistema di preriscaldamento, inclusi l'input del

commutatore di preriscaldamento e l'output del relè di preriscaldamento.

Il documento 0 sarebbe il successivo più rilevante, poiché discute

il sistema di preriscaldamento in termini generali per i motori Perkins,

sebbene non menzioni specificamente il modello 1306.

Il documento 2 menziona i motori Perkins ma non contiene informazioni

sul preriscaldamento o sugli input/output, quindi è meno rilevante rispetto

ai documenti 1 e 0.

Il documento 3 non è per nulla rilevante, poiché tratta di un diverso

produttore di motori (Cummins) e non menziona il preriscaldamento.

Quindi, in sintesi, il mio ranking dal più rilevante al meno rilevante

per rispondere alla domanda "input e output per preheat perkins 1306" è:

[1, 0, 2, 3]

La combinazione di RAG, embeddings, ricerca per similarità e tecniche di reranking ha il potenziale di rivoluzionare il recupero delle conoscenze nei domini tecnici. Sfruttando questi approcci avanzati, le organizzazioni possono sbloccare il pieno potenziale dei loro documenti tecnici e diagrammi, consentendo un accesso più rapido alle informazioni rilevanti e facilitando una migliore presa di decisioni. Continuando a perfezionare e ottimizzare queste tecniche, possiamo aspettarci sistemi di recupero delle conoscenze ancora più accurati ed efficienti che consentano alle aziende ingegneristiche e ad altre organizzazioni tecniche di mantenersi all'avanguardia nel competitivo panorama odierno.

Claude Haiku: RAG trae profondi insight, Opus si mostra elegante, snello e veloce — ma ponderiamo la profondità di Haiku: basso costo / alta velocità:

In base alla domanda dell'utente "input e output per preheat perkins 1306"

e alla lista di documenti, valuterei la rilevanza dei documenti come segue:

La logica è:

Questo documento è probabilmente il più rilevante poiché menziona

specificamente "Perkins 1306" e discute le informazioni sugli input e

output, che sono direttamente correlate alla domanda dell'utente.

Questo documento menziona anche "Perkins 1306" e discute le

specifiche del motore, che potrebbero essere rilevanti per rispondere

alla domanda.

Sebbene questo documento discuta i motori Perkins, non menziona

specificamente il modello 1306, quindi è meno direttamente rilevante

rispetto ai primi due documenti.

Questo documento discute la manutenzione dei motori Perkins,

ma non sembra avere informazioni specifiche sugli input e output del modello 1306.

Questo documento discute la risoluzione dei problemi sui motori Perkins,

ma, ancora una volta, non sembra avere informazioni dirette sul modello 1306.

Questo documento discute le parti dei motori Perkins, ma non sembra

avere informazioni direttamente rilevanti alla domanda dell'utente.

[0, 2, 1, 3, 4, 5]

Il Ruolo di Pandorabot.io nell'Elevare le Esperienze con i Chatbot

🧠 KnowledgeBot 💰 SalesBot 🛠️ ServiceBot 👁️‍🗨️ VisionBot

Per le aziende che cercano di sfruttare appieno il potenziale dell'AI nelle interazioni con i clienti, Pandorabot.io rappresenta una soluzione di prim'ordine. Specializzata nella creazione di chatbot personalizzati e su misura, Pandorabot.io offre una piattaforma dove le aziende possono sviluppare chatbot non solo allineati alle loro specifiche esigenze, ma anche capaci di evolversi con loro. I nostri chatbot sono progettati per offrire interazioni sfumate e specifiche per settore, integrazione senza soluzione di continuità con i sistemi aziendali e misure di sicurezza dei dati all'avanguardia. Con Pandorabot.io, le aziende possono garantire un'esperienza chatbot che migliora il coinvolgimento dei clienti, rafforza la reputazione del marchio e aumenta l'efficienza operativa.