Lokálny RAG nad vlastnými dokumentmi

Chcel som sa vedieť pýtať vlastných dokumentov – faktúr, zmlúv a technických poznámok – bez toho, aby čokoľvek opustilo môj počítač. Výsledkom je jednoduchý RAG pipeline: dokumenty sa rozsekajú na chunky, cez nomic-embed-text sa vytvoria embeddingy a uložia do ChromaDB. Otázka sa embedne rovnakým modelom, vytiahnu sa najbližšie chunky a llama3 z nich poskladá odpoveď.

Najviac času zožralo ladenie veľkosti chunkov. Príliš malé strácali kontext, príliš veľké riedili relevantnosť. Nakoniec som skončil na 500 tokenoch s prekryvom 50 – na moje slovenské dokumenty to funguje prekvapivo dobre.