Napravite asistenta zasnovanog na pouzdanim izvorima

Scenario

Korisnik pita o internim pravilima. Sistem pronalazi relevantne odlomke, prosleđuje ih modelu, navodi izvore i ograničava nepodržane odgovore.

Korišćeni koncepti

1. retrieval
2. grounding
3. chunking
4. izvori
5. evaluacija

Izgradnja korak po korak

1. Izaberite pet kratkih, aktuelnih dokumenata i dodelite im naslove.
2. Napravite pitanja sa poznatim odgovorima i dva pitanja bez podrške u izvorima.
3. Počnite jednostavnom pretragom reči pre embeddings-a.
4. Modelu prosledite samo najbolje odlomke i jasna pravila odgovora.
5. Zahtevajte oznake izvora uz svaku činjeničnu tvrdnju.
6. Odbijte odgovor kada dokazi ne postoje ili su protivrečni.
7. Odvojeno ocenite kvalitet pretrage i odgovora.

Očekivani rezultat

Podržana pitanja dobijaju sažete odgovore sa izvorima; nepodržana dobijaju korisno ograničenje umesto nagađanja.

Moguće greške

1. Pravi dokument nije pronađen
2. Zastareo odlomak nadjačava novo pravilo
3. Izvor ne podržava tvrdnju
4. Model odgovara iz opšteg znanja

Poboljšanja

1. Dodajte filtere metapodataka
2. Uvedite hibridnu semantičku pretragu
3. Pratite udeo nepodržanih pitanja

Varijante platformi

1. Jednostavna aplikativna pretraga
2. Microsoft Foundry
3. UiPath Context Grounding
4. Code-first RAG