Iudicata

Veritas ex fonte.

Metodológia.

Od analýzy rizík k architektúre overených odpovedí.

Iudicata vyhľadáva v korpuse rozhodnutí slovenských najvyšších súdov a v plnom znení slovenskej legislatívy, pričom obe zložky používa naraz: rozhodnutie získava význam až spolu s ustanovením, ktoré aplikuje. Pri každej citácii rozhodnutia sledujeme aj jeho stav: či bolo neskôr zrušené, zmenené alebo potvrdené, a túto informáciu pri citácii zobrazujeme.

Asistent nemá prístup k internetu ani k vlastnej tréningovej pamäti, pracuje výhradne s úryvkami, ktoré systém k vašej otázke nájde. Pri nedostatku opory v korpuse otázku radšej odmietne zodpovedať, než aby riskoval nepodloženú citáciu.

Nasleduje, ako to robíme presnejšie.

Východisko

Východiská vývoja.

Súčasné nástroje na spracovanie textu čelia v právnom prostredí principiálnemu obmedzeniu. Bežné jazykové modely sú navrhnuté na generovanie pravdepodobného pokračovania textu, nie na prácu s exaktnými právnymi faktami. Pre advokátsku prax to vytvára tri kritické riziká:

  • Halucinácie zdrojov: Systém môže vytvoriť presvedčivo znejúcu citáciu, ktorá v právnom poriadku neexistuje.
  • Stagnácia v čase: Bez prepojenia na živý korpus judikatúry asistent nevie identifikovať, či je citovaný právny názor stále aktuálny, alebo bol neskôr prelomený.
  • Kontextuálna priepasť: Legislatíva a judikatúra sú v systémoch často oddelené, hoci v praxi tvoria jeden nedeliteľný celok.

Iudicata vznikla ako priama odpoveď na tieto nedostatky. Naša metodológia nestojí na viere v schopnosti generického modelu, ale na striktne definovanom procese spracovania dopytu.

Riešenie

Sedem krokov spracovania.

Každý dopyt prechádza uzavretým cyklom siedmich mechanizmov, ktoré eliminujú priestor pre kreativitu modelu a nahrádzajú ju overiteľným procesom. Najprv zoznam, potom detail.

  1. 01Klasifikácia a stratégia: Podľa typu dotazu vyberáme vyhľadávaciu stratégiu.
  2. 02Terminologická expanzia: Dopĺňame synonymá, varianty a rozpis skratiek.
  3. 03Hybridné vyhľadávanie v korpuse: Sémantické aj kľúčové vyhľadávanie naprieč rozhodnutiami a legislatívou.
  4. 04Sieť citácií a stav rozhodnutí: Sledujeme, ktoré rozhodnutia citujú iné a ktoré boli zrušené alebo zmenené.
  5. 05Izolácia zdrojov (Grounding): Asistent pracuje výhradne s nájdenými úryvkami.
  6. 06Krížová validácia: Každú spisovú značku kontrolujeme proti databáze.
  7. 07Kontinuita analýzy: Následné otázky stavajú na predošlých, ale vyhľadávajú nanovo.

Každý z mechanizmov rieši špecifický problém, ktorý by samostatný model bez dodatočnej štruktúry ťažko zvládol.

01

Klasifikácia a stratégia

Aký problém rieši

Otázka o konkrétnej spisovej značke a otázka o výklade ustanovenia potrebujú úplne odlišnú stratégiu vyhľadávania.

Pred akýmkoľvek vyhľadávaním systém posúdi, čo od neho chcete. Pri citácii konkrétnej spisovej značky pôjdeme priamym vyhľadaním v databáze. Pri otázke o výklade ustanovenia doplníme súvisiace § a relevantné rozhodnutia. Pri skutkovom opise spustíme sémantické vyhľadávanie s rozšírením o právne pojmy.

Routing určuje, ktorá vyhľadávacia stratégia sa aktivuje. Vďaka tomu dostanete relevantné výsledky pri rôznych typoch dotazov bez toho, aby ste museli systému dopredu vysvetľovať svoj zámer.

02

Terminologická expanzia

Aký problém rieši

Súd v rozhodnutí používa iné slová ako vy v otázke. Bez expanzie dopytu by ste relevantné rozhodnutie minuli.

Pri zložitejších otázkach systém obohatí váš dopyt o synonymá, rozpíše skratky zákonov (OZ ako Občiansky zákonník) a doplní právne pojmy v rôznych gramatických tvaroch. Pôvodnú otázku nemeníme, len rozširujeme rozsah hľadania. Premosťujeme tým rozdiel medzi vašou otázkou a špecifickým jazykom sudcu.

Tento krok kompenzuje terminologickú variabilitu právneho jazyka. Sudca môže v rozhodnutí použiť odplatu za užívanie, advokát nájomné, zákon úžitky. Pre vyhľadávací systém to musia byť prepojené pojmy.

03

Hybridné vyhľadávanie v korpuse

Aký problém rieši

Sémantické vyhľadávanie minie presné § odkazy. Kľúčové vyhľadávanie minie pojmy v iných slovných tvaroch. K tomu sa pridáva to, že odpoveď na právnu otázku zvyčajne spája výklad zákona s jeho aplikáciou v judikatúre.

Vyhľadávame dvomi spôsobmi súčasne. Sémanticky porovnávame význam vašej otázky s úryvkami nášho korpusu pomocou vektorových reprezentácií. Presne hľadáme exaktné výskyty kľúčových pojmov, paragrafov a spisových značiek.

Korpus tvoria rozhodnutia súdov aj plné znenie slovenskej legislatívy. Pretože súdne rozhodnutie získava zmysel až spolu s ustanovením, ktoré aplikuje, hľadáme v oboch zdrojoch súčasne a kombinujeme výsledky algoritmom Reciprocal Rank Fusion.

04

Sieť citácií a stav rozhodnutí

Aký problém rieši

Citácia rozhodnutia bez znalosti jeho ďalšieho osudu môže byť zavádzajúca. Rozhodnutie z roku 2018 mohlo byť neskôr zrušené, zmenené alebo prelomené ústavným súdom.

Pre každé rozhodnutie v korpuse priebežne sledujeme jeho ďalší osud: ktoré neskoršie rozhodnutie ho citovalo, potvrdilo, zmenilo alebo zrušilo. Stav rozhodnutia (zrušené, zmenené, vrátené, potvrdené, odvolanie zamietnuté) zaznamenávame priamo pri rozhodnutí a zobrazujeme ho pri každej citácii.

Vďaka tomu nestačí len nájsť relevantné rozhodnutie. Pri ňom uvidíte, či zostáva platné, alebo bolo neskôr prelomené ďalšou judikatúrou. Vyhľadávanie tým prestáva byť listovaním nezávislých dokumentov a stáva sa orientáciou v sieti vzájomne previazaných rozhodnutí.

05

Izolácia zdrojov (Grounding)

Aký problém rieši

Generický model bez groundingu vie produkovať citácie, ktoré znejú vierohodne, ale v databáze súdov ich nenájdete.

Asistent pri tvorbe odpovede vidí výhradne úryvky, ktoré systém našiel k vašej otázke. Nemá prístup na internet, do iných dokumentov ani do vlastnej tréningovej pamäte. Pracuje výhradne s tým, čo sme mu poskytli.

Ak v korpuse niet dostatok opory, systém radšej otázku odmietne zodpovedať, než aby riskoval nepodloženú odpoveď. Tento prístup chráni jeden princíp: každá citácia by mala mať svoj zdroj.

06

Krížová validácia

Aký problém rieši

Aj overený model vie pri formátovaní citácie urobiť tichú chybu. Bez následnej kontroly by sa dostala do podania.

Po vygenerovaní odpovede prechádza každá citácia sekundárnou kontrolou. Overujeme, či rozhodnutie pod uvedenou spisovou značkou existuje v našej databáze, či sedí súd aj dátum a či URL vedie na oficiálnu stránku súdu.

Citácie, ktoré neprejdú validáciou, systém označí ako neoverené alebo z odpovede odstráni. Vidíte to ihneď: zelený štítok pri overenej citácii, varovanie pri nezhodách.

07

Kontinuita analýzy

Aký problém rieši

Nasledujúce otázky často odkazujú na predchádzajúce. Bez kontextu by ste museli každú formulovať od nuly.

Každá ďalšia otázka v konverzácii sa opiera o predchádzajúci kontext. Môžete položiť pokračovaciu otázku, požiadať o hlbšiu analýzu konkrétneho rozhodnutia z odpovede alebo presunúť tému na súvisiacu oblasť.

Aj keď systém pri každej otázke spúšťa čerstvé vyhľadávanie, vie, čo už bolo citované, a stavia na tom. Kontext zostáva, ale výsledky sú vždy nové.

Overiteľnosť v produkte.

Mechanizmus má zmysel len vtedy, keď si ho viete overiť. Pri každej odpovedi je k dispozícii všetko, čo systém spravil.

1

Audítorský panel ku každej odpovedi.

Pri každej odpovedi je dostupný rozkliknutý panel s krokmi, ktoré systém vykonal: porozumenie otázke, vyhľadanie podkladov, overenie odpovede a vygenerovanie. Žiadny krok nie je skrytý a každý detail si môžete sami prejsť.

2

Klikateľný zdroj pri každej citácii.

Spisová značka v odpovedi je aktívny odkaz, ktorý smeruje na originálny dokument v databáze súdu. Pri každej citácii vidíte štítok „Overené" a ikonu otvorenia zdroja: kontrolu si urobíte jediným klikom.

3

Štítok opory v odpovedi.

Pod každou odpoveďou nájdete štítok, ktorý zhŕňa, akú oporu má odpoveď v korpuse. Vedľa štítku je počet overených rozhodnutí a § citácií a čas vygenerovania. Pri slabšej opore upozorníme, že citácie treba zvlášť overiť.

Kontrola kvality

Verifikácia kvality a regresné testy.

Metodológia Iudicaty nie je statický dokument, ale proces podliehajúci priebežnej kontrole. Kvalitu výstupov meriame proti uzavretým testovacím sadám, ktoré priebežne rozširujeme.

  • Zlatý štandard otázok: Spolu s advokátmi a odborníkmi v jednotlivých právnych oblastiach zostavujeme modelové otázky s referenčnými odpoveďami a citáciami. Tento zlatý štandard definuje, ako má systém v daných situáciách reagovať.
  • Regresné testovanie: Pred každou zmenou v kóde alebo v nastavení asistenta spúšťame automatizované testy proti zlatému štandardu. Cieľom je zachytiť zhoršenie kvality skôr, než sa zmena dostane do produkcie. Zlepšenia tým neostávajú len v subjektívnom posúdení.
  • Analýza anomálií: V produkcii sledujeme, ako systém pri reálnych otázkach reaguje, ako často odmieta odpovedať pri slabej opore a kde nás používatelia upozorňujú na nepresnosti. Spätnú väzbu triedime denne a prevádzame do prioritizácie ďalšej iterácie.

Hranice metódy

Definícia hraníc a obmedzenia systému.

Nástroj, ktorý nekomunikuje svoje limity, stráca profesionálnu integritu. Iudicata je navrhnutá s týmito vedomými obmedzeniami:

  1. 01

    Absencia externého prístupu.

    Asistent je pri generovaní odpovede izolovaný od verejného internetu. Pracuje výhradne s úryvkami z nášho korpusu, bez externého vyhľadávania a bez dodatočných dokumentov.

  2. 02

    Bez komerčných databáz a anotácií tretích strán.

    Korpus tvoria výhradne rozhodnutia získané z oficiálnych verejných zdrojov: Ministerstva spravodlivosti SR a Ústavného súdu SR. Bez predspracovaných anotácií, bez licencovaných obohatení.

  3. 03

    Priorita mlčania pred halucináciou.

    Ak algoritmy vyhľadávania nenájdu v korpuse dostatočne silnú oporu, systém otázku radšej nespracuje. Považujeme za korektnejšie priznať absenciu zdroja, než generovať nepodložené hypotézy.

  4. 04

    Vylúčenie právneho poradenstva.

    Iudicata je výskumná infraštruktúra. Poskytuje pramene a ich syntézu, ale neposkytuje právne rady, stanoviská ani predikcie výsledkov konaní. Právny úsudok a zodpovednosť za podanie zostávajú na strane advokáta.

  5. 05

    Špecifikácia pokrytia.

    Korpus v súčasnosti prioritne spracúva judikatúru NS SR, NSS SR a ÚS SR a plné znenie slovenskej legislatívy. Rozhodnutia nižších inštancií pribúdajú postupne. Pred dôležitým podaním overte, či relevantné rozhodnutie spadá do nášho korpusu. Detail nájdete na stránke Pokrytie.

Záver

„Citujeme, čo nájdeme. Overujeme, čo citujeme."

Iudicata nie je náhradou advokáta. Je to infraštruktúra pre jeho precíznejšiu a rýchlejšiu prácu. Každý procesný krok vedie k overiteľnému zdroju.

Pokračujte

Súvisiace stránky.

Korpus a pokrytie

Kompletný zoznam súdov a počty rozhodnutí, ktoré máme spracované.

Pozrieť pokrytie →

Bezpečnosť a súkromie

Zero-retention politika, servery v EÚ a architektúra v súlade s GDPR.

Záruky bezpečnosti →