Smithery is now a part of Arcade.dev! Read more in our announcement here
Ocenia jakość outputu prawnego AI przed wysyłką w dwóch warstwach: obiektywnej (sprawdzalne mechanicznie - czy cytaty istnieją, czy przepisy i sygnatury realne) oraz subiektywnej (LLM-as-judge wg...
Zanim wyślesz, oceń - i oddziel to, co sprawdzalne, od tego, co trzeba osądzić. Output AI bywa gładki i przekonujący, a mimo to błędny. Ten skill ocenia go w dwóch warstwach: obiektywnej (fakty, które da się sprawdzić mechanicznie) i subiektywnej (jakość, którą trzeba osądzić wg jawnej rubryki). Dwie warstwy, bo mylenie ich to źródło fałszywej pewności - „brzmi dobrze" nie znaczy „cytaty się zgadzają".
Skill ocenia, nie poprawia i nie wysyła. Decyzję podejmuje prawnik; karta ocen daje podstawę.
Deleguj do narzędzi, nie zgaduj:
Wynik obiektywny jest binarny per pozycja: zgadza się / nie zgadza. Choćby jeden niezgodny cytat = output nie jest gotowy, niezależnie od oceny subiektywnej.
Oceń wg jawnej rubryki, każdy wymiar 1-5 z jednozdaniowym uzasadnieniem:
| Wymiar | 1 | 5 |
|---|---|---|
| Poprawność prawna | teza błędna lub nieoparta | teza trafna i oparta na normie |
| Kompletność | pomija istotne kwestie | obejmuje wszystko, co istotne dla pytania |
| Jasność | mętne, niespójne | precyzyjne, czytelne dla odbiorcy |
| Zgodność z jurysdykcją | myli porządki/przepisy | trafne dla prawa polskiego/UE |
| Ugruntowanie (anty-halucynacja) | twierdzenia bez podstawy | każde twierdzenie ma oparcie |
Gdy sędzia nie ma podstaw, by wystawić liczbę, NIE wystawia jej. Zamiast wymuszonej trójki wpisuje NIEPEWNE z podkategorią i wskazaniem, jakiego dowodu brakuje:
Reguły twarde:
To slogan "AI, która wie, czego nie wie" jako pole w karcie ocen, nie deklaracja.
Karta ocen bywa wystawiana dwa razy: po pierwszym przebiegu i po poprawkach. Drugi przebieg jest miejscem, w którym ocena po cichu rośnie, bo autor zna już zarzuty i umie je opowiedzieć. Stąd dwie reguły twarde.
Monotoniczność. Rewizja może obniżyć decyzję zawsze i z dowolnego powodu. Podniesienie wymaga nowego dowodu, nie nowego uzasadnienia. Nowy dowód to ponowny przebieg warstwy 1 z innym wynikiem albo materiał, którego wcześniej nie było w sesji (dosłany wyrok, dosłana umowa). Zdanie „po namyśle to jednak wystarczające" nie jest dowodem i nie podnosi oceny.
Kotwica. Dopóki którakolwiek z poniższych pozycji jest otwarta, decyzja nie może wyjść powyżej Pełna weryfikacja, niezależnie od średniej subiektywnej i niezależnie od tego, jak dobrze brzmi uzasadnienie:
deliverable-fidelity-pl),Kotwicę zdejmuje wyłącznie ponowny przebieg narzędzia, które ją postawiło. Osąd sędziego jej
nie zdejmuje. To ta sama zasada, którą stosuje agentic-risk-asi-pl przy dotkliwości ustaleń:
dowód bezpośredni nie podlega negocjacji.
Każdą zablokowaną próbę podniesienia zapisz w karcie - widok „ktoś próbował przesunąć ocenę i czym to uzasadnił" bywa cenniejszy od samej oceny.
WARSTWA 1 (obiektywna): cytaty OK/X | przepisy OK/X | sygnatury OK/X | kompletność OK/X
WARSTWA 2 (rubryka 1-5):
Poprawność prawna: 4 - <uzasadnienie>
Kompletność: 3 - <...>
Jasność: 5 - <...>
Zgodność z jurysdykcją: NIEPEWNE (NIEWYSTARCZAJĄCY_DOWÓD) - output opiera się na wyroku
II CSK NN/RR, którego tekstu nie ma w sesji; brakuje: treść uzasadnienia (saos-orzecznictwo)
Ugruntowanie: 4 - <...>
Średnia: 4.0 (z 4 wymiarów liczbowych; NIEPEWNE poza średnią)
KOTWICE: brak (albo: cytat II CSK NN/RR niezgodny - decyzja ograniczona do Pełnej weryfikacji)
DECYZJA: Popraw (Kompletność 3 - brak omówienia przedawnienia; Zgodność z jurysdykcją
NIEPEWNE - uzupełnij tekst wyroku przed wysyłką)
Przy rewizji dopisz jedną linię:
REWIZJA #2: decyzja Popraw -> Popraw. Odrzucone podniesienie do Wyślij: uzasadnienie bez
nowego dowodu (warstwa 1 nie była powtórzona).
Metoda dwuwarstwowa (obiektywne dopasowanie + subiektywna rubryka LLM-as-judge w skali 1-5) oparta na DISC-Law-Eval z projektu DISC-LawLLM (Fudan DISC Lab), licencja Apache-2.0. Chińskie dane egzaminacyjne i model-sędzia porzucone; wymiary rubryki, progi decyzji i kotwice PL to oryginalne opracowanie MateMatic. Interpretacja MateMatic, nie stanowisko NRA ani KRRP.
Wzorzec dodany w v1.1.0: NIEPEWNE jako ocena pierwszej klasy (podkategorie NIEWYSTARCZAJĄCY_DOWÓD / DOKUMENT_NIEJEDNOZNACZNY, wymóg wskazania brakującego dowodu, zakaz wymuszonej trójki) z AnttiHero/lavern (Apache 2.0), adaptacja od zera - podkategorie, reguły decyzji i polska semantyka to opracowanie MateMatic.
Te reguły obowiązują w każdym skillu tej wtyczki, także gdy sam skill milczy. Są skopiowane do każdego skilla, więc działają zarówno po instalacji całej wtyczki, jak i pojedynczego skilla. Pełniejszy standard: https://github.com/matematicsolutions/awesome-matematic-skills-pl/tree/main/references
Jeśli błąd przeszedłby bez zatrzymania przez warstwy 1-5, wina jest w skillu. Naprawiamy narzędzie, nie dopisujemy noty. Nota "to nie porada prawna" nie zatrzymuje błędu i nie przenosi odpowiedzialności.
(kodeks cywilny art. 415), (wyrok SN II CSK NN/RR, SAOS).[sprawdź w SAOS].Tag stoi przy linii, której dotyczy. Samo istnienie sygnatury nie wystarcza - treść trzeba sprawdzić.
Nic nie zostaje wysłane, złożone, podpisane ani opublikowane, zanim sprawdzi i zatwierdzi to uprawniony człowiek. Wynik skilla to projekt, nie gotowy dokument.
Fundament weryfikacyjny jest neutralny jurysdykcyjnie - to rdzeń metody, nie substancja prawa. Nie łączy się z żadnym źródłem zewnętrznym (brak konektorów MCP) i nie wysyła danych na zewnątrz. Substancję dostarczają osobne pluginy (orzecznictwo, dokumenty).
