Metingen

Achttien van achttien, met Bron.

Zo vaak beantwoordde GPT-6-Astra met Bron een vraag over de wet op een eerdere dag goed. Claude Opus 5.5 zestien keer. Twee sets van achttien vragen, de eerste via twee modellen, op 14 november 2026, met hieronder elke vraag, elk antwoord en elk oordeel.

De cijfers

Antwoorden die helemaal goed waren.

Elk vakje is een vraag. Tool A, B en C zijn drie andere juridische AI-tools voor een AI-assistent, bij elke vraag dezelfde.

  • Goed: elk vereist punt genoemd, en niets wat de vragensteller fout noemde.

  • Deels: een vereist punt ontbreekt, maar niets is fout.

  • Fout: iets wat de vragensteller fout noemde, of de kern van de vraag niet beantwoord.

  • Stellig: daarnaast een verkeerde regel, of een artikel, lid of uitspraak die niet bestaat, zonder voorbehoud.

De wet op een datum

Welke tekst gold op een eerdere dag, wat wanneer veranderde en of een bepaling al gold. Daarvoor is Bron gebouwd, dus dit onderwerp kozen wij. Dezelfde achttien vragen gingen via Claude en via GPT.

Anthropic Claude Opus 5.5
16

van 18 goed met Bron

OpenAI GPT-6-Astra
18

van 18 goed met Bron

Anthropic Claude Opus 5.5
  • Bron

    16 van 18

  • Tool A

    11 van 18

  • Tool B

    15 van 18

  • Tool C

    11 van 18

  • Zonder tool

    9 van 18

OpenAI GPT-6-Astra
  • Bron

    18 van 18

  • Tool A

    15 van 18

  • Tool B

    11 van 18

  • Tool C

    13 van 18

  • Zonder tool

    10 van 18

Vragen uit de praktijk

Vragen zoals advocaten en bedrijfsjuristen ze stellen, over een onderwerp dat de schrijver van de vragen koos. Via Claude.

Anthropic Claude Opus 5.5
16

van 18 goed met Bron

  • Bron

    16 van 18

  • Tool A

    15 van 18

  • Tool B

    14 van 18

  • Tool C

    16 van 18

  • Zonder tool

    11 van 18

Wat de cijfers laten zien

Wat Bron deed.

Elk cijfer hieronder volgt uit de oordelen bij de vragen.

Op de wet op een datum het vaakst goed.
Met Bron gaf GPT-6-Astra op alle achttien vragen een goed antwoord en Claude Opus 5.5 op zestien; Claudes andere twee misten een punt, zonder iets fouts te zeggen. Bron leest de tekst die op de gevraagde dag gold, noemt de wet die hem veranderde en laat zien waar elk citaat in het officiële document staat.
Zonder bron klinkt een fout even zeker.
Zonder tool stond er bij elke set en elk model een stellige fout in de antwoorden: een betalingstermijn een dag te kort, een termijn die vanaf de verkeerde dag loopt, een maximum in het verkeerde lid. Met Bron gebeurde dat geen enkele keer, en met de andere drie tools ook niet.
Ook in de praktijk zestien van achttien.
Op de vragen uit de praktijk, over een onderwerp dat de schrijver van de vragen koos, was het antwoord met Bron zestien keer goed. Geen tool deed het beter.

Hoe we maten

Wie de vragen schreef, beantwoordde en nakeek.

  1. 01

    De vragen

    Codex van OpenAI, op GPT-6-Astra, schreef twee sets van achttien vragen zoals advocaten en bedrijfsjuristen ze stellen, elk met het antwoord uit de officiële bronnen. Het wist niet welke tools zouden antwoorden. Het onderwerp van de vragen uit de praktijk koos Codex; de wet op een datum kozen wij.

  2. 02

    De antwoorden

    Op 14 november 2026 beantwoordde Claude Opus 5.5 van Anthropic elke vraag vijf keer, zonder zelf op het web te zoeken: met alleen Bron, met alleen tool A, B of C, en zonder tool. Om te zien of de uitslag aan het model hangt, gingen de vragen over de wet op een datum ook via GPT-6-Astra van OpenAI, op dezelfde vijf manieren.

  3. 03

    Het nakijken

    Een nieuwe sessie van Codex keek de antwoorden van Claude na, Grok 4.7 van xAI die van GPT-6-Astra, met de criteria van de vragensteller en zonder de namen van de tools te zien. Elke set liep één keer per model: achttien vragen zijn een steekproef.

Elke vraag

De vraag, elk antwoord en elk oordeel.

Per vraag: de vraag zoals de assistent hem kreeg, elk antwoord woord voor woord, het oordeel over elk antwoord met de reden van de beoordelaar, en wat de vragensteller vooraf als antwoord vaststelde. Waar een antwoord de naam van zijn tool noemde, staat [tool].

Toon
Alle vragen
Bron niet helemaal goed
Een andere tool niet helemaal goed
Zonder tool fout

36 van 36 vragen

De wet op een datum

Per vraag de vakjes van Bron, tool A, B en C en zonder tool.

Vragen uit de praktijk

Per vraag de vakjes van Bron, tool A, B en C en zonder tool.