Store sprogmodeller er trænet på enorme samlinger af bøger, mange af dem hentet ulovligt fra skyggebiblioteker. Flere af de datasæt, der er brugt eller påstået brugt til at træne sprogmodeller, indeholder også danske bøger, både danske forfatteres værker og bøger udgivet af danske forlag. Nedenfor kan du søge og bladre i de danske titler, jeg har fundet, og skifte mellem datasættene.
Listen bygger på tre kendte bogdatasæt. Den opdateres løbende, efterhånden som jeg gennemgår flere datasæt og udvider referencelisten over danske forfattere og forlag.
Der findes tre store digitale bogsamlinger, som er brugt eller påstået brugt til at træne sprogmodeller. Books3, LibGen og Z-Library, sidstnævnte hentet via samlingen PiLiMi i Anna's Archive. Bøgerne er i vidt omfang taget fra skyggebiblioteker uden tilladelse fra forfattere og forlag.
En stor del af bøgerne stammer fra skyggebiblioteker som LibGen og Z-Library, hvor ophavsretligt beskyttede bøger er gjort tilgængelige uden tilladelse fra forfattere og forlag. Rettighedshaverne er ikke blevet spurgt, om deres bøger måtte bruges til at træne kunstig intelligens. Flere af samlingerne er genstand for retssager, og i sagen Bartz mod Anthropic lagde en amerikansk domstol til grund, at der var hentet millioner af bøger fra LibGen og PiLiMi.
For nogle af samlingerne er brugen bekræftet i retssager. En føderal domstol i USA har lagt til grund, at Anthropic i 2021 hentede omkring 5 millioner bøger fra LibGen og i 2022 omkring 2 millioner bøger fra PiLiMi. Sagen Bartz mod Anthropic endte med et forlig på 1,5 milliarder dollars. Meta har bekræftet at have brugt Books3, og både OpenAI og Meta er sagsøgt for brug af LibGen. NVIDIA er sagsøgt for at have trænet sine NeMo-modeller på The Pile, der indeholder Books3, og i sagens akter er der fremlagt korrespondance mellem en NVIDIA-medarbejder og Anna's Archive. For de øvrige sammenhænge bygger det på det, der er fremlagt i retssagerne.
Bøgerne er fundet ved at gennemsøge de tre datasæt for danske ISBN-numre, altså numre der begynder med 978-87, og ved at matche mod en referenceliste på 2.329 verificerede danske forfattere fra Dansk Forfatterforening og Wikipedia. Forlagene er fundet via forlagsfeltet i datasættene og Google Books.
Et dansk ISBN, 978-87, betyder, at bogen er registreret hos et dansk forlag. Det omfatter danske forfatteres værker på dansk og andre sprog, udenlandske forfattere udgivet af danske forlag, herunder oversættelser, og bøger på alle sprog udgivet af danske forlag. Dertil kommer danske forfattere fundet ved navnematch. Fælles for alle fund er, at de er dokumenteret til stede i mindst ét af de tre datasæt.
Datasættene og dokumentationen stammer fra de primære kilder.
Den journalistiske kortlægning af Books3 og de øvrige bogsamlinger er beskrevet af Alex Reisner i The Atlantic.