Store sprogmodeller trænes på enorme mængder tekst, skrabet fra det åbne net. En stor del af det danske indhold stammer fra danske nyhedsmedier, forlag, virksomheder og myndigheder. Søg dit eget domæne nedenfor, for eksempel dr.dk eller din avis, og se hvor mange af jeres sider der ligger i datasættet.
Dette er et øjebliksbillede fra ét stort, åbent tekstdatasæt. Tallene opdateres, efterhånden som jeg gennemgår flere.
Tallene her stammer fra FineWeb-2, et af de største åbne tekstdatasæt til træning af sprogmodeller, udgivet af Hugging Face. Det er udledt af Common Crawl, en løbende skrabning af det åbne internet, og den danske del rummer titusinder af millioner af websider. Datasæt af denne type er grundlaget for de fleste store sprogmodeller.
Hver side i datasættet har en adresse. Det rene danske signal er, at adressen ligger på et dansk domæne, altså slutter på .dk. Det fanger danske nyhedsmedier, forlag, virksomheder, foreninger og myndigheder. Jeg har talt op, hvor mange sider hvert dansk domæne optræder med, og gemt et udsnit af de konkrete adresser pr. domæne.
Søg dit eget domæne i feltet, for eksempel dr.dk, din avis eller din virksomhed. Tallet ud for domænet er antallet af sider fundet. Klik på domænet for at se et udsnit af de konkrete adresser. Domæner med under fem sider vises ikke enkeltvis, men er talt med i totalen.
Indholdet er skrabet fra det åbne net, og en stor del er ophavsretligt beskyttet journalistik og andet redaktionelt stof. Rettighedshaverne er så vidt vides ikke blevet spurgt, om deres tekster måtte bruges til at træne kunstig intelligens. Om den brug er lovlig, er omstridt og afgøres i øjeblikket i flere retssager, blandt andre The New York Times mod OpenAI og Microsoft.
At en side optræder i datasættet, viser, at den har været tilgængelig og er blevet skrabet, ikke nødvendigvis at en bestemt sprogmodel er trænet på netop den. Et dansk domæne kan desuden rumme både redaktionelt stof og brugerskabt indhold. Tallene er et øjebliksbillede af ét datasæt og udvides, efterhånden som jeg gennemgår flere.