Rettigheder og kunstig intelligens

Danske opslag fra sociale medier i AI‑træningsdata

I november 2024 blev over to millioner offentlige opslag høstet fra det sociale medie Bluesky på et enkelt døgn og lagt åbent på Hugging Face som træningsdata, uden at brugerne vidste det. Jeg har sprogklassificeret alle 2,1 mio. opslag og fundet de danske. Det er almindelige danskeres samtaler om politik, børn, trafik og hverdag, med brugernavn og bruger-ID på hvert eneste opslag.

Opslagene vises ikke her, hverken tekst eller brugernavne. Et ordret citat kan søges tilbage til profilen bag på sekunder, og pointen med denne kortlægning er at dokumentere indsamlingen, ikke at gentage den. Se forklaringen nedenfor.

2.107.530
opslag i datasættet i alt
7.814
klassificeret som dansk
3.753
dansk med høj sikkerhed
1.649
danske profiler bag dem
1 døgn
indsamlingsvindue, 27.-28. nov. 2024
Datakilder og dokumentation
Two Million Bluesky PostsÅbent på Hugging Face2,1 mio. offentlige opslag høstet fra Blueskys firehose-API (platformens åbne live-strøm af alle opslag) den 27.-28. november 2024 og delt som datasæt til maskinlæring. Hvert opslag ligger med fuld tekst, tidspunkt, brugernavn (handle) og brugerens permanente ID (DID). Brugerne er ikke spurgt, og datasættet ligger fortsat åbent til download.
404 MediaPresseomtaleTeknologimediet 404 Media beskrev forløbet i december 2024. En ansat hos Hugging Face lagde først 1 mio. Bluesky-opslag op, trak dem tilbage efter massive protester og en erkendelse af at indsamlingen brød med principper om gennemsigtighed og samtykke. Derefter lagde andre brugere endnu større datasæt op, 2 mio., 8 mio. og helt op til 298 mio. opslag, som blev liggende. "Your Bluesky Posts Are Probably In A Bunch of Datasets Now" ↗
At et opslag optræder i datasættet viser, at det er indsamlet og delt som træningsdata, ikke at en bestemt AI-model nødvendigvis er trænet på netop det opslag.
Om datasættet, metode og forbehold

Hvad datasættet er

Bluesky er bygget med en åben firehose, en live-strøm hvor alle offentlige opslag kan aflæses af enhver. Det gør platformen let at skrabe i stor skala. Datasættet her er to millioner opslag opsamlet fra strømmen over cirka et døgn og lagt på Hugging Face, målrettet træning og test af sprogmodeller på indhold fra sociale medier. Hvert opslag indeholder den fulde tekst, tidspunkt, brugerens handle, opslagets URI (hvori brugerens permanente DID indgår), om der er billeder, og hvilket opslag der eventuelt svares på.

Hvorfor det er interessant for en dansk kortlægning

Det er første gang denne kortlægning kan vise danskeres SAMTALER som træningsdata. De øvrige sider handler om værker, musik, bøger, billeder, tale. Her er det almindelige menneskers løbende ytringer, holdninger og diskussioner, koblet direkte til en identificerbar profil. 70 procent af de danske opslag er svar i samtaler, altså dialog mellem mennesker.

Metode

Datasættets beskrivelse omtaler en udgave med sprogforudsigelser, men den findes ikke blandt filerne. Jeg har derfor kørt sprogklassifikationen selv med præcis den model, beskrivelsen henviser til, glotlid v3 fra cis-lmu, på alle 2.107.530 opslag. 7.814 opslag blev klassificeret som dansk. Med et forsigtigt sikkerhedskrav (confidence mindst 0,8) er tallet 3.753 opslag fra 1.649 profiler, og en manuel stikprøve på 15 opslag på det niveau var dansk i alle 15 tilfælde. Norsk bokmål og svensk klassificeres separat, så tallene er ikke pustet op af nabosprogene. Rå-tallet 7.814 opslag fra 4.668 profiler er en øvre grænse med lavere sikkerhed pr. opslag.

Forbehold

Sprogklassifikation af korte tekster er usikker, korte opslag, blandingssprog og citater kan fejlklassificeres begge veje. Datasættet er ét døgns høst, så tallene siger ikke noget om, hvor mange danske opslag der samlet er høstet fra Bluesky i andre datasæt, herunder de større på op til 298 mio. opslag. Persondata her er brugernavn og bruger-ID. I selve teksterne fandt jeg stort set ingen kontaktoplysninger (4 mailadresser, ingen telefonnumre med kontekst).

Kilder

Hvad de danske opslag handler om
#dkpolDansk politik fylder mest. Hashtagget #dkpol optræder 155 gange i de danske opslag, og stikprøven er domineret af politisk debat, ministre, statsministerkandidater, Grønland, medier og tech-regulering.
70 %af opslagene er svar på andre opslag. Det er hele samtaler mellem danskere, der er endt som træningsdata.
13 %af opslagene har billeder tilknyttet.
Omskrevne eksempler
PolitikEn bruger spørger i en valgtråd, om en statsministerkandidat bliver mindre troværdig af at have fået foretaget plastikkirurgi.
PolitikEn bruger roser en minister for at afvise at deltage i et arrangement sammen med TikTok.
GrønlandEn bruger kalder det grotesk, at et barn kan tvangsfjernes med henvisning til sin grønlandske baggrund.
MedierEn bruger deler nyheden om en milliondonation, der skal finansiere journalister på lokale og regionale medier.
HverdagEn bruger brokker sig over bilister i lokalområdet, der kører det samme uanset fartgrænsen.
ArbejdslivEn bruger sammenligner sin jobsituation med at skulle vedligeholde et portfolio som designer.

Eksemplerne er omskrevne. Ordlyden er ændret, netop så opslagene ikke kan søges tilbage til profilerne bag, men emne og karakter er bevaret.

Hvem står bag de danske opslag
1.073profiler optræder med et enkelt opslag
438profiler med 2 til 5 opslag
133profiler med 6 til 20 opslag
5profiler med over 20 opslag, den mest aktive med 111

Opgjort på de 3.753 opslag med høj sikkerhed. Langt de fleste berørte er altså helt almindelige brugere, der tilfældigvis skrev et enkelt opslag i det døgn, høsten stod på.

Derfor vises opslagene ikke

Datasættet indeholder fuld tekst og brugernavn på hvert opslag, og intet er anonymiseret. Men et ordret citat kan slås op i Blueskys egen søgning og føre direkte til personen bag, og et brugernavn er i sig selv en identifikation. At gengive opslagene her ville reproducere præcis den eksponering, siden dokumenterer.

Derfor vises kun optællinger, mønstre og omskrevne eksempler. Det følger samme princip som resten af kortlægningen, navngivne selskaber og professionelle rettighedshavere nævnes, privatpersoner gør ikke. Datatilsynet er underrettet om kortlægningens persondatafund.

Omtale