Modeller der kan genkende og forstå tale, trænes på enorme mængder lyd skrabet fra nettet. Her har jeg gennemgået to af de mest brugte datasæt, YODAS og VoxCeleb, og fundet dansk tale, danske medieklip og kendte danske stemmer, som er endt i træningsdata uden at nogen har spurgt om lov.
Vigtigt, der er to forskellige spor her. Talegenkendelse, hvor dansk tale er brugt som træningsdata til modeller der laver lyd om til tekst (YODAS, VoxLingua107, VoxCeleb). Og stemmekloning, hvor en konkret dansk persons stemme er genskabt af kunstig intelligens (RVC-modeller). Se forklaringen nedenfor for præcis hvad hvert datasæt indeholder og er brugt til.
YODAS er et stort flersproget tale-datasæt indsamlet fra YouTube af forskere bag ESPnet. Det indeholder lydfiler og tilhørende transskriptioner fra videoer, der lå under en Creative Commons-licens. Den danske del rummer 675 videoer med dansk tale.
YODAS bruges til at træne talegenkendelse, altså modeller der laver tale om til tekst. Det er konkret brugt til OWSM, en åben kopi af OpenAIs Whisper, der kan transskribere og oversætte tale. Den nyeste version er trænet på cirka 320.000 timers lyd, hvoraf YODAS udgør omkring 166.000 timer. YODAS bruges ikke til at generere eller klone stemmer. Den rettighedsmæssige pointe er derfor ophavsret, at beskyttet dansk indhold er indsamlet og brugt til at træne kommerciel kunstig intelligens uden tilladelse, ikke stemmekloning.
Når en dansk spillefilm eller tv-produktion optræder her, stammer transskriptionen fra en trailer, et klip, en bag-om-film eller omtale, der har ligget på YouTube. Det er altså ikke hele spillefilm, der har ligget frit tilgængeligt. Rettighedshaveren er det navngivne produktions- eller distributionsselskab.
Datasættet indeholder kun et video-id og en transskription, ikke titel eller kanalnavn, og videoerne er typisk fjernet fra YouTube i dag. Afsenderen er derfor fundet ud fra selve det talte indhold, navne der nævnes, og søgning på distinkte sætninger. 228 af de 675 videoer er på den måde knyttet til en navngiven, kontrolleret dansk rettighedshaver. Resten er overvejende almindelige privatpersoner og er bevidst ikke tilskrevet nogen.
VoxLingua107 er et tale-datasæt indsamlet fra YouTube, bygget til at træne sprogidentifikation. Korte lydklip er automatisk hentet fra videoer, uden samtykke og uden rettighedsclearing. Den danske del er 28 timers tale fra 367 kilde-videoer. Klippene er navngivet efter deres kilde-video, og de fleste videoer er stadig online, så afsenderen kan identificeres direkte. De 367 videoer kommer fra 260 forskellige kanaler, blandt andre DR (P3, Ultra, DRTV), TV 2 Kosmopol, Billed-Bladet, C More, Illustreret Videnskab, F.C. København, Forbrugerrådet Tænk og Udenrigsministeriet. Under fanen VoxLingua107 kan du se dem grupperet efter kanal. Det er samme type ophavsretsspørgsmål som YODAS.
VoxCeleb er et datasæt af kendte personers stemmer og ansigter, klippet ud af YouTube-interviews. Det bruges til at træne systemer, der kan genkende og skelne mellem personer ud fra deres stemme. Personerne er ikke blevet spurgt. I den danske del optræder skuespillerne Nikolaj Coster-Waldau og Sidse Babett Knudsen samt filminstruktøren Susanne Bier.
De tre datasæt ovenfor handler om talegenkendelse, altså at lære maskinen at forstå tale. Stemmekloning er noget andet. Her er en konkret persons stemme genskabt, så man kan få maskinen til at synge eller tale med dén stemme. På Hugging Face ligger der frit downloadbare RVC-modeller, der genskaber den danske sanger Lukas Grahams stemme, trænet på hans vokal fra forskellige perioder, uden samtykke. Det er den type brug, som den danske deepfake-lovgivning (§65a om kunstnerisk præstation og §73a om personlige kendetegn) er møntet på. Den juridiske vurdering ligger hos juristerne, her dokumenteres alene, at modellerne findes og er offentligt tilgængelige. Dertil kommer dokumenterede enkeltsager, som deepfake-videoen med statsminister Mette Frederiksens syntetiserede stemme.
Under fanen Søg i alle videoer kan du søge i transskriptionerne, for eksempel på dit navn, dit selskab eller en sætning du har sagt. Under Kendte afsendere er de identificerede rettighedshavere samlet. Klik på en video for at åbne dens oprindelige YouTube-adresse, bemærk at mange er fjernet.