AI-modellen trainen: de zoektocht naar goedkope AI-ontwikkeling

• Auteur:
• auteursnaam

  Quantumrun-prognose
• 21 maart 2023

Diep leren (DL) heeft bewezen een competente oplossing te zijn voor verschillende uitdagingen in de ontwikkeling van kunstmatige intelligentie (AI). DL wordt echter ook steeds duurder. Het bedienen van diepe neurale netwerken vereist hoge verwerkingsbronnen, met name in de pre-training. Erger nog, dit energie-intensieve proces betekent dat deze vereisten resulteren in een grote ecologische voetafdruk, wat de ESG-scores van de commercialisering van AI-onderzoek schaadt.

Training AI-modellen context

Pre-training is nu de meest populaire benadering voor het bouwen van grootschalige neurale netwerken, en het heeft grote successen opgeleverd in computervisie (CV) en natuurlijke taalverwerking (NLP). Het ontwikkelen van enorme DL-modellen is echter te kostbaar geworden. Het trainen van OpenAI's Generative Pre-trained Transformer 3 (GPT-3), die 175 miljard parameters heeft en toegang nodig heeft tot enorme serverclusters met eersteklas grafische kaarten, had bijvoorbeeld een geschatte kostprijs van 12 miljoen dollar. Een krachtige server en honderden gigabytes aan video random access memory (VRAM) zijn ook nodig om het model te laten draaien.

Hoewel grote technologiebedrijven dergelijke trainingskosten misschien kunnen betalen, wordt het onbetaalbaar voor kleinere startups en onderzoeksorganisaties. Drie factoren drijven deze kosten. 

1. Hoge rekenkosten, die met duizenden grafische verwerkingseenheden (GPU's) enkele weken in beslag zouden nemen.

2. Nauwkeurige modellen vereisen een enorme opslagruimte, die meestal honderden gigabytes (GB's) in beslag neemt. Bovendien moeten meerdere modellen voor verschillende taken worden opgeslagen.

3. Het trainen van grote modellen vereist nauwkeurige rekenkracht en hardware; anders zijn de resultaten misschien niet ideaal.

Vanwege onbetaalbare kosten is AI-onderzoek steeds meer gecommercialiseerd, waarbij Big Tech-bedrijven de onderzoeken in het veld leiden. Deze bedrijven zullen ook het meest profiteren van hun bevindingen. Ondertussen moeten onderzoeksinstellingen en non-profitorganisaties vaak samenwerken met deze bedrijven als ze hun verkenning in het veld willen uitvoeren. 

Disruptieve impact

Er zijn aanwijzingen dat suggereert dat neurale netwerken kunnen worden 'gesnoeid'. Dit betekent dat binnen supergrote neurale netwerken een kleinere groep hetzelfde nauwkeurigheidsniveau kan bereiken als het oorspronkelijke AI-model zonder zware gevolgen voor de functionaliteit. In 2020 illustreerden AI-onderzoekers van Swarthmore College en het Los Alamos National Laboratory bijvoorbeeld dat hoewel een complex DL-model toekomstige stappen in Game of Life van wiskundige John Conway kan leren voorspellen, er altijd een kleiner neuraal netwerk is dat kan worden aangeleerd om hetzelfde te doen.

Onderzoekers ontdekten dat als ze tal van parameters van een DL-model weggooien nadat het de volledige trainingsprocedure heeft voltooid, ze het kunnen terugbrengen tot 10 procent van de oorspronkelijke grootte en toch hetzelfde resultaat kunnen bereiken. Verschillende technologiebedrijven comprimeren hun AI-modellen al om ruimte te besparen op apparaten zoals laptops en smartphones. Deze methode bespaart niet alleen geld, maar zorgt er ook voor dat de software zonder internetverbinding kan worden uitgevoerd en real-time resultaten oplevert. 

Er waren ook gevallen waarin DL mogelijk was op apparaten die werden aangedreven door zonnebatterijen of knoopcellen, dankzij kleine neurale netwerken. Een beperking van de snoeimethode is echter dat het model nog volledig moet worden getraind voordat het kan worden verkleind. Er waren enkele eerste onderzoeken naar neurale subsets die op zichzelf kunnen worden getraind. Hun nauwkeurigheid is echter niet hetzelfde als die van supergrote neurale netwerken.

Implicaties van het trainen van AI-modellen

Bredere implicaties van het trainen van AI-modellen kunnen zijn: 

• Meer onderzoek naar verschillende methoden om neurale netwerken te trainen; de voortgang kan echter worden vertraagd door een gebrek aan financiering.
• Big tech blijft hun AI-onderzoekslaboratoria financieren, wat resulteert in meer belangenconflicten.
• De kosten van AI-ontwikkeling creëren de voorwaarden voor de vorming van monopolies, waardoor het vermogen van nieuwe AI-startups om onafhankelijk te concurreren met gevestigde technologiebedrijven wordt beperkt. In een opkomend bedrijfsscenario kan een handvol grote technologiebedrijven gigantische eigen AI-modellen ontwikkelen en deze als service/utility aan kleinere AI-bedrijven verhuren.
• Onderzoeksinstellingen, non-profitorganisaties en universiteiten worden gefinancierd door big tech om namens hen enkele AI-experimenten uit te voeren. Deze trend kan leiden tot meer braindrain van de academische wereld naar bedrijven.
• Verhoogde druk op big tech om hun AI-ethische richtlijnen te publiceren en regelmatig bij te werken om hen verantwoordelijk te maken voor hun onderzoeks- en ontwikkelingsprojecten.
• Het trainen van AI-modellen wordt duurder naarmate er steeds meer rekenkracht nodig is, wat leidt tot meer COXNUMX-uitstoot.
• Sommige overheidsinstanties proberen de gegevens te reguleren die worden gebruikt bij de training van deze gigantische AI-modellen. Ook kunnen mededingingsautoriteiten wetgeving opstellen die dwingt om AI-modellen van een bepaalde omvang toegankelijk te maken voor kleinere binnenlandse bedrijven, in een poging om MKB-innovatie te stimuleren.

Vragen om te overwegen

• Als u in de AI-sector werkt, hoe ontwikkelt uw organisatie dan milieuvriendelijkere AI-modellen?
• Wat zijn de mogelijke langetermijngevolgen van dure AI-modellen?