Formazione di modelli di intelligenza artificiale: la ricerca di uno sviluppo di intelligenza artificiale a basso costo

CREDITO IMMAGINE:
Immagine di credito
iStock

Formazione di modelli di intelligenza artificiale: la ricerca di uno sviluppo di intelligenza artificiale a basso costo

Formazione di modelli di intelligenza artificiale: la ricerca di uno sviluppo di intelligenza artificiale a basso costo

Testo del sottotitolo
I modelli di intelligenza artificiale sono notoriamente costosi da costruire e addestrare, rendendoli fuori dalla portata della maggior parte dei ricercatori e degli utenti.
    • Autore:
    • Nome dell'autore
      Preveggenza quantistica
    • 21 Marzo 2023

    Il deep learning (DL) ha dimostrato di essere una soluzione competente a diverse sfide nello sviluppo dell'intelligenza artificiale (AI). Tuttavia, DL sta anche diventando più costoso. Il funzionamento di reti neurali profonde richiede elevate risorse di elaborazione, in particolare nel pre-addestramento. Peggio ancora, questo processo ad alta intensità energetica significa che questi requisiti si traducono in grandi impronte di carbonio, danneggiando le valutazioni ESG della commercializzazione della ricerca sull'IA.

    Contesto dei modelli di addestramento AI

    La pre-formazione è ora l'approccio più diffuso per la costruzione di reti neurali su larga scala e ha dimostrato un grande successo nella visione artificiale (CV) e nell'elaborazione del linguaggio naturale (NLP). Tuttavia, lo sviluppo di enormi modelli DL è diventato troppo costoso. Ad esempio, l'addestramento del Generative Pre-trained Transformer 3 (GPT-3) di OpenAI, che ha 175 miliardi di parametri e richiede l'accesso a enormi cluster di server con schede grafiche di prim'ordine, ha avuto un costo stimato di 12 milioni di dollari. Per eseguire il modello sono inoltre necessari un server potente e centinaia di gigabyte di memoria ad accesso casuale video (VRAM).

    Mentre le grandi aziende tecnologiche potrebbero essere in grado di permettersi tali costi di formazione, diventa proibitivo per le piccole startup e le organizzazioni di ricerca. Tre fattori guidano questa spesa. 

    1. Costi di calcolo elevati, che richiederebbero diverse settimane con migliaia di unità di elaborazione grafica (GPU).

    2. I modelli ottimizzati richiedono uno spazio di archiviazione enorme, che in genere occupa centinaia di gigabyte (GB). Inoltre, è necessario memorizzare più modelli per compiti diversi.

    3. L'addestramento di modelli di grandi dimensioni richiede potenza di calcolo e hardware precisi; in caso contrario, i risultati potrebbero non essere ideali.

    A causa dei costi proibitivi, la ricerca sull'IA è diventata sempre più commercializzata, in cui le aziende Big Tech stanno conducendo gli studi nel campo. Queste aziende possono anche ottenere il massimo dalle loro scoperte. Nel frattempo, gli istituti di ricerca e le organizzazioni non profit spesso devono collaborare con queste aziende se vogliono condurre le loro esplorazioni sul campo. 

    Impatto dirompente

    Ci sono prove che suggeriscono che le reti neurali possono essere "potate". Ciò significa che all'interno di reti neurali sovradimensionate, un gruppo più piccolo può raggiungere lo stesso livello di accuratezza del modello IA originale senza impatti pesanti sulla sua funzionalità. Ad esempio, nel 2020, i ricercatori di intelligenza artificiale dello Swarthmore College e del Los Alamos National Laboratory hanno dimostrato che anche se un modello DL complesso può imparare a prevedere i passi futuri nel gioco della vita del matematico John Conway, c'è sempre una rete neurale più piccola che può essere insegnata fare la stessa cosa.

    I ricercatori hanno scoperto che se scartano numerosi parametri di un modello DL dopo che ha completato l'intera procedura di addestramento, possono ridurlo al 10 percento della sua dimensione originale e ottenere comunque lo stesso risultato. Diverse aziende tecnologiche stanno già comprimendo i loro modelli di intelligenza artificiale per risparmiare spazio su dispositivi come laptop e smartphone. Questo metodo non solo consente di risparmiare denaro, ma consente anche al software di funzionare senza una connessione Internet e ottenere risultati in tempo reale. 

    Ci sono stati anche casi in cui il DL era possibile su dispositivi alimentati da batterie solari o celle a bottone, grazie a piccole reti neurali. Tuttavia, una limitazione del metodo di sfoltimento è che il modello deve ancora essere completamente addestrato prima di poter essere ridotto. Ci sono stati alcuni studi iniziali su sottoinsiemi neurali che possono essere addestrati da soli. Tuttavia, la loro accuratezza non è la stessa di quella delle reti neurali sovradimensionate.

    Implicazioni dell'addestramento di modelli di intelligenza artificiale

    Le implicazioni più ampie dell'addestramento dei modelli di intelligenza artificiale possono includere: 

    • Aumento della ricerca in diversi metodi di addestramento delle reti neurali; tuttavia, i progressi potrebbero essere rallentati dalla mancanza di finanziamenti.
    • La grande tecnologia continua a finanziare i propri laboratori di ricerca sull'intelligenza artificiale, provocando ulteriori conflitti di interesse.
    • I costi dello sviluppo dell'intelligenza artificiale creano le condizioni per la formazione di monopoli, limitando la capacità delle nuove startup di intelligenza artificiale di competere in modo indipendente con aziende tecnologiche consolidate. Uno scenario di business emergente potrebbe vedere una manciata di grandi aziende tecnologiche sviluppare giganteschi modelli di intelligenza artificiale proprietaria e prestarli a società di intelligenza artificiale più piccole come servizio/utilità.
    • Istituti di ricerca, organizzazioni non profit e università finanziate dalla grande tecnologia per condurre alcuni esperimenti di intelligenza artificiale per loro conto. Questa tendenza può portare a una maggiore fuga di cervelli dal mondo accademico alle aziende.
    • Aumento della pressione affinché le grandi tecnologie pubblichino e aggiornino regolarmente le loro linee guida sull'etica dell'IA per renderle responsabili dei loro progetti di ricerca e sviluppo.
    • La formazione dei modelli di intelligenza artificiale diventa più costosa poiché è sempre più richiesta una maggiore potenza di calcolo, con conseguenti maggiori emissioni di carbonio.
    • Alcune agenzie governative stanno tentando di regolamentare i dati utilizzati nell'addestramento di questi giganteschi modelli di intelligenza artificiale. Inoltre, le agenzie per la concorrenza possono creare una legislazione che obblighi a rendere accessibili modelli di intelligenza artificiale di una certa dimensione alle piccole imprese nazionali nel tentativo di stimolare l'innovazione delle PMI.

    Domande da considerare

    • Se lavori nel settore dell'intelligenza artificiale, in che modo la tua organizzazione sta sviluppando modelli di intelligenza artificiale più sostenibili dal punto di vista ambientale?
    • Quali sono le potenziali conseguenze a lungo termine di costosi modelli di intelligenza artificiale?

    Riferimenti di approfondimento

    I seguenti collegamenti popolari e istituzionali sono stati referenziati per questa intuizione: