Εκπαίδευση μοντέλων τεχνητής νοημοσύνης: Η αναζήτηση για ανάπτυξη τεχνητής νοημοσύνης χαμηλού κόστους

• Συγγραφέας:
• όνομα συγγραφέα

  Quantumrun Foresight
• Μαρτίου 21, 2023

Το Deep Learning (DL) έχει αποδειχθεί ότι είναι μια ικανή λύση σε πολλές προκλήσεις στην ανάπτυξη της τεχνητής νοημοσύνης (AI). Ωστόσο, το DL γίνεται επίσης πιο ακριβό. Η λειτουργία βαθιάς νευρωνικών δικτύων απαιτεί υψηλούς πόρους επεξεργασίας, ιδιαίτερα στην προεκπαίδευση. Ακόμη χειρότερα, αυτή η ενεργοβόρα διαδικασία σημαίνει ότι αυτές οι απαιτήσεις οδηγούν σε μεγάλα αποτυπώματα άνθρακα, βλάπτοντας τις αξιολογήσεις ESG της εμπορευματοποίησης της έρευνας AI.

Πλαίσιο μοντέλων εκπαίδευσης AI

Η προεκπαίδευση είναι πλέον η πιο δημοφιλής προσέγγιση για τη δημιουργία νευρωνικών δικτύων μεγάλης κλίμακας και έχει δείξει μεγάλη επιτυχία στην όραση υπολογιστή (CV) και στην επεξεργασία φυσικής γλώσσας (NLP). Ωστόσο, η ανάπτυξη τεράστιων μοντέλων DL έχει γίνει πολύ δαπανηρή. Για παράδειγμα, η εκπαίδευση του Generative Pre-trained Transformer 3 (GPT-3) του OpenAI, που έχει 175 δισεκατομμύρια παραμέτρους και χρειάζεται πρόσβαση σε τεράστια συμπλέγματα διακομιστών με κορυφαίες κάρτες γραφικών, είχε εκτιμώμενο κόστος 12 εκατομμυρίων δολαρίων. Ένας ισχυρός διακομιστής και εκατοντάδες gigabyte μνήμης τυχαίας πρόσβασης βίντεο (VRAM) απαιτούνται επίσης για την εκτέλεση του μοντέλου.

Ενώ οι μεγάλες εταιρείες τεχνολογίας μπορεί να είναι σε θέση να αντέξουν οικονομικά τέτοιο κόστος εκπαίδευσης, γίνεται απαγορευτικό για μικρότερες νεοφυείς επιχειρήσεις και ερευνητικούς οργανισμούς. Τρεις παράγοντες οδηγούν αυτή τη δαπάνη. 

1. Εκτεταμένο υπολογιστικό κόστος, το οποίο θα χρειαζόταν αρκετές εβδομάδες με χιλιάδες μονάδες επεξεργασίας γραφικών (GPU).

2. Τα βελτιωμένα μοντέλα απαιτούν τεράστιο χώρο αποθήκευσης, που συνήθως καταλαμβάνει εκατοντάδες gigabyte (GBs). Επιπλέον, πρέπει να αποθηκευτούν πολλά μοντέλα για διαφορετικές εργασίες.

3. Η εκπαίδευση μεγάλων μοντέλων απαιτεί ακριβή υπολογιστική ισχύ και υλικό. Διαφορετικά, τα αποτελέσματα μπορεί να μην είναι ιδανικά.

Λόγω του απαγορευτικού κόστους, η έρευνα τεχνητής νοημοσύνης έχει γίνει ολοένα και πιο εμπορευματοποιημένη, όπου οι μεγάλες εταιρείες τεχνολογίας πρωτοστατούν στις μελέτες στον τομέα. Αυτές οι εταιρείες κερδίζουν επίσης τα περισσότερα από τα ευρήματά τους. Εν τω μεταξύ, τα ερευνητικά ιδρύματα και οι μη κερδοσκοπικοί οργανισμοί πρέπει συχνά να συνεργάζονται με αυτές τις επιχειρήσεις, εάν θέλουν να πραγματοποιήσουν την εξερεύνηση στο πεδίο. 

Αποδιοργανωτικός αντίκτυπος

Υπάρχουν στοιχεία που υποδηλώνουν ότι τα νευρωνικά δίκτυα μπορούν να «κλαδευτούν». Αυτό σημαίνει ότι στα υπερμεγέθη νευρωνικά δίκτυα, μια μικρότερη ομάδα μπορεί να επιτύχει το ίδιο επίπεδο ακρίβειας με το αρχικό μοντέλο AI χωρίς σοβαρές επιπτώσεις στη λειτουργικότητά του. Για παράδειγμα, το 2020, ερευνητές τεχνητής νοημοσύνης στο Swarthmore College και στο Εθνικό Εργαστήριο του Λος Άλαμος απέδειξαν ότι παρόλο που ένα σύνθετο μοντέλο DL μπορεί να μάθει να προβλέπει μελλοντικά βήματα στο Game of Life του μαθηματικού John Conway, υπάρχει πάντα ένα μικρότερο νευρωνικό δίκτυο που μπορεί να διδαχθεί. να κάνει το ίδιο πράγμα.

Οι ερευνητές ανακάλυψαν ότι εάν απορρίψουν πολλές παραμέτρους ενός μοντέλου DL αφού ολοκληρώσει ολόκληρη τη διαδικασία εκπαίδευσης, μπορούν να το μειώσουν στο 10 τοις εκατό του αρχικού του μεγέθους και να επιτύχουν το ίδιο αποτέλεσμα. Αρκετές εταιρείες τεχνολογίας συμπιέζουν ήδη τα μοντέλα τεχνητής νοημοσύνης τους για να εξοικονομήσουν χώρο σε συσκευές όπως φορητούς υπολογιστές και smartphone. Αυτή η μέθοδος όχι μόνο εξοικονομεί χρήματα αλλά επιτρέπει επίσης στο λογισμικό να λειτουργεί χωρίς σύνδεση στο Διαδίκτυο και να έχει αποτελέσματα σε πραγματικό χρόνο. 

Υπήρχαν επίσης περιπτώσεις όπου το DL ήταν δυνατό σε συσκευές που τροφοδοτούνταν από ηλιακές μπαταρίες ή κυψέλες κουμπιών, χάρη σε μικρά νευρωνικά δίκτυα. Ωστόσο, ένας περιορισμός της μεθόδου κλαδέματος είναι ότι το μοντέλο πρέπει ακόμα να εκπαιδευτεί πλήρως πριν μπορέσει να μειωθεί. Υπήρξαν κάποιες αρχικές μελέτες για νευρωνικά υποσύνολα που μπορούν να εκπαιδευτούν μόνα τους. Ωστόσο, η ακρίβειά τους δεν είναι ίδια με αυτή των υπερμεγέθων νευρωνικών δικτύων.

Συνέπειες της εκπαίδευσης μοντέλων AI

Οι ευρύτερες επιπτώσεις των μοντέλων εκπαίδευσης AI μπορεί να περιλαμβάνουν: 

• Αυξημένη έρευνα σε διάφορες μεθόδους εκπαίδευσης νευρωνικών δικτύων. Ωστόσο, η πρόοδος ενδέχεται να επιβραδυνθεί λόγω έλλειψης χρηματοδότησης.
• Η μεγάλη τεχνολογία συνεχίζει να χρηματοδοτεί τα ερευνητικά τους εργαστήρια AI, με αποτέλεσμα περισσότερες συγκρούσεις συμφερόντων.
• Το κόστος της ανάπτυξης της τεχνητής νοημοσύνης δημιουργεί τις προϋποθέσεις για τη δημιουργία μονοπωλίων, περιορίζοντας την ικανότητα των νέων νεοσύστατων επιχειρήσεων τεχνητής νοημοσύνης να ανταγωνίζονται ανεξάρτητα με καθιερωμένες εταιρείες τεχνολογίας. Ένα αναδυόμενο επιχειρηματικό σενάριο μπορεί να δει μερικές μεγάλες εταιρείες τεχνολογίας να αναπτύσσουν γιγάντια ιδιόκτητα μοντέλα τεχνητής νοημοσύνης και να τα εκμισθώνουν σε μικρότερες εταιρείες τεχνητής νοημοσύνης ως υπηρεσία / βοηθητικό πρόγραμμα.
• Ερευνητικά ιδρύματα, μη κερδοσκοπικοί οργανισμοί και πανεπιστήμια που χρηματοδοτούνται από μεγάλη τεχνολογία για τη διεξαγωγή ορισμένων πειραμάτων τεχνητής νοημοσύνης για λογαριασμό τους. Αυτή η τάση μπορεί να οδηγήσει σε μεγαλύτερη διαρροή εγκεφάλων από τον ακαδημαϊκό κόσμο προς τις εταιρείες.
• Αυξήθηκε η πίεση για τις μεγάλες τεχνολογίες να δημοσιεύουν και να ενημερώνουν τακτικά τις κατευθυντήριες γραμμές δεοντολογίας της τεχνητής νοημοσύνης για να τους καταστήσουν υπεύθυνους για τα έργα έρευνας και ανάπτυξης.
• Η εκπαίδευση μοντέλων τεχνητής νοημοσύνης γίνεται πιο ακριβή καθώς απαιτείται ολοένα και μεγαλύτερη υπολογιστική ισχύς, οδηγώντας σε περισσότερες εκπομπές άνθρακα.
• Ορισμένες κυβερνητικές υπηρεσίες προσπαθούν να ρυθμίσουν τα δεδομένα που χρησιμοποιούνται στην εκπαίδευση αυτών των γιγάντων μοντέλων τεχνητής νοημοσύνης. Επίσης, οι εταιρείες ανταγωνισμού ενδέχεται να δημιουργήσουν νομοθεσία που υποχρεώνει τα μοντέλα τεχνητής νοημοσύνης συγκεκριμένου μεγέθους να είναι προσβάσιμα σε μικρότερες εγχώριες επιχειρήσεις σε μια προσπάθεια να τονώσουν την καινοτομία στις ΜΜΕ.

Ερωτήσεις προς εξέταση

• Εάν εργάζεστε στον τομέα της τεχνητής νοημοσύνης, πώς αναπτύσσει ο οργανισμός σας πιο περιβαλλοντικά βιώσιμα μοντέλα τεχνητής νοημοσύνης;
• Ποιες είναι οι πιθανές μακροπρόθεσμες συνέπειες των ακριβών μοντέλων τεχνητής νοημοσύνης;