אימון מודלים של AI: החיפוש אחר פיתוח AI בעלות נמוכה

• מְחַבֵּר:
• שם היוצר

  Quantumrun Foresight
• במרץ 21, 2023

למידה עמוקה (DL) הוכחה כפתרון מוכשר למספר אתגרים בפיתוח בינה מלאכותית (AI). עם זאת, DL גם מתייקר. הפעלת רשתות עצביות עמוקות דורשת משאבי עיבוד גבוהים, במיוחד באימון מקדים. גרוע מכך, תהליך עתיר האנרגיה הזה אומר שדרישות אלה מביאות לטביעות פחמן גדולות, ופוגעות בדירוגי ה-ESG של מסחור מחקר בינה מלאכותית.

ההקשר של מודלים של AI

אימון מקדים הוא כיום הגישה הפופולרית ביותר לבניית רשתות עצביות בקנה מידה גדול, והיא הראתה הצלחה רבה בראייה ממוחשבת (CV) ועיבוד שפה טבעית (NLP). עם זאת, פיתוח דגמי DL ענקיים הפך ליקר מדי. לדוגמה, אימון ה-Generative Pre-trained Transformer 3 (GPT-3) של OpenAI, בעל 175 מיליארד פרמטרים וזקוק לגישה לאשכולות שרתים עצומים עם כרטיסים גרפיים מהשורה הראשונה, היה מוערך בעלות מוערכת של 12 מיליון דולר. נדרשים גם שרת רב עוצמה ומאות גיגה-בייט של זיכרון גישה אקראית לווידאו (VRAM) כדי להפעיל את הדגם.

בעוד שחברות טכנולוגיה גדולות עשויות להרשות לעצמן עלויות הכשרה כאלה, זה הופך לאסור עבור סטארטאפים קטנים יותר וארגוני מחקר. שלושה גורמים מניעים את ההוצאה הזו. 

1. עלויות חישוב נרחבות, שידרשו מספר שבועות עם אלפי יחידות עיבוד גרפיות (GPUs).

2. דגמים מכווננים דורשים אחסון מסיבי, בדרך כלל תופסים מאות גיגה-בייט (GBs). יתר על כן, יש לאחסן מספר דגמים למשימות שונות.

3. אימון דגמים גדולים דורש כוח חישוב וחומרה מדויקים; אחרת, ייתכן שהתוצאות לא יהיו אידיאליות.

בגלל עלויות עצומות, מחקר בינה מלאכותית הפך לממוסחר יותר ויותר, כאשר חברות ביג טק מובילות את המחקרים בתחום. חברות אלה גם מרוויחות את המרב מהממצאים שלהן. בינתיים, מוסדות מחקר ועמותות נאלצים לעתים קרובות לשתף פעולה עם עסקים אלה אם הם רוצים לבצע את החקירה שלהם בתחום. 

השפעה משבשת

ישנן עדויות המצביעות על כך שניתן "לגזום" רשתות עצביות. המשמעות היא שבתוך רשתות עצביות גדולות, קבוצה קטנה יותר יכולה להשיג את אותה רמת דיוק כמו מודל הבינה המלאכותית המקורית ללא השפעות כבדות על הפונקציונליות שלו. לדוגמה, בשנת 2020, חוקרי בינה מלאכותית בקולג' סוורתמור ובמעבדה הלאומית של לוס אלמוס המחישו שלמרות שמודל DL מורכב יכול ללמוד לחזות צעדים עתידיים במשחק החיים של המתמטיקאי ג'ון קונווי, תמיד ישנה רשת עצבית קטנה יותר שניתן ללמד. לעשות את אותו הדבר.

חוקרים גילו שאם הם משליכים מספר רב של פרמטרים של מודל DL לאחר שהשלים את כל הליך האימון, הם יכולים להפחית אותו ל-10 אחוזים מגודלו המקורי ועדיין להשיג את אותה תוצאה. כמה חברות טכנולוגיה כבר דוחסות את דגמי הבינה המלאכותית שלהן כדי לחסוך מקום במכשירים כמו מחשבים ניידים וסמארטפונים. שיטה זו לא רק חוסכת כסף אלא גם מאפשרת לתוכנה לפעול ללא חיבור לאינטרנט ולקבל תוצאות בזמן אמת. 

היו גם מקרים שבהם DL היה אפשרי במכשירים המופעלים על ידי סוללות סולאריות או תאי כפתור, הודות לרשתות עצביות קטנות. עם זאת, מגבלה של שיטת הגיזום היא שעדיין צריך להכשיר את הדגם לחלוטין לפני שניתן יהיה לצמצם אותו. היו כמה מחקרים ראשוניים על תת-קבוצות עצביות שניתן לאמן בעצמן. עם זאת, הדיוק שלהם אינו זהה לאלו של רשתות עצביות גדולות.

השלכות של אימון מודלים של AI

השלכות רחבות יותר של אימון מודלים של AI עשויות לכלול: 

• מחקר מוגבר בשיטות שונות לאימון רשתות עצביות; עם זאת, ההתקדמות עשויה להיות מואטת עקב חוסר מימון.
• טכנולוגיה גדולה ממשיכה לממן את מעבדות המחקר שלהם בינה מלאכותית, וכתוצאה מכך ניגודי עניינים נוספים.
• העלויות של פיתוח בינה מלאכותית יוצרות את התנאים להיווצרות מונופולים, ומגבילות את יכולתם של חברות סטארט-אפ חדשות בינה מלאכותית להתחרות באופן עצמאי עם חברות טכנולוגיה מבוססות. תרחיש עסקי מתפתח עשוי לראות קומץ חברות טכנולוגיה גדולות מפתחות מודלים ענקיים של בינה מלאכותית ומשכירה אותם לחברות בינה מלאכותית קטנות יותר כשירות/שירות.
• מוסדות מחקר, עמותות ואוניברסיטאות הממומנות על ידי טכנולוגיה גדולה כדי לערוך ניסויי בינה מלאכותית בשמם. מגמה זו יכולה להוביל לבריחת מוחות רבה יותר מהאקדמיה לתאגידים.
• לחץ מוגבר על טכנולוגיה גדולה לפרסם ולעדכן בקביעות את הנחיות האתיקה של AI כדי לגרום להם להיות אחראים על פרויקטי המחקר והפיתוח שלהם.
• אימון דגמי בינה מלאכותית מתייקר ככל שנדרש יותר ויותר כוח מחשוב גבוה יותר, מה שמוביל ליותר פליטת פחמן.
• סוכנויות ממשלתיות מסוימות מנסות לווסת את הנתונים המשמשים באימון של דגמי AI ענקיים אלה. כמו כן, סוכנויות תחרות עשויות ליצור חקיקה שמאלצת מודלים של בינה מלאכותית בגודל מסוים להיות נגישים לחברות מקומיות קטנות יותר במאמץ לדרבן חדשנות SME.

שאלות שכדאי לקחת בחשבון

• אם אתה עובד במגזר הבינה המלאכותית, איך הארגון שלך מפתח מודלים של AI בר-קיימא יותר מבחינה סביבתית?
• מהן ההשלכות הפוטנציאליות לטווח ארוך של דגמי AI יקרים?