האם ה-AI הגיע לתקרת הזכוכית: איך יראו השדרוגים הבאים בצ'אטים?

שנתיים לאחר ההשקה של ChatGPT, שהותירה את העולם נפעם, שוק הבינה המלאכותית מתמודד עם קשיי גדילה. מודלי שפה גדולים (LLM) שהיוו את הבסיס ליכולות המתקדמות של ChatGPT והצ'אטים הנוספים, נמצאים מול  מגבלות טכנולוגיות וגם כלכליות. טכנולוגיות כי קשה לשפר את היכולות הטכנולוגיות כפי שהיה בעבר. הקפיצה מדור לדור תבטא שיפורים מינורים יותר. וכלכלית כי העלויות של הפירמות המשתמשות כדי לייצר כלי עבודה גבוהות מאוד. 

התפיסה היא שככל שתהליך הלמידה רחב יותר וגדול יותר, ככל מאמנים יותר את הכלי כך הוא טוב יותר. הגודל של המודלים האלו, היה עד כה מנוע הצמיחה העיקרי. אבל הוא מתחיל להיתפס בזמן האחרון כעוצר התקדמות כשיש חלופות - במקום לאמן וללמד את המכונה על פני כמויות עצומות של חומר ומידע, אפשר לעשות זאת חכם יותר על פני פחות מידע. לשם זה הולך, ויש לזה משמעויות על כל עולם הבינה המלאכותית והמשתמשים. 
 

גודל מול מהירות: מה הבעיה האמיתית?

מודלי שפה גדולים כמו GPT-4, מתייחסים למערכות מתקדמות שמכילות מיליארדי פרמטרים, אותם "כפתורים" המותאמים במהלך האימון כדי לייצר את היכולת לשפה טבעית. אבל גודל כזה אינו מגיע בחינם. אימון של מודל כמו GPT-4 דרש כמות אנרגיה עצומה, שמשתווה לצריכת החשמל של 50 בתים בארה"ב למשך 100 שנה. העלויות הכלכליות של אימון דור המודלים הבא צפויות להגיע למיליארדי דולרים, והאתגר הטכנולוגי המורכב הופך את ההשקעה הזו לפחות כדאית.

הבעיה אינה רק בעלות. ככל שהמודלים גדלים, נדרש זמן רב יותר לאמן אותם ולהריץ אותם, וכך הם הופכים לאיטיים ובלתי יעילים למשתמשי הקצה. לדוגמה, במודלים מהדור הנוכחי, זמני התגובה ארוכים יותר, והצרכים האנרגטיים המוגברים מקשים על הפעלתם בקנה מידה רחב. במילים אחרות, הגודל כבר לא מיתרגם לשיפור משמעותי, והמודלים החדשים לא מצליחים להציג קפיצה טכנולוגית דומה לזו שנרשמה בעבר.

האם ההתקדמות מאטה?

בהשוואה לעשור הקודם, הקצב שבו שוק הבינה המלאכותית מצליח לייצר פריצות דרך גדולות אכן מאט. בעבר, יותר פרמטרים במודל היו שווים לשיפור דרמטי בביצועים. אבל היום, נראה שהגענו לגבול. הדור הבא של מודלים עשוי לדרוש כמויות עצומות של כוח חישובי ואנרגיה מבלי לספק שיפור משמעותי.

בעיה נוספת היא המחסור בטקסטים באיכות גבוהה לאימון. רוב המידע הזמין באינטרנט כבר נוצל, והיכולת לשפר את המודלים מוגבלת על ידי האיכות והכמות של נתוני האימון.

כמו כן, העלויות אינן רק באימון המודלים אלא גם בהרצתם. "עלויות ההיסק" (inference costs) עולות ככל שהמודל גדול יותר, ומעכבות את היכולת להשתמש בו בצורה רווחית.
 

הפתרון: יותר חכם, יותר קטן

לאור האתגרים הללו, חברות מובילות כמו OpenAI, גוגל ואנטרופיק עוברות להתמקד בפתרונות שמטרתם לשפר מודלים קיימים במקום לייצר מודלים גדולים יותר. שיטה אחת, המכונה test-time compute, מאפשרת למודל "לחשוב" יותר זמן לפני מתן תשובה. כך, במקום להשקיע בעוצמת עיבוד גדולה יותר, המודל מנצל זמן עיבוד נוסף כדי לשפר את דיוק התשובה.

הגישה הזו כבר מיושמת במודלים חדשים כמו o1 של OpenAI, שמסוגלים לפתור בעיות מורכבות יותר, כמו מתמטיקה ותכנות, באמצעות תהליך עיבוד ארוך יותר. כך, ניתן להשיג שיפור משמעותי בביצועים מבלי להגדיל את גודל המודל. זה אתגר גדול, ונראה שזה יהיה המפתח והמרוץ הבא - מי יודע לפתח צ'אט חכם ולא מי יודע לפתח צ'אט שרץ על דטה גדול.

 

מה זה אומר על יצרניות השבבים?

המעבר מ"גודל" ל"יעילות" עשוי לשנות באופן מהותי את שוק השבבים. עד כה, הדרישה למודלים גדולים יצרה ביקוש אדיר לשבבים רבי עוצמה של חברות כמו אנבידיה. אולם, עם המעבר למודלים קטנים יותר וממוקדים, ייתכן שנראה ירידה בביקוש לשבבים מסוג זה. במקום זאת, עשוי לעלות הביקוש לשבבים שמיועדים להרצה יעילה של מודלים. 

המשמעות לצ'אטים היא שהשדרוגים הבאים יהיו איטיים יותר מבחינה טכנולוגית, הממשעות לאנביידה שייתכן שמתישהו הצמיחה המרשימה במכירות תאט. הממשעות לקהל שהמהפכה הזו תיקח זמן. לא הגענו עדיין לתקרת זכוכית, יש עוד הרבה להשתפר. למעשה, ייתכן שאנחנו בעיצומו של מעבר לתפיסה חדשה של חדשנות. במקום להגדיל מודלים, החברות ממקדות את המאמצים בשיפור תהליכי עיבוד, פיתוח שבבים ייעודיים, ושילוב טכניקות חכמות שמאפשרות להשיג יותר בפחות משאבים.

התוצאה עשויה להיות מעבר מעולם שבו כמה "כוכבי על" כמו GPT-4 שולטים בשוק, ליקום שלם של מודלים קטנים וממוקדים, שכל אחד מהם מתמחה בפתרון בעיה ספציפית. גישה זו לא רק תייעל את התעשייה, אלא גם תהפוך אותה לנגישה יותר עבור עסקים קטנים ומשתמשים פרטיים.