על חתולים והתגלית ששינתה את העשור

מה זה חתול? האם חשבתם מה גורם לכם כשאתם רואים חתול להבין שמדובר בחתול ולא בכלב, שועל, נמייה, גבר משופם ומדושן מעונג. מה מאפשר לנו בתור אנשים להבדיל, לזהות אנשים שאנחנו מכירים. עצרו לכמה שניות תעשו לרגע את התרגיל המחשבתי של מה גורם לנו כשאנחנו רואים חתול לזהות חתול.

טיק-טוק טיק-טוק... עשיתם? השפם? הפרווה? העיניים? הזנב? אם זו אחת התשובות שלכם אז אתם שקרנים. חתול הוא חתול כי ככה למדנו איך חתול נראה לרוב לפני שלמדנו לדבר כהלכה וזה מחווט אצלנו במוח.

מחשב לעומת זאת מקבל אלפי-מיליוני-מילארדי תמונות ומשתמש בעיבוד מידע מתוחכם בשביל ללמוד ממאפיינים שונים ומשונים של התמונה המתקבלת. אגדה בודהיסטית (אודנה, יש גם מקור הינדי) שממחישה את דרך הפעולה: שישה עיוורים שטרם נתקלו בפיל צריכים על ידי מישוש להגיע להבנה של מה זה פיל כאשר כל עיוור ממשש חלק אחר של הפיל בנפרד, חדק, אוזן ,פנים, רגל, עור הגוף, זנב, ישבן... האם העיוורים יוכלו להשתמש בתיאור המישוש הקולקטיבי להבין שמדובר בחיה שטרם מוששה על ידם ולהבין שמדובר בפיל?

במקום עיוורים ותחושות המישוש שלהם, למחשב יש פיצ׳רים, כאשר פיצ׳רים יכולים להיות חלקים מהתמונה, מספר הצבעים השונים ולמעשה כל פונקציה שאתם יכולים להעלות על דעתכם שמופעלת על התמונה או חלקים ממנה.

פיצ׳רים לזיהוי אופנוע

תנסו לחשוב כמה אנשים תוכלו לזהות, ממש לנקוב בשמם (כולל ידוענים וקים קרדשיאן) על סמך תמונה שיראו לכם, אם תגיעו למספר אלפים מצבכם טוב. כמה אנשים תצטרכו בשביל לזהות 100 אלף איש שונים??? לאנדרו נג (מדען עם התמחות בתחום למידת מכונה, לטעמי האדם עם ההבנה הרחבה והמעמיקה ביותר בתחום) ולמהנדסי גוגל היה ברור שפתרון של הבעיה יהווה הוכחה ניצחת לעליונות הטכנולוגית של טכניקות למידת המכונה והעיבוד המקבילי שהם פיתחו.

אנחנו אנושיים, ולכן ההתחלה מנסה לחקות באיזשהו אופן חשיבה אנושית, באופן גס ההבדל בין מחשבים לאנשים הוא שהזכרון ויכולת החישוב האנושי מוגבלת, מה שאנחנו עושים בלי להרגיש הוא המון קישורים אסוציאטיבים שכרגע (וככל הנראה גם בעתיד) נגיע להבנה מוגבלת של איך הקישורים האלה מתבצעים אם בכלל.

נחזור לבעיית החתולים. השאלות שהטרידו את חוקרי גוגל היו האם מחשב יוכל להבין מה הוא חתול בלי שיצטרכו להגדיר לו חתול? והאם מחשב יוכל לזהות את כל המופעים של חתול ספציפי בכל התמונות והסרטונים ברשת.

הבעיה הייתה שמדובר במיליארדי תמונות, בניית מאגרי הנתונים תיקח משאבי זכרון עצומים וגם אם זה יתבצע בהצלחה תהליך לימוד שינסה למצוא פתרון אופטימלי על כל הדוגמאות יהיה תלוי במכפלה של מספר הדוגמאות במספר העיבודים של כל דוגמא כלומר במקרה הטוב יארך אלפי שנים.

לקראת סוף העשור של שנות ה-2000 היו התקדמויות משמעותיות בתחום החישוב המקבילי, במילים אחרות חישוב שבו מספר תהליכים מתבצעים במקביל. השאלה הגדולה הייתה האם ניתן לבצע לימוד חלקי, כלומר על חלק מהדוגמאות, שהתוצאה בלימוד הזה תשפר משמעותית את התוצאה הכללית.

התשובות שניתנו לשאלה הזו בהקשר של למידת מכונה היו חלקיות ותאורטיות. בשביל להגיע לפתרון כלשהו של בעיית זיהוי כל תמונות החתולים ברשת לא הייתה ברירה חוץ מלהפוך את הבעיה לאוסף של המון תתי בעיות קטנות. המספר שאליו הגיעו מהנדסי גוגל הוא 160 אלף. כלומר הם היו צריכים לגרם לכ-160 אלף מחשבים (או מעבדים) לעבוד במקביל ולתקשר ביניהם על מנת ליצור מודל שבהנתן תמונת חתול ידע כי:

1. מדובר בחתול.
2. יימצאו את כל מופעי תמונת אותו חתול ברשת.

לכל מי שמזלזל מדובר לטעמי בהישג שאינו נופל משליחת רובוט למאדים (קיוריאסיטי 2012) בגלל הצורך בבעלי מקצוע מהשורה הראשונה בכל מה שקשור לחישוב מקבילי, הבנה בחומרה (קרי ניתוב מהיר, חיבורים פיזיים, תפירה של מערכות הפעלה ייעודיות), קומפילציה, עיבוד אותות ועוד ועוד. ההצלחה הגדולה הגיעה ממספר פריצות דרך משמעותיות:

1. ייצוג חכם של תוצרי עיבוד הנתונים ובחירת ארכיטקטורת תוכנה וחומרה יעילה ויציבה.
2. אופטימזציה רב שלבית חכמה (בניגוד לבעיות דומות כאן אין בדיוק דוגמאות שיש להן תוויות שניתן למדוד דיוק ביחס אליהן).
3. חיבור מודלים שהתקבלו ממקורות שונים וביצוע אופטימיזציה של המודל  המאוחד.

בניית מחשב העל שזיהה חתולים עלתה מיליוני דולרים. בשביל להפוך את הגילוי ליעיל היה צורך במעבדים חזקים, מהירים, זולים יחסית, וביכולת להשמיש אותם כאן נכנסה לתמונה (תרתי משמע) לקראת 2013 חברה שפיתחה מאיצים גרפיים למשחקי מחשב בשם NVDIA.

בגלל הפוזיציה הקטנה שלהם, הם איפשרו גישה חופשית למהנדסים של גוגל על מנת להשמיש את המעבדים הגרפיים שלהם לדברים נוספים שישמשו אותם בחישובים, כך במקום מחשב על במיליוני דולרים אפשר היה לבנות מכונה בעלת יכולות דומות בעלות של עשרות אלפי דולרים. המנייה של NVDIA ותחום למידת המכונה מאז….

ב-2015 התפרסם שיתוף הפעולה בין גוגל ל-NVIDIA והשאר כמו שתראו בגרף המנייה של NVIDIA להלן.

כותב המאמר: איתי בן דן, מתמטיקאי, מומחה בשווקים הפיננסיים, עוסק בפיתוח של אלגוריתמים מתקדמים למסחר בבורסות שונות ופיתוח של כלים מתקדמים להשקעה

תודה לנטע שוהם ושימרית עובדיה על העזרה עם המאמר