ExplAInable
[125] על חוקי הסקייל של מודלי שפה עם ד״ר ג׳וני רוזנפלד מMIT
1:08:31
בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.
חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?
תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.
נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא…