מיקרוסופט מאמנת מודל AI חדש גדול מספיק כדי להתחרות ב-LLM המובילים

מיקרוסופט מפתחת מודל שפה גדול חדש (LLM) עם שם קוד MAI-1, שיש לו פוטנציאל להתחרות במודלים ה-LLM שפותחו על ידי Google ו-OpenAI. זו הפעם הראשונה שמיקרוסופט מפתחת מודל LLM בקנה מידה כזה מאז השקעת מיליארדי דולרים ב-OpenAI כדי להשיג את הזכויות לשימוש בטכנולוגיה של OpenAI בחבילת התוכנה שלה.

פיתוח ה-MAI-1 מפוקח על ידי Google DeepMind ומייסד Inflection מוסטפא סולימאן, על פי דיווח של The Information. במרץ 2024 מיקרוסופט רכשה מספר עובדים מ-Inflection בעסקה בשווי 650 מיליון דולר.

על פי הדוח שפורסם ב-6 במאי, ל-MAI-1 יהיו כ-500 מיליארד פרמטרים, מה שמציב אותו איפשהו בין הטריליון פרמטרים המדווחים של GPT-4 של OpenAI ו-70 מיליארד פרמטרים של מודל Meta Llama 3 AI. הוא צפוי להיות גם "גדול בהרבה" ויקר יותר מכל אחד ממודלי ה-AI הקודמים של מיקרוסופט בקוד פתוח (Phi-3 ו-WizardLM-2), מכיוון שידרוש יותר כוח מחשוב ונתוני אימון.

בעוד שה-MAI-1 עשוי לנצל טכניקות ונתוני אימון מ-Inflection, הוא נותר שונה מכל המודלים או הטכנולוגיות שפותחו על ידי OpenAI או Inflection. לדברי עובדי מיקרוסופט שמכירים את הפרויקט, MAI-1 הוא מודל LLM חדש לחלוטין שפותח באופן פנימי על ידי מיקרוסופט.

מיקרוסופט טרם הכריזה על המטרה המדויקת של MAI-1 והשימוש המדויק בו יהיה תלוי בביצועיו. בינתיים, החברה הקצתה אשכול גדול של שרתים עם GPU של Nvidia ומשתמשת בכמויות גדולות של נתונים ממקורות שונים כדי לשפר את המודל.

על פי הדיווחים, בהתאם להתקדמותו, החברה עשויה להציג את MAI-1 בכנס המפתחים Build מאוחר יותר החודש, אך זה לא אושר.