רד האט (Red Hat), הספקית המובילה בעולם של פתרונות קוד פתוח, הכריזה על Red Hat AI 3, התפתחות משמעותית של פלטפורמת הבינה המלאכותית (AI) הדיגיטלית שלה. הפלטפורמה מסייעת להנגיש, לנהל ולאבטח כל מודל קוד פתוח ללא כל תלות במיקום, חומרה או תשתית.
כאשר ארגונים מתקדמים מעבר לעריכת ניסויים בבינה מלאכותית, הם מתמודדים עם מכשולים משמעותיים הכוללים אתגרי אבטחה, בקרת עלויות וניהול מודלים מגוונים. Red Hat AI 3 מתמקדת בהתמודדות ישירות עם האתגרים הללו על כשהיא מספקת חוויה עקבית ואחידה. עם בסיס הבנוי על סטנדרטים פתוחים, Red Hat AI 3 פוגשת ארגונים במקומם הנוכחי במסע הבינה המלאכותית שלהם ותומכת בכל מודל בכל מאיץ חומרה, ממרכזי נתונים עד לענן ציבורי וסביבות AI ריבוניות ועד לקצה הרחוק ביותר.
מאימון לעשייה – עוברים להיסקים ארגוניים
כאשר ארגונים מעבירים יוזמות AI לסביבות הייצור, הדגש עובר להיסקים – השלב בו המודלים פוגשים מידע אמיתי ולא סינטטי. Red Hat AI 3 שמה דגש על שכבת היסק גמישה וחסכונית, באמצעות התבססות על פרויקטי הקוד הפתוח vLLM ו-llm-d.
כדי לסייע למנמ"רים להפיק את המיטב מניצולת החומרה, Red Hat AI 3 משיקה את llm-d, יכולת המעצבת מחדש את הדרך שבה מודלי שפה גדולה פועלים באופן מובנה על קוברנטיס. llm-d מייצר שכבת היסק חכמה המאפשרת לפרוס, לאבטח, לייעל ולנהל מספר רב של מודלי שפה גדולה בייצור, כאשר vLLM היא השכבה שדואגת לחיסכון בעלויות ולמיטוב ביצועים.
החיבור ביניהם מאפשר לארגונים להפחית עלויות ולשפר את זמני התגובה באמצעות הנגשת 'מודלים כשירות' (MaaS), כולל מיטוב משאבי הכרטיסים הגרפיים, שכבת חלוקת עומסים חכמה בין המודלים, אבטחה והתפתחות על פני מאיצי חומרה שונים, כולל אנבידיה (Nvidia) ו-AMD.
בניית הבסיס לסוכני ה-AI של הדור הבא
סוכני בינה מלאכותית הולכים לשנות את האופן שבו יישומים בנויים ותהליכי העבודה האוטונומיים שלהם ייצרו עומס כבד על שכבת ההיסק. השקת Red Hat AI 3 מניחה את היסודות לסוכנים הללו לא רק באמצעות יכולות ההיסק, אלא גם עם תכונות ושיפורים חדשים המתמקדים בניהול ופיתוח הסוכנים עצמם.
כדי להאיץ את פיתוח הסוכנים, רד האט הציגה שכבת API אחידה המבוססת על Llama Stack, המסייעת ליישר קו בין הפיתוח ותקני התעשייה, כמו פרוטוקולי ממשק LLM תואמי OpenAI. בנוסף, כדי לתמוך במרחב פעילות פתוח יותר, רד האט אימצה כבר בשלבים הראשונים את פרוטוקול MCP, תקן רב עוצמה ומתפתח, המייעל את האופן שבו מודלי בינה מלאכותית מקיימים אינטראקציה עם כלים חיצוניים – תכונה בסיסית עבור סוכני בינה מלאכותית מודרניים.
ג'ו פרננדס, סגן נשיא ומנכ"ל, היחידה העסקית ל-AI, רד האט, אמר כי, "כאשר ארגונים מרחיבים את הבינה המלאכותית מסביבות הבדיקה לייצור, הם מתמודדים עם גל חדש של אתגרי מורכבות, עלויות ובקרה. עם Red Hat AI 3, אנו מספקים פלטפורמת קוד פתוח ברמה ארגונית הממזערת את המכשולים הללו. על ידי אספקת יכולות חדשות כמו היסקים מבוזרים עם llm-d ו-Llama Stack כפלטפורמת בסיס לפיתוח סוכני בינה מלאכותית, אנו מאפשרים לצוותי מהנדסי ה-AI להפעיל בביטחון רב יותר עומסי עבודה בתנאים שלהם, בכל תשתית".
.
קרדיט צילום תמונות: יח"צ
.