מעבדת מחקר · מודלים שרצים אצלכם
Frontier models. החומרה שלכם.
עוזרים לכם להפעיל מודלים פתוחים אצלכם, בעלות נמוכה יותר ובפחות מאמץ. בוחרים מודל, מתאימים אותו למשימות שלכם ומקימים את המערכת על חומרה שמתאימה לתקציב.
לצוותים שמשלמים על API של מודלים, בונים מערכות agents או צריכים שהמידע יישאר אצלם. גם אם כבר יש לכם מודל שרץ על שרתים משלכם או בחשבון הענן שלכם.
מה הם frontier models? כינוי למודלים שנחשבים למובילים ביכולותיהם. ההתאמה למשימה שלכם עדיין דורשת בדיקה. מדריך למושגים באתר.
זה רץ על מחשב שנמצא בבעלותכם.
במה אפשר לעזור?
מתחילים מהבעיה שאתם צריכים לפתור.
פריסת מודלים ושיפור ביצועים
התאמת המודל ומנוע ההרצה לחומרה שבתקציב שלכם.
- מערכת מותקנת ומוגדרת
- מדידות
- הוראות תפעול
- מדידה
- התאמה
- התקנה
בחירת מודל וחומרה
בוחרים מה להריץ לפני שקונים חומרה.
- השוואת מועמדים
- מדידת מצב קיים
- המלצה הכוללת עלויות
Fine-tuning ובדיקת איכות
בודקים מה דורש שיפור, ומאמנים כשהמדידות מצדיקות זאת.
- ערכת בדיקות איכות
- השוואת מועמדים
- תוצרי אימון לפריסה
מחקר שאפשר לבחון
אנחנו חוקרים דרכים להקטין את צריכת הזיכרון של מודלים, להאיץ את יצירת התשובות ולשפר את העבודה בעברית. בכל מחקר מפורטים תנאי הניסוי והמגבלות שלו. כדי לדעת מה יעבוד אצלכם, צריך לבדוק גם על המשימות שלכם.
קראו את המחקרכל העמודות מתחילות מאפס. יחידות המדידה: %
בדיקה על קטעי קוד
עיינו בטבלת הנתונים
| תנאי הבדיקה | BF16 | NVFP4 |
|---|---|---|
| בדיקה על קטעי קוד | 62.61 % | 61.32 % |
Quantization מצמצמת את הזיכרון שנדרש לאחסון המספרים של המודל, ויכולה לאפשר הרצה על כרטיס עם פחות זיכרון. בגרף בדקנו מנגנון האצה שמציע טוקן, כלומר יחידת טקסט, לפני שהמודל הראשי מאמת אותו. שיעור ההתאמה של הטוקן הראשון היה דומה עם ובלי quantization בניסוי הזה. זו אינה בדיקת איכות של התשובות. להסבר על טוקנים ומנגנון ההאצה.
מה מתאים לחומרה שלכם?
מודל שנכנס לזיכרון הוא רק ההתחלה. הבחירה תלויה גם באיכות התשובות, באורך הקלט, במספר הבקשות במקביל ובעלות התפעול של המערכת.
נתוני הבסיס
- המשימה והדוגמאות
- בדיקות איכות
- עומס צפוי
- חומרה ותקציב
שיקולי הבחירה
- בחירת מודל
- זיכרון והרצה
- זמן תגובה
- עלות תפעול כוללת
מה מקבלים
- המלצה מבוססת מדידות והגדרת היקף הפריסה.
האם המעבר משתלם?
אנחנו משווים את חשבון ה־API שלכם לעלות הכוללת של הפעלת מודל פתוח שמתאים לצרכים שלכם, על החומרה שלכם או בחשבון הענן שלכם. ההצעה כוללת התאמת מודל, הקמה, תשתיות, תפעול ותמיכה, ומפרידה בין עלויות ההקמה לעלויות השוטפות. כך תראו אם המעבר משתלם. המערכת, המידע ויומני הפעילות בשליטתכם.
מהדוגמאות שלכם למערכת שתוכלו להפעיל
לכל שלב מטרה ברורה, מההשוואה הראשונה ועד למסירה ולתמיכה המתמשכת.
בוחרים
מגדירים את המשימה ומשווים מודלים ואפשרויות חומרה.
מתאימים
בודקים fine-tuning ושינויים במערכת ההרצה כשיש בעיה שהמדידות מצדיקות לפתור.
פורסים
מתקינים, בודקים ומתעדים את המערכת על החומרה שלכם או בחשבון הענן שלכם.
ממשיכים לתמוך
היקף התמיכה ומסירת המערכת נקבעים בהצעת העבודה.
צוות ההנדסה ממשיך לתמוך במערכות שהוא בונה, בתנאים שסוכמו. קראו על המעבדה ←
מתחילים מהמשימות שלכם ומהתקציב.
נברר יחד מה צריך למדוד ומה צריך לבנות.