NetInfra · מודל עבודה
ארבע שכבות של תשתית AI: מודל עבודה מעשי
מפה פשוטה לאבחון שירות AI: מהתשתית הפיזית ועד האפליקציה שהמשתמש רואה.
אבטחה · נתונים · אמינות — בכל ארבע השכבות
מתחילים מהסימפטום
איפה כדאי לבדוק קודם?
השירות איטי?
בודקים רשת ומשאבים, אחר כך פריסה, זמני מודל ולבסוף את מספר הקריאות באפליקציה.
העלות עלתה?
מפרידים בין שרתים, שימוש במודל והיקף ההפעלות כדי לאתר מה באמת השתנה.
התוצאה לא יציבה?
בודקים נתונים, גרסת מודל, גבולות פעולה והתנהגות האפליקציה במקרה של כשל.
למה בכלל לחשוב בשכבות
שירות AI בארגון הוא בדרך כלל שרשרת: שרת או ספק ענן, מערכת הפעלה וכלי פריסה, מודל שמחויב לפי שימוש, ומעליהם אפליקציה או אוטומציה שהמשתמשים רואים. כשמשהו משתבש, כל חוליה יכולה להיות הסיבה.
חלוקה לשכבות לא פותרת בעיות בעצמה. היא נותנת שפה משותפת: לאיזו שכבה שייכת התקלה, מי אחראי עליה, ואילו נתונים כדאי לבדוק קודם. היא גם עוזרת להבין איפה נוצרת עלות, ואיפה עלות נראית אבל לא באמת נמדדת.
ההשראה: מודל OSI, בלי מיפוי אחד לאחד
הרעיון של שכבות מוכר מעולם הרשתות. המלצה ITU-T X.200 מגדירה את מודל הייחוס הבסיסי של OSI (Open Systems Interconnection), שמחלק תקשורת בין מערכות לשבע שכבות. ההסבר של Cloudflare מתאר אותו כמודל מושגי, ומציין שהאינטרנט של היום מבוסס בעיקר על מודל TCP/IP הפשוט יותר. גם כך, OSI עדיין משמש כדי לחשוב ולדבר על רשתות ועל תקלות בהן.
מה שלקחנו מ־OSI הוא רק את העיקרון: כל שכבה עושה תפקיד מוגדר ונשענת על השכבה שמתחתיה. מודל ארבע השכבות שלנו הוא לא תקן של AI, לא הרחבה של OSI, והשכבות שלו לא מקבילות לשכבות OSI. זה מודל עבודה מעשי, ואפשר להתאים אותו לארגון.
ארבע השכבות
השכבות מסודרות מלמטה למעלה: כל שכבה נשענת על זו שמתחתיה. באיור, שכבה 4 נמצאת למעלה ושכבה 1 למטה.
שכבה 1: חומרה פיזית, מחשוב, רשת ואחסון
המעבדים (CPU), מאיצים כמו GPU כשיש בהם צורך, זיכרון, דיסקים ורשת. זה יכול להיות שרת פיזי שלכם, או משאבים שאתם שוכרים מספק ענן בלי לראות את החומרה עצמה.
- מה שואלים כאן: האם יש מספיק משאבי חישוב וזיכרון? איפה יושבים הנתונים, ובאיזה אזור גיאוגרפי? מה רוחב הפס והשהיית הרשת?
- מה מודדים: ניצולת מעבד וזיכרון, נפח אחסון, תעבורת רשת, ועלות המשאבים שהוקצו.
שכבה 2: וירטואליזציה, מערכת הפעלה, פריסה וכלי ניהול
השכבה שהופכת חומרה לשרתים שאפשר לעבוד איתם: מכונות וירטואליות, מערכת הפעלה, קונטיינרים, כלי פריסה, וממשקי ניהול של ספק התשתית. דוגמה אחת היא Hetzner Console, שדרכו מנהלים שרתי ענן של Hetzner. סקירת שרתי הענן בתיעוד של Hetzner מתארת את סוגי השרתים ואת המשאבים שלהם, כמו מעבדים וירטואליים, זיכרון ודיסק.
- מה שואלים כאן: איזה סוג שרת מתאים לעומס? מי יכול ליצור, לשנות או למחוק שרתים? איך מעדכנים את מערכת ההפעלה ואיך מגבים?
- מה מודדים: אילו שרתים קיימים ופועלים, מי יצר אותם ומתי, ומה העלות של כל אחד לפי המחירון של הספק.
שכבה 3: מודלי AI, מדידת שימוש ובקרת עלות
כאן יושבים המודלים עצמם, בין שהם רצים על שרתים שלכם ובין שהם נצרכים כשירות דרך API. בשירותים רבים השימוש נמדד בטוקנים. ההסבר של OpenAI מתאר טוקנים כחלקי מילים שהמודל מעבד, ומציין שמספר הטוקנים לאותו טקסט תלוי בשפה ובטקסט עצמו. לכן כדאי למדוד שימוש בפועל, ולא להעריך רק לפי מספר המילים.
- מה שואלים כאן: באיזה מודל משתמשים לכל משימה? כמה טוקנים נכנסים ויוצאים? מי משתמש, דרך איזה מפתח או חשבון?
- בקרת עלות: תקציבים, מגבלות שימוש והתראות, ככל שהספק מאפשר אותם, וחלוקה של מפתחות או פרויקטים כך שאפשר לייחס עלות לצוות או למוצר.
- מסגרת עבודה: FinOps Foundation מקדישה קטגוריה ל־AI במסגרת ה־FinOps שלה, שעוסקת ביישום פרקטיקות FinOps על עלויות AI.
שכבה 4: אפליקציות ואוטומציות
מה שהמשתמשים והתהליכים העסקיים רואים: צ׳אט פנימי, סוכן שמכין טיוטות, אוטומציה שמסווגת פניות, או פיצ׳ר AI בתוך מוצר. השכבה הזאת קובעת כמה פעמים קוראים למודל, עם כמה טקסט, ומה קורה כשהוא נכשל.
- מה שואלים כאן: איזה ערך התהליך נותן? כמה קריאות למודל הוא מייצר בכל הפעלה? מה קורה כשהמודל לא זמין?
- מה מודדים: מספר ההפעלות, שיעור ההצלחה, זמן תגובה, ועלות לכל הפעלה, כשאפשר לייחס אותה.
אחריות שעוברת דרך כל השכבות
שלושה תחומים לא שייכים לשכבה אחת. הם צריכים תשובה בכל אחת מהן:
- אבטחה: גישה פיזית ורשת בשכבה 1, הרשאות ועדכונים בשכבה 2, ניהול מפתחות API בשכבה 3, והרשאות משתמשים ובדיקת קלט בשכבה 4.
- ממשל נתונים: איפה הנתונים נשמרים, אילו נתונים נשלחים למודל, כמה זמן הם נשמרים ומי רשאי לראות אותם.
- אמינות: גיבויים ויתירות בתשתית, ניטור של שרתים, התמודדות עם מגבלות קצב או עם מודל שלא זמין, ומה האפליקציה עושה כשמשהו מתחתיה נכשל.
אם אחד התחומים האלה מטופל רק בשכבה אחת, סביר שיש פער באחרות.
תצוגת עלויות עתידית
בתכנון · עדיין לא זמין
אנחנו מתכננים ב־NetInfra תצוגה שתרכז עלויות מכמה שכבות במקום אחד. נכון לעכשיו אין תצוגה כזו, אין סנכרון פעיל עם ספקים, ואין מוצר מוכן. אלה התצוגות שאנחנו מתכננים:
- מצב נוכחי: אילו משאבים ושירותים פעילים בחשבונות שחוברו.
- החודש הנוכחי: עלות מתחילת החודש.
- החודש הקודם: עלות החודש הקודם, לצורך השוואה.
- מאז שהנתונים זמינים: מהנקודה הראשונה שבה יש נתונים בחשבון שחובר, לא מעבר לה.
- טווח מותאם: טווח תאריכים לבחירה.
היקף הנתונים: התצוגה תוכל להציג רק חשבונות שחוברו אליה בפועל. חשבון שלא חובר לא יופיע, ולכן הסכום שיוצג לא בהכרח יהיה כל העלות של הארגון.
- עלות מחויבת שאומתה
- סכום שמופיע בנתוני החיוב של הספק עצמו, למשל בחשבונית או בדוח החיוב שלו.
- הערכה
- חישוב שלנו, למשל לפי שימוש שנמדד ומחירון. הערכה תסומן ככזו, ועשויה להיות שונה מהחיוב בפועל.
מה המודל הזה לא אומר
- זה מודל עבודה של Netyon. הוא לא תקן של ITU, של FinOps Foundation או של גוף אחר.
- השכבות לא מקבילות לשכבות OSI. OSI שימש רק כהשראה לרעיון של הפרדת אחריות.
- הגבולות בין השכבות לא תמיד חדים. בשירות מנוהל, למשל, הספק מטפל בשכבות 1 ו־2 ואתם רואים רק את 3 ו־4.
- האזכור של Hetzner ו־OpenAI הוא כדוגמה ולצורך הסבר. אין כאן המלצה על ספק, השוואת מחירים או טענה על שיתוף פעולה.
- אין במאמר מחירים, הבטחת חיסכון או טענה על מוצר זמין.
מקורות
- ITU-T, Recommendation X.200 (07/94): Information technology – Open Systems Interconnection – Basic Reference Model: The basic model (באנגלית).
- Cloudflare Learning Center, What is the OSI Model? (באנגלית).
- Hetzner Docs, Cloud Servers: Overview (באנגלית).
- FinOps Foundation, FinOps for AI (באנגלית).
- OpenAI Help Center, What are tokens and how to count them? (באנגלית).
גילוי נאות: ההסברים והמודל הם של Netyon, ולא של הגופים שמקושרים כאן. המקורות מצוטטים רק לגבי מה שהם מתארים. אם נמצאה טעות, נתקן אותה ונציין את התיקון במאמר.
עוד ב־NetInfra
NetInfra הוא המדור של Netyon על תשתיות AI. שם יתפרסמו המאמרים הבאים, ושם יופיעו עדכונים על תצוגת העלויות כשתהיה זמינה.