DeepSeek השיקה את V4.1 Flash עם תכנון המתמקד לא רק ביכולות המודל, אלא גם בכלכלה ההולכת ונעשית חשובה יותר של הפעלת סוכני AI בקנה מידה רחב. באמצעות צמצום חד בכמות הזיכרון הנדרשת לשימור הקשר, מפתחת ה-AI הסינית מכוונת לאחת מעלויות התשתית המרכזיות הקשורות לסוכנים שחוזרים ומשתמשים בשיחות, מסמכים ופלטי כלים.

DeepSeek מכוונת לצוואר הבקבוק בזיכרון של סוכני AI

DeepSeek V4.1 Flash הוא מודל Mixture-of-Experts הכולל 552 מיליארד פרמטרים, עם חלון הקשר של מיליון טוקנים ויכולות מולטימודליות מובנות. הארכיטקטורה משתמשת בתכנון Causal Encoder-Decoder, שבו רק 8 מיליארד פרמטרים מופעלים במהלך עיבוד הקלט ו-16 מיליארד במהלך שלב הפענוח. כך המערכת יכולה לשמור על קיבולת מודל תיאורטית גדולה בהרבה מבלי להפעיל את כלל הפרמטרים עבור כל טוקן.

השינוי המשמעותי יותר נמצא בארכיטקטורת מטמון ה-KV. DeepSeek מדווחת כי V4.1 Flash מפחיתה את דרישות ה-HBM לכ-רבע מהדור הקודם ואת דרישות ה-SSD המתמשכות לכ-שמינית. מטמון ה-KV הגלובלי של המודל מצטמצם ל-890 בייט לטוקן, לעומת 3,514 בייט ב-DeepSeek V4 Flash ו-48,068 בייט ב-V3.

מטמון קטן יותר עשוי להפחית את עלות הפעלת סוכני AI

מטמון KV מאחסן מידע ביניים שנוצר במהלך ההסקה, כך שהמודל אינו נדרש לחשב מחדש את אותו הקשר שוב ושוב. הדבר הופך משמעותי במיוחד עבור סוכני AI, שעשויים לגשת שוב ושוב לשיחות ארוכות, מסמכים ופלטים של כלים במהלך ביצוע משימות מרובות שלבים.

הארכיטקטורה החדשה של DeepSeek משנה הן את המידע שנשמר והן את המקום שבו הוא נשמר. נתוני Attention קצרי טווח המבוססים על חלון נע יכולים להיות מטופלים באמצעות מאגר משותף במקום להישאר באחסון מתמשך, בעוד שמנגנון Bounded-Replay יכול לשחזר מידע שנמחק לאחרונה כאשר הדבר נדרש. התוצאה היא מערכת שנועדה לשמר הקשר ארוך טווח שימושי תוך הפחתת כמות הזיכרון והאחסון היקרים הנדרשים להפעלתו.

להבחנה הזו יש חשיבות לכלכלת התשתיות. צמצום מטמון ה-KV אינו משמעותו ירידה מקבילה בעלות הכוללת של מעבדים גרפיים או מרכזי נתונים, משום שמחשוב, תקשורת, חשמל, אחסון ותשתיות נוספות עדיין נדרשים. עם זאת, הפחתת עומס הזיכרון יכולה לאפשר לספקיות להפעיל מספר גדול יותר של עומסי עבודה במקביל באמצעות אותה תשתית.

DeepSeek משלבת שינוי ארכיטקטוני עם הורדת מחירים

DeepSeek משתמשת גם בארכיטקטורה החדשה כדי לתמוך במודל תמחור אגרסיבי יותר. החל מ-10 בספטמבר, V4.1 Flash מתומחרת ב-0.003 דולר למיליון טוקנים של קלט שנמצאו במטמון, 0.15 דולר למיליון טוקנים של קלט שלא נשמרו במטמון ו-0.60 דולר למיליון טוקנים של פלט בשעות Off-Peak. המחירים בשעות השיא כפולים מרמות אלה.

החברה טוענת כי V4.1 Flash עקפה את V4 Pro בביצועים, בעלות, במהירות ובזמן ההשלמה הכולל במבחנים פנימיים וחיצוניים. החל מ-14 בספטמבר, בקשות שיופנו למודל V4 Pro ינותבו ל-V4.1 Flash ויחויבו לפי תעריפי Flash, עד להשקת מודל V4.1 Pro בעתיד.

המודל הציג גם תוצאות תחרותיות במספר מבחני ביצועים לסוכני AI המופיעים בחומרי ההשקה של DeepSeek, ובהם 63.9 ב-Humanity’s Last Exam עם כלים, 31.2 ב-Terminal-Bench 4.0 ו-54.8 ב-Automation-Bench. מדובר בתוצאות מבחנים שמקורן בספקית המודל, ולכן יש להבחין ביניהן לבין הערכות בלתי תלויות המתבצעות על גבי תשתית זהה ובתנאי בדיקה אחידים.

המשמעות עבור שוק תשתיות ה-AI

הגישה של DeepSeek מדגישה שינוי שהופך מרכזי יותר בתעשיית ה-AI: התחרות עוברת מבניית מודלים גדולים יותר בלבד לשיפור העלות לכל משימה שימושית. עבור ספקיות ענן ומשתמשים ארגוניים, מודל שמספק תוצאות דומות תוך שימוש בפחות זיכרון ובהוצאות הסקה נמוכות יותר עשוי לשנות את הכלכלה של פריסת סוכני AI בקנה מידה רחב.

ההשלכות נוגעות גם לחברות השבבים ולחברות מרכזי הנתונים, משום שדרישות זיכרון נמוכות יותר עשויות לשנות את האיזון בין כוח מחשוב של GPU, זיכרון HBM, אחסון SSD וקיבולת תקשורת. במקביל, הסקה יעילה יותר עשויה לעודד שימוש רחב יותר ב-AI, ובכך לקזז חלק מהחיסכון בתשתיות באמצעות גידול בביקוש.

בהמשך, השאלה המרכזית תהיה האם שיפורי היעילות של V4.1 Flash יתורגמו ליתרונות מתמשכים בעומסי עבודה עצמאיים ובתנאי שימוש אמיתיים. עלות ההסקה, תפוקה, זמני תגובה, ניצול המטמון ואמינות הסוכנים יהיו חשובים לא פחות מציוני המבחנים. אם DeepSeek תצליח לשמור על איכות מודל תחרותית תוך הפחתה מהותית בתשתית הנדרשת להפעלת סוכנים לאורך זמן, כלכלת פריסת ה-AI הארגוני עשויה להמשיך לנוע לעבר יעילות ולא רק לעבר מודלים גדולים יותר ואשכולות מחשוב גדולים יותר.