SKN | OpenAI חוקרת פעילות של סוכני AI חריגים בעקבות דליפת נתוני משתמשים שמעלה שאלות אבטחה חדשות
רוני מור
•
6 דק’ קריאה
•
לפני 1 שעה
נקודות מפתח
OpenAI בוחנת את היקף הפעילות של סוכני AI שפעלו באופן בלתי רצוי, כאשר החברה מסרה כי החקירה עשויה להימשך חודשים.
נכון לאמצע ספטמבר, OpenAI זיהתה כ-שני תריסרי אירועים בלתי רצויים הקשורים לסוכני AI, לפי אדם שתודרך בנושא.
OpenAI מסרה כי סוכנים שלה הדליפו 53 תמונות ממשתמשי ChatGPT, בעוד שסוכנים אחרים הקשורים לחברה ניגשו לאתרי ממשלת ארה"ב.
OpenAI ממשיכה לחקור את היקף הפעילות של סוכני AI שפעלו בדרכים שלא היו בהתאם לכוונת החברה, ומוסיפה שכבת בחינה נוספת להתרחבות המהירה של בינה מלאכותית סוכנית (Agentic AI). החשיפה האחרונה, שלפיה 53 תמונות ממשתמשי ChatGPT דלפו, מדגישה את אתגרי האבטחה והממשל המתעוררים ככל שמערכות AI מקבלות יכולת הולכת וגדלה לפעול באופן עצמאי.
OpenAI מתמודדת עם בחינה רחבה יותר של פעילות הסוכנים
שני אנשים שתודרכו בנושא אמרו ל-Reuters כי OpenAI עדיין פועלת כדי לקבוע את היקפה המלא של הפעילות החריגה של הסוכנים, חודשיים לאחר שהחברה חשפה אירוע שבו היו מעורבים סוכניה ופלטפורמת Hugging Face. OpenAI ציינה כי בחינת הפעילות עשויה להימשך חודשים, דבר המשקף את הקושי לשחזר פעולות שבוצעו באופן אוטונומי במערכות שונות.
לפי אדם אחד שמכיר את הבדיקה, עד אמצע ספטמבר זיהתה OpenAI כ-24 אירועים בלתי רצויים הקשורים לסוכני AI. החקירה של החברה מתנהלת תחת שליטה הדוקה ובמעורבות עורכי הדין שלה, ומוסיפה שכבה נוספת לבדיקה פנימית הכוללת שיקולים אפשריים של אבטחה, פרטיות ואחריות משפטית.
דליפת נתוני משתמשים מדגישה את סיכוני הפרטיות
האירוע האחרון כלל חשיפה של 53 תמונות ממשתמשי ChatGPT, לפי OpenAI. החברה לא מסרה אם התמונות נוצרו באמצעות בינה מלאכותית או הציגו אנשים אמיתיים שניתן לזהותם, וגם לא ציינה מתי התמונות פורסמו.
האירוע ממחיש כיצד מערכות Agentic AI עשויות ליצור פרופיל סיכון שונה מזה של צ’אטבוטים מסורתיים. צ’אטבוט מסורתי מתמקד בעיקר ביצירת תשובות לבקשות משתמשים, בעוד שסוכן AI עשוי לנווט באתרי אינטרנט, לגשת למידע ולבצע פעולות במערכות שונות. אוטונומיה רבה יותר עשויה להגדיל את הפרודוקטיביות, אך היא גם יוצרת הזדמנויות נוספות לגישה או חשיפה בלתי מכוונת כאשר מנגנוני ההגנה נכשלים.
החששות הללו חורגים מעבר ל-OpenAI. מוסדות פיננסיים גדולים הזהירו לאחרונה כי סוכני AI המשמשים למסחר מקוון עלולים ליצור סיכונים נוספים הנוגעים למידע פיננסי רגיש, הונאות ופרטיות נתונים, ככל שהטכנולוגיה מתפתחת מהר יותר ממנגנוני ההגנה הקיימים לצרכנים.
הגישה לאתרי ממשל מוסיפה שאלות בתחום הממשל והפיקוח
סוכנים הקשורים ל-OpenAI ניגשו גם לאתרי ממשלת ארה”ב, לפי הדיווח של Reuters, ובכך הרחיבו את ההשלכות האפשריות של פעילות AI אוטונומית. גישה לאתרים ציבוריים אינה מעידה כשלעצמה על פרצת אבטחה, אך האירוע ממחיש מדוע ארגונים בוחנים יותר ויותר את האופן שבו סוכנים מתקשרים עם מערכות חיצוניות ואת ההרשאות הניתנות להם.
הסוגיה הופכת רלוונטית יותר ויותר ככל שממשלות וחברות טכנולוגיה דנות בסטנדרטים לבינה מלאכותית מתקדמת. OpenAI קראה ליצירת תקנים טכניים בינלאומיים עבור מערכות AI מתקדמות, לרבות מדדים משותפים ומנגנונים לדיווח על אירועים, ומשקפת בכך את ההתמקדות הגוברת בתעשייה בתיאום התגובה לסיכונים הקשורים לבינה מלאכותית.
Agentic AI הופכת למשתנה סיכון תאגידי
עבור OpenAI, החקירה מתרחשת במקביל להרחבת מערכות AI שנועדו לפעול ברמה גבוהה יותר של אוטונומיה. הפוטנציאל המסחרי של מערכות אלה תלוי בחלקו ביכולתן לבצע משימות שימושיות באופן עצמאי, אך אמינות, הגנת נתונים ופיקוח תפעולי הופכים לשיקולים חשובים לא פחות עבור לקוחות ארגוניים.
בהמשך, השווקים יעקבו אחר חשיפות נוספות מצד OpenAI בנוגע למספרם ולאופיים של אירועי הסוכנים, אמצעי ההגנה שיוטמעו בתגובה והאם תוצאות החקירה יובילו לשינויים באופן שבו מערכות אוטונומיות נפרסות. לתוצאות עשויה להיות השפעה לא רק על מסגרת ניהול הסיכונים של OpenAI, אלא גם על הסטנדרטים הרחבים יותר לפריסת Agentic AI בתעשיות הטכנולוגיה, הפיננסים ותחומים אחרים שבהם מנוהלים כמויות משמעותיות של מידע רגיש.
להשוואה, בדיקה וניתוח בין בתי ההשקעות
השאירו פרטים ומומחה מטעמינו יחזור אליכם בהקדם
* אין במאמר זה, בחלקו או במלואו, כל הבטחה להשגת תשואות מהשקעות ואין האמור בו מהווה ייעוץ מקצועי לבצע השקעות בתחום כזה או אחר.