Anthropic מכניסה מעריכים עצמאיים לתוך החברה

Anthropic נוקטת צעד משמעותי לעבר פיקוח חיצוני רחב יותר על מודלים מתקדמים של בינה מלאכותית, באמצעות שילוב עובדי Accenture בפעילות החברה. המהלך נועד לאפשר למעריכים מצד שלישי לקבל גישה ברמת עובד כדי לבחון אמצעי הגנה, לזהות חולשות ולדווח על אירועים פוטנציאליים.

ההסכם הופך את Accenture למעריכה העצמאית הראשונה שתפעל מתוך החברה במסגרת המתווה שהציג לאחרונה מנכ״ל Anthropic, Dario Amodei, להאטת קצב הפיתוח של AI בחזית הטכנולוגית. במקום להסתמך אך ורק על צוותי הבטיחות הפנימיים, הגישה משלבת מומחים חיצוניים ישירות בסביבת פיתוח המודלים.

השותפות עם Accenture מתמקדת בבדיקות בטיחות של AI

Anthropic מסרה כי עובדים מ-Faculty, חטיבת ה-AI המתמחה של Accenture, יפעלו בתחילה מתוך החברה. תחומי האחריות שלהם יכללו ביצוע Red Teaming למודלים, בדיקת אמצעי בטיחות והערכת השאלה האם מערכות ה-AI מתנהגות באופן עקבי עם ערכים אנושיים.

ההסדר אינו בלעדי. Anthropic מסרה כי היא מנהלת גם שיחות עם ארגון המחקר ללא מטרות רווח METR ועם מעריכים חיצוניים פוטנציאליים נוספים. החברה הדגישה כי השתתפותם של גורמים חיצוניים לא תעביר את האחריות לבטיחות ה-AI מ-Anthropic עצמה.

התחייבות של מיליארד דולר לבניית יכולות הערכה

Anthropic ו-Accenture הסכימו כל אחת להשקיע לפחות מיליארד דולר בבניית יכולות להערכת AI במהלך חמש השנים הקרובות. מכיוון שכיום לא קיים מנגנון מימון משותף או ממשלתי מהסוג ש-Anthropic שואפת אליו בסופו של דבר, החברה מסרה כי בשלב הראשון היא תממן ישירות את עבודתה של Accenture.

Anthropic מסרה כי הסדרים עתידיים עשויים לכלול מעריכים ומבני מימון שונים, ככל שהמערכת הרחבה יותר תתפתח. המטרה ארוכת הטווח היא לבסס יכולת עצמאית רחבה יותר לבחינת מערכות AI שהולכות ונעשות מתקדמות יותר.

ההצעה הרחבה יותר של Amodei

יוזמת המעריכים העצמאיים היא הצעד הראשון מתוך שלושה שהציע Amodei במטרה למתן את קצב השיפור של מודלי ה-AI המתקדמים ביותר שמפתחות החברות. הוא טען כי מעריכים עצמאיים צריכים לקבל גישה מספקת כדי לאמת את נוהלי הבטיחות ולדווח על אירועים, תוך עידוד מפתחי AI אחרים לאמץ גישה דומה.

ההצעה מגיעה על רקע הדיון הגובר בסיכונים הפוטנציאליים הקשורים למערכות AI שהולכות ונעשות מתקדמות יותר. Anthropic ו-OpenAI ניצבות בפני תשומת לב מוגברת לאחר שחוקרים הזהירו מפני האפשרות להשלכות חמורות או קטסטרופליות כתוצאה מ-AI מתקדם.

בטיחות AI הופכת לסוגיה אסטרטגית בתעשייה

ההצעה של Amodei עוררה תגובות שונות בתעשיית הטכנולוגיה. בכירים מסוימים, בהם מנכ״ל OpenAI, Sam Altman, ומנכ״ל Tesla ו-SpaceX, Elon Musk, הביעו תמיכה בהיבטים מסוימים של הגישה, בעוד מנכ״ל Nvidia, Jensen Huang, טען כי רגולציה נוספת אינה נחוצה.

הדיון רלוונטי במיוחד ל-Anthropic, כאשר החברה נערכת להנפקה ציבורית צפויה. שקיפות רבה יותר סביב נוהלי הבטיחות עשויה להפוך לשיקול חשוב יותר עבור משקיעים המעריכים חברות שהשווי שלהן תלוי בהמשך הפיתוח של AI בחזית הטכנולוגית.

מה צפוי בהמשך בתחום הערכת ה-AI?

ההסכם עם Accenture מספק מבחן ראשוני לשאלה האם מעריכים עצמאיים יכולים לפעול ביעילות תוך שמירה על גישה לתהליכי פיתוח AI רגישים. האפקטיביות של המהלך תהיה תלויה ביכולתם של המעריכים לזהות סיכונים משמעותיים ולדווח עליהם מבלי לפגוע בתהליך הפיתוח.

Anthropic מסרה כי הגישה שלה צפויה להתפתח ככל שתחום ה-AI יתבגר, וכי החברה מתכננת לשתף מידע נוסף ככל שתוכנית ההערכה תתרחב. השאלה הרחבה יותר עבור התעשייה היא האם מנגנוני פיקוח עצמאיים דומים יהפכו לרכיב סטנדרטי בפיתוח AI בחזית הטכנולוגית.