סין מתקדמת לעבר חזית רגולטורית חדשה בתחום הבינה המלאכותית, ומציעה כללים שיגבילו את יכולתם של צ’אטבוטים מבוססי AI להשפיע על רגשות אנושיים בדרכים שעלולות להוביל להתאבדות, לפגיעה עצמית או להתנהגות ממכרת. צעדי הטיוטה, שפורסמו על ידי רגולטור האינטרנט הבכיר במדינה, מאותתים על החרפה חדה בפיקוח של בייג’ינג על טכנולוגיות מתפתחות — החרפה שמסיטה את המוקד מפיקוח על תוכן להשפעה הפסיכולוגית של אינטראקציה בין אדם ל-AI.

ההצעות, שפורסמו על ידי מינהל המרחב הקיברנטי של סין, מכוונות למה שהרגולטורים מתארים כ״שירותי AI אינטראקטיביים דמויי אדם״. אלה כוללים צ’אטבוטים ושותפים וירטואליים המדמים תכונות אישיות ומקיימים מעורבות רגשית עם משתמשים באמצעות טקסט, אודיו, תמונות או וידאו. אם יאושרו לאחר תקופת שימוע ציבורי שתסתיים ב-25 בינואר, הכללים יחולו על מוצרי AI המוצעים לציבור הרחב ברחבי סין.

מביטחון תוכן לסיכון רגשי

סין כבר בנתה אחד ממסגרות הרגולציה המקיפות בעולם עבור AI גנרטיבי, שהוצגה ב-2023. עם זאת, ההצעות החדשות מייצגות התפתחות בולטת. במקום להתמקד בעיקר בתוכן רגיש פוליטית או בלתי חוקי, הרגולטורים מטפלים כעת בהשפעה הרגשית וההתנהגותית שמערכות AI עשויות להפעיל על משתמשים.

על פי טיוטת הכללים, צ’אטבוטים של AI ייאסרו מיצירת תוכן המעודד התאבדות, פגיעה עצמית, הימורים, אלימות או תועבה. באופן משמעותי יותר, אם משתמש מביע במפורש כוונה אובדנית, ספק ה-AI יחויב להעביר את האינטראקציה למפעיל אנושי ולהודיע לאפוטרופוס או לאיש קשר ייעודי. חובה זו מציגה מודל היברידי שבו פיקוח אנושי הופך לחובה במהלך אינטראקציות בסיכון גבוה.

הצעדים כוללים גם הגנות מיוחדות לקטינים. שירותי ליווי רגשי ידרשו הסכמת אפוטרופוס, יטילו מגבלות זמן שימוש ויחייבו פלטפורמות להעריך באופן יזום האם משתמשים הם קטינים — גם אם הגיל אינו נחשף. במקרים עמומים, ספקים יידרשו כברירת מחדל להפעיל הגדרות בטיחות לילדים, תוך קיום מנגנוני ערעור.

עיתוי הנפקות מעלה את רף הסיכון לחברות AI

המהלך הרגולטורי מגיע בעיתוי רגיש עבור מגזר ה-AI של סין. שני מפתחי צ’אטבוטים בולטים, Minimax ו-Zhipu, הגישו לאחרונה בקשות להנפקה ראשונית בהונג קונג. יישומי הדמויות הווירטואליות של Minimax מהווים נתח משמעותי מהכנסותיה ומושכים עשרות מיליוני משתמשים חודשיים, מה שמדגיש עד כמה AI בעל מעורבות רגשית הפך למרכזי באסטרטגיות צמיחה מסחריות.

עבור משקיעים, טיוטת הכללים מוסיפה אי-ודאות חדשה. עלויות הציות עשויות לעלות, עיצובי מוצרים עשויים לדרוש התאמות, והנחות צמיחה הקשורות למעורבות משתמשים עשויות להיקבע מחדש. במקביל, בהירות רגולטורית עשויה בסופו של דבר להיטיב עם חברות גדולות ובעלות הון רב יותר, המסוגלות לעמוד בדרישות פיקוח מחמירות.

הקשר גלובלי וכוונה אסטרטגית

היוזמה של סין מגיעה על רקע בחינה בינלאומית גוברת של ההשפעות הפסיכולוגיות של AI. קובעי מדיניות ומובילי טכנולוגיה במערב הכירו יותר ויותר בסיכונים שמציבות מערכות רגישות-רגשית, במיוחד בהקשרים של בריאות הנפש. בפעולה מוקדמת, בייג’ינג ממקמת את עצמה כקובעת כללים בתחום שבו הסטנדרטים הגלובליים עדיין אינם מגובשים.

ההצעות משקפות גם חישוב אסטרטגי רחב יותר. סין השקיעה בשנה האחרונה בקידום מסגרות ממשל גלובליות ל-AI, ורגולציית בטיחות רגשית עשויה להפוך למאפיין מגדיר של גישתה. באמצעות הטמעת דרישות להתערבות אנושית והגנות מפורשות, בייג’ינג מאותתת כי קידמה טכנולוגית תישאר כפופה ליציבות חברתית.

בהסתכלות קדימה, שווקים וקובעי מדיניות כאחד יעקבו אחר אופן אכיפת הכללים והאם ישפיעו על החשיבה הרגולטורית מעבר לסין. ככל שמערכות AI נעשות סוחפות ומשכנעות יותר מבחינה פסיכולוגית, האיזון בין חדשנות, בטיחות ואחריות צפוי להפוך לאחד מדיוני המדיניות המכריעים של העשור.