- ترفع أم دعوى قضائية ضد شركة Character.AI بعد أن توفي ابنها منتحرًا بعد لحظات من التحدث إلى برنامج الدردشة الآلي الخاص بها.
- تم أيضًا تسمية شركة Alphabet، الشركة الأم لشركة Google، كمدعى عليها في هذه القضية.
- أعادت شركة Google توظيف مؤسسي شركة Character AI كجزء من صفقة تبلغ قيمتها 2.7 مليار دولار.
قبل لحظات فقط من وفاة سيويل سيتزر الثالث، البالغ من العمر 14 عامًا، منتحرًا في فبراير، كان يتحدث إلى برنامج الدردشة الآلي الذي يعمل بالذكاء الاصطناعي.
الشات بوت، الذي تديره الشركة الناشئة شخصية.AI، مقتبس من شخصية دينيريس تارجيريان من مسلسل Game of Thrones. وقالت والدة سيتزر، ميغان جارسيا، في دعوى مدنية رفعتها أمام محكمة اتحادية في أورلاندو في أكتوبر/تشرين الأول، إنه قبل وفاة ابنها مباشرة، تبادل رسائل مع الروبوت، الذي طلب منه “العودة إلى المنزل”.
تلقي جارسيا باللوم على برنامج الدردشة الآلي في وفاة ابنها، وفي الدعوى المرفوعة ضد شركة Character.AI، تتهمها بالإهمال المزعوم والقتل غير المشروع والممارسات التجارية الخادعة.
وتسبب هذه القضية أيضًا مشكلات لشركة Google، التي استحوذت في أغسطس على بعض مواهب شركة Character.AI وقامت بترخيص تكنولوجيا الشركة الناشئة في صفقة بمليارات الدولارات. وتم تسمية شركة Alphabet، الشركة الأم لشركة Google، كمدعى عليها في هذه القضية.
وفي الدعوى، التي اطلعت عليها Business Insider، يزعم جارسيا أن مؤسسي شركة Character.AI “صمموا عن عمد وعمد” برنامج الدردشة الآلي الخاص بهم “لجذب القُصَّر والتلاعب بهم واستغلالهم لمصلحتهم الخاصة”.
وأظهرت لقطات الشاشة للرسائل المضمنة في الدعوى القضائية أن سيتزر عبر عن أفكاره الانتحارية للروبوت وتبادل الرسائل الجنسية معه.
وقال غارسيا في بيان تمت مشاركته مع BI الأسبوع الماضي: “يتم تسويق تطبيق chatbot خطير يعمل بالذكاء الاصطناعي للأطفال الذين يتعرضون للإيذاء والاستغلال لابني، والتلاعب به حتى ينتحر”.
وقالت: “لقد دمرت هذه المأساة عائلتنا، لكنني أتحدث لتحذير العائلات من مخاطر تكنولوجيا الذكاء الاصطناعي الخادعة والمسببة للإدمان، وأطالب بالمساءلة من شركة Character.AI ومؤسسيها وجوجل”.
يجادل محامو Garcia بأن موقع Character.AI لم يكن لديه حواجز حماية مناسبة للحفاظ على سلامة مستخدميه.
وقالت ميتالي جاين، مديرة مركز التكنولوجيا: “عندما بدأ في التعبير عن أفكار انتحارية لهذه الشخصية عبر التطبيق، شجعته الشخصية بدلاً من الإبلاغ عن المحتوى إلى جهات إنفاذ القانون أو إحالته إلى خط ساخن للانتحار، أو حتى إخطار والديه”. صرح مشروع قانون العدالة والمحامي في قضية ميغان جارسيا لـ BI.
وفي بيان تم تقديمه إلى BI يوم الاثنين، قال متحدث باسم Character.AI: “نشعر بالحزن بسبب الخسارة المأساوية لأحد مستخدمينا ونريد أن نعرب عن أعمق تعازينا للعائلة.
“كشركة، نحن نأخذ سلامة مستخدمينا على محمل الجد، وقد قام فريق الثقة والسلامة لدينا بتنفيذ العديد من إجراءات السلامة الجديدة على مدى الأشهر الستة الماضية، بما في ذلك نافذة منبثقة لتوجيه المستخدمين إلى شريان الحياة الوطني لمنع الانتحار الذي يتم تشغيله بواسطة وقال المتحدث باسم الشركة: “يتعلق الأمر بإيذاء النفس أو التفكير في الانتحار”.
وأضاف المتحدث أن Character.AI كان يقدم ميزات أمان إضافية، مثل “تحسين الكشف” والتدخل عندما يقوم المستخدم بإدخال محتوى ينتهك شروطه أو إرشاداته.
روابط جوجل إلى Character.AI
يتيح Character.AI للجمهور إنشاء برامج الروبوت الشخصية الخاصة بهم. وفي مارس 2023، بلغت قيمته مليار دولار خلال جولة تمويل بقيمة 150 مليون دولار.
يتمتع مؤسسا شركة Character.AI، نوام شازير ودانييل دي فريتاس، بتاريخ طويل مع جوجل وكانا في السابق مطورين لنماذج الذكاء الاصطناعي التحادثية لعملاق التكنولوجيا والتي تسمى LaMDA.
غادر الزوجان Google في عام 2021 بعد أن رفضت الشركة طلبًا لإطلاق برنامج الدردشة الآلي الذي طوره الاثنان. وقال جاين إن الروبوت الذي طوره الثنائي في جوجل كان “مقدمة لـ Character.AI”.
في أغسطس 2024، عينت جوجل شازير ودي فريتاس للانضمام مرة أخرى إلى وحدة الذكاء الاصطناعي DeepMind التابعة لها، ودخلت في اتفاقية غير حصرية مع Character.AI لترخيص تقنيتها. وذكرت صحيفة وول ستريت جورنال أن الشركة دفعت 2.7 مليار دولار للصفقة، والذي كان يهدف في المقام الأول إلى إعادة شازير البالغ من العمر 48 عامًا إلى الحظيرة.
وفي إشارة إلى Character.AI وروبوتات الدردشة الخاصة بها، قالت الدعوى القضائية إنه “يمكن اعتبار Google شريكًا في إنشاء منتج خطير بشكل غير معقول ومعيب بشكل خطير”.
وقال هنري أجدر، خبير الذكاء الاصطناعي ومستشار المنتدى الاقتصادي العالمي للسلامة الرقمية، إنه على الرغم من أنه لم يكن أحد منتجات Google بشكل صريح في قلب القضية، إلا أنه لا يزال من الممكن أن يكون ضارًا للشركة.
وقال لـ BI: “يبدو أن هناك تعاونًا ومشاركة عميقين جدًا داخل Character.AI”. “هناك درجة معينة من المسؤولية عن كيفية إدارة تلك الشركة.”
وقال أجدر أيضًا إن شركة Character.AI واجهت بعض الانتقادات العامة بشأن برنامج الدردشة الآلي الخاص بها قبل أن تغلق Google الصفقة.
وقال: “كان هناك جدل حول الطريقة التي تم تصميمها بها”. “والأسئلة حول ما إذا كان هذا يشجع على وجود ديناميكية غير صحية بين المستخدمين الشباب وروبوتات الدردشة بشكل خاص.”
وأضاف: “لم تكن هذه الأسئلة غريبة على جوجل قبل حدوث ذلك”.
في وقت سابق من هذا الشهر، واجهت شركة Character.AI رد فعل عنيفًا عندما اكتشف أحد الآباء أن ابنته، التي قُتلت في عام 2006، تم نسخها على خدمة الشركة كبرنامج دردشة آلي. أخبر والدها BI أنه لم توافق أبدًا على استخدام صورتها. قامت شركة Character.AI بإزالة الروبوت وقالت إنه انتهك شروطه.
لم يستجب ممثلو Google على الفور لطلب التعليق من BI.
وقال متحدث باسم جوجل لرويترز إن الشركة لم تشارك في تطوير منتجات Character.AI.
