У сьогоднішньому повідомленні служба Chatbot Character.AI повідомляє, що незабаром запустить батьківський контроль для користувачів-підлітків, і описує заходи безпеки, вжиті протягом останніх кількох місяців, включаючи окрему велику мовну модель (LLM) для користувачів віком до 18 років. Оголошення зроблено після перевірки преси та двох судових процесів , які стверджують, що це сприяло самоушкодженню та самогубству.
У прес-релізі Character.AI сказано, що протягом останнього місяця він розробив дві окремі версії своєї моделі: одну для дорослих і одну для підлітків. Підлітковий LLM розроблений, щоб встановити «консервативніші» обмеження щодо того, як боти можуть реагувати, «особливо коли йдеться про романтичний контент». Це включає в себе більш агресивне блокування вихідних даних, які можуть бути «делікатними або натяками», а також спроби краще виявляти та блокувати підказки користувача, які мають на меті виявити неприйнятний вміст. Якщо система виявить «мову, яка згадує про самогубство або самоушкодження», спливаюче вікно перенаправить користувачів до Національної лінії запобігання самогубствам, про яку раніше повідомляла The New York Times .
Неповнолітнім також буде заборонено редагувати відповіді ботів — опція, яка дозволяє користувачам переписувати розмови, щоб додати вміст, інакше Character.AI може заблокувати.
Крім цих змін, Character.AI каже, що він «у процесі» додавання функцій, які розв’язують проблеми щодо залежності та плутанини щодо того, чи є боти людьми, скарги, зроблені в судових позовах. Сповіщення з’явиться, коли користувачі проведуть годинну сесію з ботами, а старе застереження про те, що «все, що говорять персонажі, вигадане», замінюється більш детальною мовою. Для ботів, які містять такі описи, як «терапевт» або «лікар», додаткова примітка попереджатиме, що вони не можуть надавати професійні поради.
Оповідач: це не був ліцензований КПТ-терапевт. Характер.AI
Коли я відвідав Character.AI, я виявив, що кожен бот тепер містить маленьку примітку: «Це чат-бот ШІ, а не реальна людина. Сприймайте все, що там сказано, як вигадку. На сказане не слід покладатися як на факт чи пораду». Коли я відвідав бота під назвою «Терапевт» (слоган: «Я ліцензований КПТ-терапевт»), жовте поле з попереджувальним сигналом повідомило мені, що «це не справжня людина чи ліцензований професіонал. Ніщо, сказане тут, не може замінити професійну пораду, діагностику чи лікування».
Параметри батьківського контролю з’являться в першому кварталі наступного року, кажуть у Character.AI, і вони повідомлять батькам, скільки часу дитина витрачає на Character.AI і з якими ботами вони найчастіше взаємодіють. Усі зміни вносяться у співпраці з «декількома експертами з онлайн-безпеки підлітків», включаючи організацію ConnectSafely .
Character.AI, заснований колишніми співробітниками Google, які згодом повернулися до Google , дозволяє відвідувачам взаємодіяти з ботами, створеними на спеціально навчених LLM і налаштованих користувачами. Вони варіюються від інструкторів із чат-ботів до симуляції вигаданих персонажів, багато з яких популярні серед підлітків . Сайт дозволяє користувачам, які ідентифікують себе як вік від 13 років, створити обліковий запис.
Але в позовах стверджується, що хоча деякі взаємодії з Character.AI є нешкідливими, принаймні деякі неповнолітні користувачі прив’язуються до ботів, чиї розмови можуть переходити в сексуальні розмови або теми, як-от самоушкодження. Вони засудили Character.AI за те, що він не спрямовує користувачів до ресурсів психічного здоров’я, коли вони обговорюють самоушкодження або самогубство.
«Ми усвідомлюємо, що наш підхід до безпеки має розвиватися разом із технологіями, які рухають наш продукт, створюючи платформу, де творчість і дослідження можуть процвітати без шкоди для безпеки», — йдеться в прес-релізі Character.AI. «Цей пакет змін є частиною нашого довгострокового зобов’язання постійно вдосконалювати нашу політику та наш продукт».