Кевін вирішив стати модератором контенту після того, як його рекомендації на YouTube дещо змінилися. У 2021 році в його стрічці з’явилися відео, що зображували жорстокі напади нігерійського бойовика «Боко Харам». Вони були сирими та кривавими, і нагадували йому про насильство, свідком якого він був у дитинстві в Нігерії.
Одного дня відео зникли. Хто це зробив?, – подумав він. Він прочитав в інтернеті, що видалення тривожного матеріалу з інтернету – це робота, на яку він міг би подати заявку. «Я не хотів, щоб люди все життя бачили ці відверті речі», – сказав Кевін, який говорив під псевдонімом через конфіденційний характер своєї роботи. «Я хотів зробити світ кращим».
Зараз Кевін є одним із співробітників фірми з модерації контенту, яка працює в TikTok, де він переглядає відео, опубліковані користувачами з усієї Африки на південь від Сахари. Його судження визначає, чи залишиться «все погане та все жорстоке» — жорстоке поводження з тваринами, жорстоке поводження з людьми, каліцтва, смерті, нещасні випадки за участю дітей — чи буде видалено, сказав він.
Це важка та емоційна робота. Нещодавно його попросили скористатися програмою штучного інтелекту. Але після більш ніж року роботи з системою Кевін сказав, що штучний інтелект створив нові проблеми. Технологія не може надійно виявляти зловживання чи зло, сказав він. Тим не менш, Кевін вважає, що це не завадить його роботодавцю використовувати ці інструменти, щоб замінити його.
Поява генеративного штучного інтелекту призвела до настільки вражаючих досягнень, що багато компаній роблять ставку на те, що технологія одного дня навчиться розрізняти добро від зла, якщо вони нададуть їй достатньо прикладів кожного з них. Але, за словами 13 професійних модераторів, штучний інтелект, на який зараз покладаються для зупинки поширення небезпечного контенту, такого як матеріали про сексуальне насильство над дітьми або політична дезінформація, замінює працівників швидше, ніж він може навчитися виконувати свою роботу. Працівники, які залишаються, побоюються, що інтернет, що контролюється штучним інтелектом, стане небезпечним мінним полем, де закодована мова ворожнечі, пропаганда, ґрумінг дітей та інші форми онлайн-шкоди зберігатимуться та поширюватимуться безконтрольно.
«Якщо ви підете шляхом впровадження штучного інтелекту, щоб зменшити кількість персоналу, відповідального за довіру та безпеку, це знизить безпеку загалом», — сказав Ллойд Річардсон, директор з технологій Канадського центру захисту дітей. «Вам потрібні люди».
Працівники TikTok під час протесту, скликаного профспілкою Ver.di, біля офісів TikTok у Берліні 17 липня. Фотограф: Джон Макдугалл/AFP
Такі компанії, як Meta Platforms Inc. , TikTok від ByteDance Ltd. , Roblox Corp. та X, рекламують переваги більшої залежності від модерації контенту за допомогою штучного інтелекту. Це травматична, стресова робота, яка може залишити тривалі емоційні шрами на людях, які її виконують, і найняти достатню кількість людей для вирішення всього цього неможливо або надзвичайно дорого. Врахуйте, що користувачі щодня публікують понад 20 мільйонів відео на YouTube. Автоматизовані системи дещо зменшили навантаження, блокуючи повторне завантаження контенту, який вже відомий як поганий, наприклад, відео масових розстрілів. Але тепер компанії покладаються на те, що штучний інтелект навчиться розпізнавати нюанси в опублікованому контенті та приймати рішення.
Сьогоднішні чат-боти на базі штучного інтелекту можуть підтримувати людей в емоційних розмовах. Це не означає, що такий самий тип технології готовий захистити користувачів Інтернету від травм, заявили модератори. З 13 модераторів, з якими поспілкувався Bloomberg, усі, крім одного, сказали, що інструменти, які їм надаються, активно ускладнюють їхню роботу. «Ми не можемо покладатися на пропозиції штучного інтелекту», – сказала 36-річна Жанерке Каденова, яка працює в казахстанській фірмі з модерації контенту, що має контракт з великою технологічною компанією. «У більшості випадків це не збігається – приблизно в 80%. Ми навіть не дивимося на них».
Кевін оцінює, що для нього система дає збій до 70% часу. Система все ще часто робить поспішні висновки — наприклад, вказує на низький рівень палива на приладовій панелі автомобіля у відео, коли мала б вказувати на показник спідометра 200 кілометрів на годину. Або ж вона може обвести обличчя маленької дитини на платформі та ідентифікувати її як 17-річну. Він витрачає час на виправлення помилок і вводить гіперспецифічні мітки для всього, що бачить. Виправлення ШІ збільшує робоче навантаження, забираючи час, який можна було б витратити на вирішення більш нагальних проблем.
«Це страшно. Це дуже страшно», – сказав Кевін, який вважає, що його ретельні виправлення навчають систему і зрештою замінять його, хоча його керівництво прямо про це не говорило.
Roblox, YouTube, TikTok, Meta та X зіткнулися з ретельною перевіркою щодо своєї практики модерації. У 2024 році сенатор США на слуханнях щодо безпеки дітей поставив під сумнів діяльність трьох останніх компаній. Сьогодні TikTok бореться з десятками позовів після розслідувань щодо суїцидального контенту , хижацтва тощо. Федеральна торгова комісія США звинуватила Instagram Meta у зв’язуванні неповнолітніх з грумерами, і в незліченних звітах описані проблеми Facebook з модерацією насильницького та екстремістського контенту.
Після захоплення Ілоном Маском Twitter, який він перейменував на X, регулятори та журналісти висловили низку занепокоєнь щодо поширення на платформі несанкціонованої діпфейкової порнографії та контенту про жорстоке поводження з дітьми . Roblox також критикували за нездатність захистити дітей від хижаків на платформі, зокрема під час розслідування Businessweek 2024 року . Протягом останніх трьох тижнів проти компанії було подано сім юридичних скарг, у яких стверджується про шкоду безпеці дітей, зокрема від генерального прокурора Луїзіани Ліз Меррілл. У позовах стверджується, що хижаки націлювалися на дітей віком від 8 років на Roblox. «Твердження про те, що Roblox навмисно наражав наших користувачів на ризик експлуатації, категорично не відповідає дійсності», – заявила компанія у відповідь на позов.
Однак протягом минулого року, перебуваючи під тиском скорочення витрат, усі ці компанії оголосили про свій намір більше покладатися на модерацію за допомогою штучного інтелекту, прискоривши зусилля, розпочаті під час пандемії, коли компанії вирішили, що робота з конфіденційним контентом неможлива з дому. Для деяких додатків цей крок також частково був спричинений твердженнями консервативних законодавців про упередженість модерації людьми.
За часів Ілона Маска, X різко скоротила свою робочу силу з модерації контенту, зменшивши вдвічі кількість модераторів з Європейського Союзу з 2023 року до 1486, згідно зі звітом компанії про Закон про цифрові послуги . Підрядник Meta з модерації контенту Telus скоротив понад 2000 робочих місць у Барселоні у квітні. Колишній фінансовий директор Roblox Майкл Гатрі минулого року повідомив інвесторам, що компанія вивільнила кошти з операційної діяльності за рахунок «більшого використання штучного інтелекту, що вимагає все менше і менше ручної модерації», зберігаючи при цьому чисельність персоналу незмінною. Roblox не відповів на запит про коментар щодо розміру своєї робочої сили з модерації та того, чи розширилася вона разом зі зростанням кількості користувачів платформи на 41% у другому кварталі порівняно з попереднім роком. Bloomberg повідомив у 2024 році, що на той час у Roblox було близько 3000 модераторів на 80 мільйонів щоденно активних користувачів. Компанія заявила, що кількість модераторів не є показником якості.
У п’ятницю TikTok поділився планами скоротити сотні модераторів по всій Великій Британії, а також посади в Південній та Південно-Східній Азії, одночасно інвестуючи в технології модерації, включаючи штучний інтелект. Речник компанії заявив, що вона «концентрує свою діяльність у меншій кількості місць у світі, щоб забезпечити максимальну ефективність та швидкість, розвиваючи цю критично важливу для компанії функцію з урахуванням технологічного прогресу».
У жовтні минулого року агентство Reuters опублікувало повідомлення про плани скорочення ще сотень робочих місць модераторів у Малайзії, а п’ятдесят із майже 150 модераторів TikTok у Німеччині погрожують страйком через майбутнє звільнення. Один модератор контенту TikTok для голландських відео, який займається такими темами, як теорії змови та дезінформація про вибори, заявив, що штучний інтелект не підходить для його заміни, оскільки він не може вловлювати контекст для певних регіонів, таких як різні діалекти фламандської мови.
Співробітники TikTok у Ver.di повертаються до офісу компанії в Берліні 17 липня 2025 року. Фотограф: Омер Мессінгер/Getty Images
X не відповів на запити про коментар. Представник TikTok заявив, що штучний інтелект «може допомогти підтримати благополуччя наших модераторів та покращити людську модерацію», посилаючись на можливість персоналізувати робоче навантаження модераторів на основі їхніх культурних знань. «Використання нами штучного інтелекту для підтримки модерації контенту все ще перебуває на дуже ранніх стадіях», – сказав речник, додавши, що компанія встановлює «чіткі контрольні показники якості» для нових технологій модерації, перш ніж впроваджувати їх у використання. Модератори-люди більше зосереджені на складних завданнях, які «залежать від контексту, але мають меншу поширеність», – сказав представник.
У серпні Roblox анонсувала систему штучного інтелекту, призначену для раннього виявлення ознак небезпеки для дітей, яка допомогла Roblox виявити 1200 повідомлень про потенційну експлуатацію дітей для Національного центру зниклих безвісти та експлуатованих дітей. Модерація великого обсягу текстового та аудіоконтенту – це «робота, з якою люди не можуть впоратися самостійно», – заявила компанія в липневому дописі в блозі , додавши, що це «вимагатиме сотень тисяч модераторів-людей, які працюватимуть цілодобово». Roblox розповіла, як вона навчає системи запобігати хибнонегативним результатам і використовує штучний інтелект лише тоді, коли він працює «значно вище як за точністю, так і за запам’ятовуваністю, ніж люди в великих масштабах».
Під дописом генерального директора Девіда Базуцького на X про блог, десятки коментаторів скаржилися на модерацію на платформі, багато хто з яких стверджував, що люди краще підходять для модерації дитячої платформи. Деякі поділилися скріншотами неприйнятного контенту, який вони бачили, зокрема аватарів у стрінгах.
Штучний інтелект може багато чого зробити для покращення людської роботи, наприклад, надати пріоритет найнебезпечнішому контенту для перевірки модераторами. Штучний інтелект також може робити особливо неприємні відео та зображення чорно-білими, що, за словами дослідників, корисно для психічного здоров’я модераторів. Представник TikTok заявив, що його модератори видалили на 60% менше відео, що порушують його політику щодо шокуючого або графічного контенту, оскільки «наші технології модерації взялися за більше таких потенційно тривожних відео». Але навіть компанії, що продають інструменти для модерації на основі штучного інтелекту, попереджають про надмірну залежність від цієї технології.
«Деякі системи штучного інтелекту мають багато хибнопозитивних результатів», — сказав Рон Кербс, генеральний директор компанії Kidas, що займається розробкою програмного забезпечення для безпеки дітей. Штучний інтелект може не вміти розрізняти, чи є трансляція Call of Duty зі словами «Я тебе вб’ю» частиною гри, чи реальними погрозами смерті. У січні Мета заявив, що автоматизовані системи компанії, які сканували порушення політики, «призвели до занадто великої кількості помилок» та надмірної цензури, тому ці системи будуть зосереджені на порушеннях високої серйозності, таких як наркотики та шахрайство.
Хибнопозитивні результати штучного інтелекту можуть призвести до поганого користувацького досвіду для людей, які нічого поганого не роблять в Інтернеті, помилково блокуючи їх доступ до облікових записів. Це призвело до збільшення навантаження на людей, які отримали потік апеляцій на рішення. «Деякі з речей, які штучний інтелект видаляв, просто не мали сенсу», — сказав 29-річний Майкл Нкоко, колишній модератор у контрактній фірмі Meta. Оскільки йому все ще доводилося дотримуватися своєї щоденної квоти на відповіді на заявки, апеляції «створили більше роботи». Представник Meta сказав, що помилки складають невелику частину видаленого контенту.
Комп’ютери дуже добре справляються з питаннями, на які потрібно відповісти «так» чи «ні». Вони менш добре справляються з суб’єктивністю, культурним контекстом та смаком. Розвиток правильного судження – це постійний процес. Політика компаній швидко змінюється залежно від правил та політичного клімату, розвиваються соціальні норми, і постійно винаходяться нові образи. Люди розвивають свою мову швидше, ніж штучний інтелект може її виявити та зрозуміти, сказав Майк Паппас, генеральний директор компанії Modulate , що займається модерацією зі штучним інтелектом . «Вам потрібно, щоб люди казали: «Гей, «фіолетовий» тепер є расовою образою». Помножте це на тисячі живих мов, опублікованих на цих платформах.
Щоб надати штучному інтелекту певне наближення до людського судження, систему потрібно навчити на вузькоспецифічних питаннях типу «так» чи «ні», щоб вона частіше могла виконувати те, що людина вже знає інтуїтивно. Кевін сказав, що його колег часто просять переглянути один і той самий контент — ознака, за його словами, того, що компанія намагається навчити штучний інтелект на основі їхньої роботи. Він пам’ятає, що в одному відео двоє людей билися, один тримав зброю та б’є іншого.
« Чи підняв суб’єкт руку? Ви натискаєте «так». Чи опустилася рука з певною швидкістю? Так. Чи був удар? Так. Чи відреагував інший суб’єкт на удар? Так. Чи виглядало так, ніби суб’єкт отримав тяжку травму? Так. Чи були бризки крові чи каліцтва? Так», – пояснив Кевін. «Було б легковірно думати, що ви робите це, а не навчаєте ШІ».
Пітер, який також є нігерійцем і якого попросили використовувати псевдонім, сказав, що розглядає модерацію як громадську роботу, оскільки в дитинстві був свідком насильства. Коли він сідає за своє робоче місце, його іноді просять позначити кожну дрібницю у відео, наприклад, частини тіла чи предмети домашнього вжитку. Іншим разом він повідомляє про образи, які штучний інтелект не розпізнав. Зрештою, автоматизована система його компанії почала розпізнавати такі слова, як «арне» – зневажливий термін мовою хауса для позначення немусульманських груп. (Пітер, як і Кевін, знає півдюжини мов.)
«Я знав, що незабаром мої послуги більше не будуть потрібні», — сказав Пітер про амбіції своєї компанії щодо штучного інтелекту. «Якби я був власником бізнесу, я б хотів скоротити витрати».
Модератори хвилюються, що як би добре вони не навчили ШІ, він не розпізнає тонкощі людської мови та поведінки. Один із них, який попросив залишитися анонімним, сказав, що часто переглядає відео, на яких люди носять відверту спідню білизну. ШІ може надійно це виявити. Але він не робитиме винятків, якщо користувач стоїть біля водойми, сказав він. В інших випадках ШІ може виявити оголені груди, але не враховуватиме політику, яка дозволяє зображення грудного вигодовування.
Бікіні — це найменша проблема для цих модераторів. Багато хто сказав, що їх головне занепокоєння — діти. Хижаки ретельно вивчають тактики автоматизації платформ, щоб мати змогу їх обійти, і вони навчаються швидше, ніж штучний інтелект.
На форумах даркнету хижаки, які намагаються переманити дітей, обмінюються хитрощами щодо того, які слова потрапляють під дію автоматизації платформ або як далеко вони можуть зайти в розмові з дитиною, перш ніж їх забанять. І хоча штучний інтелект може надійно ідентифікувати дітей на зображеннях чи відео, йому важко розпізнати текстові розмови, які модератор-людина класифікував би як ґрумінг, кажуть модератори. Хижаки, які намагаються перемістити дітей на платформу з менш жорсткими правилами, використовують нешкідливі фрази на кшталт «Давай погуляємо» або «Зустрінемося в додатку-привиді». Якщо платформа це виявляє, хижаки ставлять X між літерами, сказав один модератор.
Експерти заявили, що найбезпечніший шлях для великих технологічних компаній — це зберегти свою робочу силу, одночасно розвиваючи та доповнюючи її інструментами штучного інтелекту. Кількість потенційно шкідливих публікацій, на які варто звернути увагу, «лише зростає, особливо з огляду на те, що генеративний штучний інтелект та платформи переповнені таким контентом», — сказав Джонатан Фрегер, старший віцепрезидент компанії з модерації WebPurify.
Саванна Бадаліч, керівник відділу продуктової політики Discord, заявила в інтерв’ю, що компанія не планує скорочувати витрати, пов’язані з модерацією, перед своїм первинним публічним розміщенням акцій . Хоча Discord використовує машинне навчання та моделі великих мов для підтримки рецензентів, вона сказала: «Для нас дуже важливо, щоб люди були в курсі подій, особливо для прийняття суворих рішень щодо правозастосування. Наше використання штучного інтелекту не замінює жодного з наших співробітників. Воно призначене для підтримки та пришвидшення їхньої роботи».
Аутсорсингова компанія Teleperformance SE наймає тисячі модераторів за контрактом, які сканують контент у таких компаніях, як TikTok. Представник заявив, що «незважаючи на значний прогрес в автоматизації, модератори-люди є важливими для забезпечення безпеки, точності та емпатії як у соціальних мережах, так і в ігровому середовищі». Модерація — це більше, ніж просто сказати «так» чи «ні» зображенню; це «інтерпретація поведінки, розуміння контексту та прийняття рішень, з якими штучний інтелект досі має труднощі», — сказав речник.
Кевін сказав, що це його останній рік модерації TikTok. «Я не маю наміру залишатися довше, ніж на чотири роки», – сказав він. «У нас депресія. Справжня депресія». У вільний час він дивиться старі комедії, грає на гітарі та молиться. «Поки ми навчаємо штучний інтелект тому, що робимо, він насправді стає кращим», – сказав він.
