Раздел Технологии выходит при поддержке Favbet Tech
Etched является одним из конкурентов NVIDIA на рынке процессоров для искусственного интеллекта. Стартап предлагает другой подход к их созданию, который похож на производство ASIC для майнинга — специализацию на конкретном типе генеративного ИИ, а именно так называемых трансформерах. Чипы не будут работать с другими моделями, однако с конкретными будут иметь на порядки большую производительность. Представленные процессоры Sohu работают с Llama 70B и способны обрабатывать 500 тыс. токенов в секунду. Сервер из 8x чипов Sohu при этом способен заменить 160 процессоров NVIDIA H100.
Sohu — первый специализированный чип для моделей-трансформеров, утверждает Etched. Имея с ними гораздо большую производительность, чем любые существующие универсальные решения, Sohu не может запускать CNN, LSTM, SSM или любые другие модели ИИ. Он изготовлен по 4 нм техпроцессу TSMC.
Компания рассказывает, что в настоящее время каждый основной продукт ИИ на рынке (ChatGPT, Claude, Gemini, Sora) работает на основе трансформеров, и якобы через несколько лет каждая крупная модель искусственного интеллекта будет работать на специализированных чипах. Этот процесс в Etched считают неизбежным.
Процессор Sohu заявлен как более чем в 10 раз быстрее и дешевле, чем чипы NVIDIA нового поколения Blackwell (B200). Один сервер Sohu обрабатывает токены Llama 70B в 20 раз быстрее, чем сервер H100 (23 000 токенов/с), и в 10 раз больше, чем сервер B200 (~45 000 токенов/с). Показатели получены при работе в FP8 без разрежения при 8x модельном параллелизме с длиной 2048 входных/128 выходных данных. Показатели 8xH100 получены с TensorRT-LLM 0.10.08 (последняя версия), а показатели 8xB200 являются оценочными. «Это тот же бенчмарк, который используют NVIDIA и AMD», — говорят в Etched.
Критикуя универсальную архитектуру графических процессоров, Etched отмечает, что они не становятся лучше, они просто становятся больше. За последние четыре года их плотность вычислений (TFLOPS/мм²) улучшилась лишь примерно на 15%. Графические процессоры нового поколения (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2 и т. Д.) Используют два чипа как один, чтобы «удвоить» свою производительность. По утверждению стартапа, с замедлением закона Мура единственным способом улучшить производительность является специализация.
Онлайн-курс «AWS для початківців» від robot_dreams. Навчіться працювати з cloud-native системами та побудуйте власний застосунок для зберігання даних у системі AWS.Досвід і фідбек від Fullstack Developer in Amazon. Детальніше про курс
Экономическое обоснование создания специализированных чипов базируется на их относительно низкой стоимости по сравнению с затратами на обучение и работу ИИ. Сегодня модели искусственного интеллекта используют более $1 млрд для обучения и десятки миллиардов во время работы. В таком масштабе улучшение на 1% оправдало бы $50-100 млн на собственный проект чипов. ASIC в 10-100 раз быстрее графических процессоров.
«Когда [специализированные] майнеры биткойнов вышли на рынок в 2014 году, стало дешевле выбросить графические процессоры, чем использовать их для добычи биткойнов. На кону миллиарды долларов, то же самое происходит с ИИ … Выигрывает та архитектура, которая работает быстрее и дешевле всего на аппаратном обеспечении».
При масштабировании производительности моделей от $1 млрд до $100 млрд, риск тестирования новой архитектуры стремительно возрастает. В Etched считают, что усилия лучше направить на повышение эффективности трансформеров, а не на простое масштабирование.
«Как только Sohu (и другие ASIC) выйдут на рынок, мы достигнем точки невозврата. Трансформерные киллеры должны будут работать быстрее на графических процессорах, чем трансформеры на Sohu. Если это произойдет, мы создадим ASIC и для этого!».
Компанию Etched, которая существует всего два года, основали выходцы из Гарварда, Гэвин Уберти (OctoML и Xnor.ai) и Крис Чу, которые вместе с Робертом Вахеном и бывшим техническим директором Cypress Semiconductor Марком Россом стремились создать чип, который делал бы только одно: запускал модели ИИ.
Онлайн-курс «AWS для початківців» від robot_dreams. Навчіться працювати з cloud-native системами та побудуйте власний застосунок для зберігання даних у системі AWS.Досвід і фідбек від Fullstack Developer in Amazon. Детальніше про курс
Многие стартапы и технологические гиганты разрабатывают чипы, которые работают исключительно с моделями искусственного интеллекта. Meta имеет MTIA, Amazon имеет Graviton и Inferentia и т.д. Но микросхемы Etched уникальны тем, что они работают только с одним типом модели – трансформерами.
«В 2022 году мы сделали прогноз, что трансформеры захватят мир. Сейчас мы достигли того момента в эволюции искусственного интеллекта, где неизбежны специализированные микросхемы, которые могут работать лучше, чем графические процессоры общего назначения, — и люди, принимающие технические решения в мире, это знают», — говорит Уберти, CEO Etched.
Как Sohu достигает приведенной производительности? Несколькими способами, но наиболее очевидными являются упрощенный аппаратно-программный конвейер. Поскольку Sohu не работает с нетрансформерными моделями, команда Etched может отказаться от аппаратных компонентов, которые не имеют к ним отношения, то же касается программного обеспечения.
«Вкратце, наши будущие клиенты не смогут позволить себе не перейти на Sohu. Компании готовы сделать ставку на Etched, поскольку скорость и стоимость важны для продуктов ИИ, которые они пытаются создать», — говорит Уберти.
Пока что Etched не имеет конкурентов, которые бы зашли так далеко, но борьба уже начинается. Если появятся более эффективные технологии или в тренде будут другие модели искусственного интеллекта, в компании говорят, что просто разработают новый чип.
NVIDIA представила Vera Rubin — архитектуру графических процессоров нового поколения
Источники: Etched, TechCrunch
Раздел Технологии выходит при поддержке Favbet Tech
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.