Раздел Технологии выходит при поддержке
Nvidia представила новый экспериментальный генеративный ИИ, который называет «универсальным инструментом для работы со звуком».
Эта модель, известная как Foundational Generative Audio Transformer Opus 1 (или Fugatto), может воспринимать текстовые подсказки и использовать их для создания аудио или изменения существующих музыкальных, голосовых и звуковых файлов. Над разработкой модели работала международная команда исследователей ИИ, что, по словам NVIDIA, сделало ее «многоакцентные и многоязычные возможности» еще сильнее.
Рафаэль Валле, один из исследователей проекта и менеджер прикладных аудиоисследований в NVIDIA, отметил: «Мы хотели создать модель, которая понимает и генерирует звук так же, как это делают люди».
Компания привела несколько примеров, где Fugatto может быть полезна. Например, музыкальные продюсеры смогут быстро создавать прототипы песен, которые затем легко редактировать, изменяя стили, голоса и инструменты.
Люди смогут использовать Fugatto для создания материалов для изучения языков с выбранным голосом. А разработчики видеоигр смогут создавать различные варианты заранее записанных звуков, чтобы они соответствовали изменениям в игре в зависимости от выбора и действий игроков.
Кроме того, исследователи выявили, что модель может выполнять задачи, которым ее не учили, с небольшой дополнительной настройкой. Например, она может сочетать отдельно освоенные команды, чтобы генерировать сердитый голос с определенным акцентом или звук пения птиц во время грозы. Модель также способна создавать звуки, которые меняются со временем, как-то звук приближающегося дождя.
СпецпроектыЯк вибрати супутникову автосигналізацію на авто? Поради, нюанси та посилання на системиOukitel випускає смартфон C58 Pro: камера 50 МП, батарея 5150 мАг і ціна $99,99 на честь Дня подяки
NVIDIA не сообщила, будет ли предоставлен публичный доступ к Fugatto. Но эта модель ИИ — не первая генеративная модель, способная создавать звуки из текстовых подсказок. Ранее Meta выпустила открытый ИИ-инструментарий, который может генерировать звуки из текстовых описаний. А Google имеет собственный ИИ под названием MusicLM, который превращает текст в музыку.
Nvidia App вышла из беты: новая программа заменит GeForce Experience и Control Panel
Источник: Nvidia, Engadget
Раздел Технологии выходит при поддержке
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.