ГоловнаНовиниНовиниGoogle розробляє ШІ-модель для створення звуку до відео

Google розробляє ШІ-модель для створення звуку до відео

22 дні назад

Google DeepMind представив технологію на основі ШІ V2A, яка автоматично створює аудіо для відео без текстових підказок, пише Mashable. Ми вибрали головне.

Що сталося

Компанія Google DeepMind розробляє технологію на базі ШІ для створення саундтреків до відео. Технологія V2A (video to audio) створена для автоматичного генерування музики, звукових ефектів та діалогів для відео на основі текстових описів.

V2A працює, використовуючи модель, яка навчається на основі візуальних даних, мовних підказках та відеоанотаціях, щоб перетворювати випадковий шум у звук, що відповідає тону та контексту відео.

У компанії кажуть, що нова технологія може розпізнавати зображення, тому текстові підказки не потрібні, але вони можуть допомогти зробити звук точнішим. DeepMind вже опублікував кілька відео, серед яких:

  • відео темного, моторошного коридору, що супроводжується музикою жахів;
  • самотнього ковбоя на заході сонця під приємну мелодію губної гармошки;
  • анімовані фігури, які розповідають про свою вечерю.

Окрім того, V2A використовуватиме водяні знаки Google SynthID для захисту створеного вмісту від підробки. Наразі нова технологія перебуває на етапі тестування.

Чому це цікаво

Google працює над розробкою мультимодальної генеративної технології ШІ, щоб конкурувати з іншими компаніями:

  • OpenAI має свій ШІ-генератор відео Sora (ще не випущений) і GPT-4o.
  • Meta і Suno вже вивчають аудіо та музику, створені ШІ, але поєднання аудіо з відео є відносно новим.
  • ElevenLabs має подібний інструмент, який поєднує аудіо з текстовими підказками, але DeepMind стверджує, що V2A відрізняється тим, що не потребує текстових підказок.
22
0
Дивіться також
Початок робочого дня, ви сідаєте за комп’ютер і очікуєте, що будете продуктивним, виконаєте основні завдання і навіть ще кілька не ...
Почали робити важливий проєкт, а раптом виявили себе на сторінці Вікіпедії про пташку ківі? Чи мали глянути одне корисне відео ...
росіяни влучили ракетою в «Охматдит». Український бізнес розпочав ініціативи, аби допомогти лікарні та постраждалим, внаслідок ракетного обстрілу росіян. ...