AI перевод Google теперь может имитировать голос  фото
Новости

AI перевод Google теперь может имитировать голос


AI Google продолжает улучшать свой языковой перевод и, вместе с улучшенной семантической эффективностью, сохраняет внимание к деталям. Это касается голосовых функций программного обеспечения. Технология теперь способна не только воспроизводить звук перевода, но и дублировать оригинальный тон и тембр человека. Конечный результат не идеален, но, безусловно, создается впечатление, что голос говорящего был воссоздан довольно успешно, это видно из материала по теме в TechnologyReview.

Это происходит за счет изменения традиционных методов систем перевода, которые преобразуют звук в текст, затем переводят его в звук и затем повторно синхронизируют звук. Таким образом, характеристики исходного голоса теряются. Именно здесь появляются инновации Google, связанные с прямым преобразованием звука без промежуточных шагов.

Новая система называется Translatotron и состоит из трех компонентов, каждый из которых отслеживает звуковую спектрограмму (визуальное изображение частот, используемых для воспроизведения звука) динамика.

Первый компонент использует нейронную сеть, которая соответствует аудиограмме на входе и выходе. Второй преобразует спектрограмму в звуковую волну, а третий позволяет вокальным характеристикам исходного громкоговорителя перематываться обратно на выходной аудиосигнал.

Этот подход не только создает более тонкие переводы, сохраняя при этом важные невербальные сигналы, но и теоретически он также должен минимизировать ошибку перевода, поскольку сводит задачу к выполнению меньшего количества шагов.

До настоящего времени Translatotron был проверен на перевод только с испанского на английский.

Не менее интересные публикации