Впечатляющая программа искусственного интеллекта, воссоздающая лица из аудио

Speech2Face - это исследование, которое показало, что узнать, как выглядит лицо человека, можно с помощью небольшого фрагмента его голоса.

Технологии продолжают стремительно расти, опираясь на несколько областей для изучения новых возможностей и функций. Один из них заключается в том, чтобы иметь возможность «реконструировать» лицо человека с помощью фрагмента голоса.

Исследование Speech2Face, представленное в 2019 году на конференции Vision and Recognition Patterns, показало, что искусственный интеллект (ИИ) может расшифровать внешность человека с помощью коротких аудиофрагментов.

В статье поясняется, что целью исследователей Тэ Хён Он, Тали Декел, Чангила Кима, Инбара Моссери, Уильяма Т. Фримена и Майкла Рубинштейна из исследовательской и научной программы Массачусетского технологического института является не идентичная реконструкция лиц людей, а создание изображения с физическими характеристиками, связанными с анализируемый звук.

Для этого они использовали, спроектировали и обучили глубокую нейросеть, которая анализировала миллионы видео, снятых с YouTube, где люди разговаривают. Во время обучения модель научилась соотносить голоса с лицами, что позволило ей создавать изображения с физическими характеристиками, похожими на говорящих, включая возраст, пол и этническую принадлежность.

Тренинг проводился под наблюдением и с использованием совпадения лиц и голосов интернет-видео, без необходимости моделирования подробных физических характеристик лица.

Они уточнили, что, поскольку в этом исследовании могут быть аспекты, чувствительные к этнической принадлежности, а также к конфиденциальности, к воссозданию лиц не было добавлено никаких конкретных физических аспектов, и они гарантируют, что, как и любая другая bсистема машинного обучения, оно улучшается с течением времени, поскольку при каждом использовании расширяет библиотеку знаний.

Хотя тесты показали, что Speech2Face имеет большое количество совпадений между лицами и голосами, он также имел некоторые недостатки, когда этническая принадлежность, возраст или пол не соответствовали используемой выборке голоса.

Модель предназначена для представления статистических корреляций, существующих между чертами лица и голосом. Следует помнить, что искусственный интеллект учился через видеоролики YouTube, которые не представляют реальную выборку населения в мире, например, на некоторых языках он показывает расхождения с данными обучения.

В этом смысле само исследование рекомендует в конце своих результатов тем, кто решит исследовать и модернизировать систему, рассмотреть более широкую выборку людей и голосов, чтобы машинное обучение имело более широкий репертуар сопоставления и воссоздания лиц.

Программа также смогла воссоздать голос в мультфильмах, которые также имеют невероятное сходство с голосами анализируемых аудиозаписей.

Поскольку эта технология также может быть использована в злонамеренных целях, воссоздание лица остается максимально близким к человеку и не дает полных лиц, поскольку это может быть проблемой для частной жизни людей. Тем не менее, было удивительно, что технология может сделать из аудиообразцов.

ПРОДОЛЖАЙТЕ ЧИТАТЬ:

Más Noticias

Дебанхи Эскобар: они обезопасили мотель, где ее нашли безжизненной в цистерне

Сотрудники специализированной прокуратуры Нуэво-Леона обеспечили охрану мотеля Nueva Castilla в рамках расследования этого дела

Самый старый человек в мире умер в возрасте 119 лет

Кейн Танака жил в Японии. Она родилась на шесть месяцев раньше Джорджа Оруэлла, в тот же год, когда братья Райт впервые совершили полет, а Мари Кюри стала первой женщиной, получившей Нобелевскую премию

Жуткая находка в CDMX: они оставили тело в мешке и связали в такси

Кузов оставили на задних сиденьях автомобиля. Он был покрыт черными мешками и перевязан промышленной лентой

«Орлы Америки» сразятся с «Манчестер Сити» в дуэли легенд. Вот подробности

Лучший мексиканский чемпион по футболу сыграет матч с командой Пепа Гвардиолы в Кубке Lone Star

ФБР провело обыски в домах российского магната, связанного с Путиным до войны

Картина Диего Риверы. Пара обуви Prada. Бейсболка.