Технологии продолжают стремительно расти, опираясь на несколько областей для изучения новых возможностей и функций. Один из них заключается в том, чтобы иметь возможность «реконструировать» лицо человека с помощью фрагмента голоса.
Исследование Speech2Face, представленное в 2019 году на конференции Vision and Recognition Patterns, показало, что искусственный интеллект (ИИ) может расшифровать внешность человека с помощью коротких аудиофрагментов.
В статье поясняется, что целью исследователей Тэ Хён Он, Тали Декел, Чангила Кима, Инбара Моссери, Уильяма Т. Фримена и Майкла Рубинштейна из исследовательской и научной программы Массачусетского технологического института является не идентичная реконструкция лиц людей, а создание изображения с физическими характеристиками, связанными с анализируемый звук.
Для этого они использовали, спроектировали и обучили глубокую нейросеть, которая анализировала миллионы видео, снятых с YouTube, где люди разговаривают. Во время обучения модель научилась соотносить голоса с лицами, что позволило ей создавать изображения с физическими характеристиками, похожими на говорящих, включая возраст, пол и этническую принадлежность.
Тренинг проводился под наблюдением и с использованием совпадения лиц и голосов интернет-видео, без необходимости моделирования подробных физических характеристик лица.
Они уточнили, что, поскольку в этом исследовании могут быть аспекты, чувствительные к этнической принадлежности, а также к конфиденциальности, к воссозданию лиц не было добавлено никаких конкретных физических аспектов, и они гарантируют, что, как и любая другая система машинного обучения, оно улучшается с течением времени, поскольку при каждом использовании расширяет библиотеку знаний.
Хотя тесты показали, что Speech2Face имеет большое количество совпадений между лицами и голосами, он также имел некоторые недостатки, когда этническая принадлежность, возраст или пол не соответствовали используемой выборке голоса.
Модель предназначена для представления статистических корреляций, существующих между чертами лица и голосом. Следует помнить, что искусственный интеллект учился через видеоролики YouTube, которые не представляют реальную выборку населения в мире, например, на некоторых языках он показывает расхождения с данными обучения.
В этом смысле само исследование рекомендует в конце своих результатов тем, кто решит исследовать и модернизировать систему, рассмотреть более широкую выборку людей и голосов, чтобы машинное обучение имело более широкий репертуар сопоставления и воссоздания лиц.
Программа также смогла воссоздать голос в мультфильмах, которые также имеют невероятное сходство с голосами анализируемых аудиозаписей.
Поскольку эта технология также может быть использована в злонамеренных целях, воссоздание лица остается максимально близким к человеку и не дает полных лиц, поскольку это может быть проблемой для частной жизни людей. Тем не менее, было удивительно, что технология может сделать из аудиообразцов.
ПРОДОЛЖАЙТЕ ЧИТАТЬ: