Как нижегородские IT-инженеры при помощи компьютерного зрения создают 3D аватары и модели органов по двухмерным изображениям

Небольшая камера перед лицом актёра захватывает малейшие нюансы мимики и движения лица. Далее преобразование в анимацию и создание реалистичного образа Аватара в одноимённом фильме. Проще говоря, компьютер наделён способностью «видеть» и извлекать информацию из увиденного.

Вадим Турлапов, профессор Института информационных технологий, математики и механики ННГУ им.Н.И.Лобачевского: «Смотреть — это воспринимать сенсорами то, что должно восприниматься. Видеть — это уже обработать то, что воспринято, записано и принять решение».

Это и есть компьютерное или машинное зрение. С помощью алгоритмов машины, получая изображение, обрабатывают его, распознают элементы, их закономерности и выдают результат. Заставить машину проводить такие сложные аналитические действия одновременно, впервые удалось в Нижнем Новгороде. Виктор Ерухимов, один из тех, кто стоял в начале обучения компьютеров зрению, создавая базу методов и алгоритмов — OpenCV

Виктор Ерухимов, директор компании по созданию 3D аватаров: «Фактически, всё что делается с изображением, оно всегда делается на основе OpenCV. То что вы видите в мобильных телефонах, когда делаете фотографию, лицо детектируется — это алгоритм, который был создан в начале 2000-х. Задачи, связанные с безопасностью дорожного движения: детектирование пешеходов, детектирование опасности столкновения с машиной впереди, детектирование отклонения машины от своего ряда».

То, что сначала казалось простой задачей, оказалось, потребовало десятилетия исследований. В первую очередь в работе нейронных сетей, которые и составляют основу машинного зрения.

Евгений Васильев, преподавать кафедры «МОСТ» ИИТММ ННГУ им. Н.И.Лобачевского: «Алгоритмы старались вручную искать признаки, вручную разработчики задавать, что это маленькая на четырёх ножках — это кошка, большая — это собака. А после барьера 14-15 года пошло активное развитие алгоритмов, когда компьютер сам эти признаки выделяет».

Область применения компьютерного зрения обширна. От безопасности — распознавание лиц, до образования и даже медицины, когда, имея результаты анализов, компьютер может построить визуальную модель патологии того или иного органа. В последней сфере нижегородские айтишники тоже опередили время.

Николай Золотых, директор Института информационных технологий, математики и механики ННГУ им.Н.И.Лобачевского: «Наиболее выдающиеся результаты достигнуты как раз группой профессора Турлапова. Он специализируется в области обработки биомедицинских изображений и биомедицинских видео и здесь его результаты одни из лучших в мире».

А единственная в мире лаборатория по созданию трёхмерных — аватаров по двухмерной фотографии так же находится в Нижнем Новгороде. Так что будущее, снятое Джеймсом Кэмероном, уже почти реально на нижегородской земле.

16 апреля 2021 года. Издание «Нижний Новгород сегодня» (видео)