Код фабулы: студент ЛЭТИ разработал алгоритм для создания трейлера художественного фильма

С 7 по 10 ноября в рамках VII Международной конференции «Обработка сигналов изображения и звука в контексте нейротехнологий» SPCN 2022 СПбГЭТУ «ЛЭТИ» прошел онлайн-хакатон по на тему использования технологий искусственного интеллекта в кино. Участниками мероприятия стали 12 междисциплинарный команд из СПбГЭТУ «ЛЭТИ», Санкт-Петербургского государственного института кино и телевидения, Северо-Западного государственного медицинского университета им. И.И. Мечникова, Технологического университета им. дважды Героя Советского Союза, лётчика-космонавта А.А. Леонова, Российского национального исследовательского медицинского университета имени Н.И. Пирогова и Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича.

В течение трёх дней команды в составе двух режиссёров и одного программиста должны были разработать алгоритм автоматического аудиовизуального аннотирования кинофильмов – короткий трейлер. Студенты выполняли поставленную задачу на художественном фильме «Дылда» режиссера Кантемира Балагова.

«Просмотр последовательности ключевых видеофрагментов позволяет быстро получить представление о фабуле, сюжете, героях кинофильма. Аудиовизуальное аннотирование кинофильмов позволяет создать «витрину» для фильмофондов, в которых хранится накопленная за столетие бесценная, но недостаточно широко известная кинематографическая память деятельности человечества», – отмечает заместитель директора департамента образования СПбГЭТУ «ЛЭТИ» Константин Францевич Гласман.

Над проектом команда работала следующим образом: режиссеры формировали техническое задание программисту, в котором подробно описывали те кадры и сцены, которые должны присутствовать в разрабатываемом трейлере. Далее с помощью кода в системе Python программист описывал алгоритм, который режиссеры запускали через специальное приложение и выполняли работу по монтажу самого трейлера.

По оценкам жюри, команда в составе студента 2-го курса ФКТИ СПбГЭТУ «ЛЭТИ» Евгения Григорьева и студентов СПбГИКиТ Михаила Кетова и Владимира Симоновича, заняла 3 место. Работы команд оценивали руководитель научного и образовательного направлений СПбГЭТУ «ЛЭТИ» Михаил Степанович Куприянов и руководитель акселерационной программы «Стартапы LETI» Александра Сергеевна Прошкина.

«Работать с данными можно по-разному – можно работать с картинками, можно с цифрами, у нас очень много информации для того, чтобы понять, где тебе больше нравится работать. Благодаря этому хакатону мне удалось поработать в области компьютерного зрения, что дало мне большой опыт и понимание особенностей этого направления»

Студент 2-го курса ФКТИ СПбГЭТУ «ЛЭТИ» Евгений Григорьев
Участники онлайн-хакатона получили возможность реализовать предложенное решение в программе «Стартапы LETI».

Онлайн-хакатон проводился при поддержке АНО «Платформа НТИ» и «Платформа университетского технологического предпринимательства». Партнерами хакатона по направлению «Моделирование процесса художественного творчества» выступили Институт физиологии им. И.П. Павлова РАН, компания «Невафильм», Высшая школа киноинженеров и профессор, почетный доктор Санкт-Петербургского государственного института кино и телевидения Себастьян Моритц.