Искусственный интеллект по саундтреку определяет жанр фильма
Ученые из Университета Калифорнии в Витерби под руководством профессора Шриканта Нараянана провели исследование, чтобы объективно изучить влияние музыки на кинематографические жанры. Цель работы - определить, могут ли технологии на основе искусственного интеллекта предсказать жанр фильма, основываясь только на саундтреке.
В своем исследовании группа изучила набор данных из 110 популярных фильмов, выпущенных в период с 2014 по 2019 год. Они использовали классификацию жанров, указанную в базе данных Internet Movie Database (IMDb), чтобы обозначить каждый фильм как боевик, комедию, драму, ужасы или мелодраму.
Затем они применили сеть глубокого обучения, которая извлекала слуховую информацию, такую как тембр, гармония, мелодия, ритм и тон из музыки и партитуры каждого фильма. Она использовала машинное обучение для анализа этих музыкальных характеристик и оказалась способной точно классифицировать жанры каждого фильма только на основе этих характеристик.
Ученые также интерпретировали эти модели, чтобы определить, какие музыкальные особенности больше всего указывают на различия между жанрами. В моделях не указывалось, какие типы нот или инструментов были связаны с каждым жанром, но они установили, что тональные и тембральные характеристики наиболее важны для прогнозирования жанра фильма.
Интуитивно понятно, что в саундтреках разных жанров фильмов используются определенные музыкальные элементы. В ромкомах встречаются богатые струнные отрывки и лирические мелодии, а фильмы ужасов полны тревожных, пронзительных частот и пугающе диссонирующих нот.
Однако ученые решили найти количественные доказательства того, что элементы саундтрека фильма можно использовать для того, чтобы охарактеризовать жанр фильма. Они первыми применили модели глубокого обучения к саундтреку, чтобы понять, может ли компьютер предсказать жанр фильма только на основе музыки. Оказалось, что ИИ действительно может точно классифицировать жанр фильма с помощью машинного обучения. Исследование подтвердило предположение ученых о том, что саундтрек к фильму сильно влияет на то, как люди воспринимают разные картины.
