Суперкомпьютер помог ученым понять принципы джазовой импровизации
Ученые надеются использовать суперкомпьютеры для исследования сложных сетей, лежащих в основе творчества в языке и музыке. Они утверждают, что мозг часто подходит к творчеству, сначала полагаясь на простые вещи, а затем уже исследует более сложные и более творческие концепции.
Даже великие джазмены чувствуют, что за музыкальной импровизацией скрывается секрет. Джазовый трубач Уинтон Марсалис говорил, что "В джазе импровизация - это не просто придумывание чего-то старого. Джаз, как и любой язык, имеет свою грамматику и словарный запас".
Теперь команда исследователей под руководством Пенсильванского университета использует суперкомпьютер Roar Института вычислительной техники и наук о данных (ICDS), чтобы попытаться расшифровать грамматику и словарный запас, который использует мозг, чтобы музыканты могли на лету раскручивать новые музыкальные идеи.
По словам Ханны Мерсил, аспиранта в области когнитивных наук и члена Лаборатории когнитивной нейробиологии творчества, разгадка может заключаться в объяснении того, насколько мозг легко включается в поток творческой деятельности. Мерсил, когда-то руководившая джаз-фанк-группой, впервые заинтересовалась связью между мозгом и творческими способностями после собственного опыта на сцене в качестве кларнетистки.
По словам Мерсил, во время импровизации, мозг музыкантов занят управлением комбинацией умственных действий - от активации памяти до участия в управлении моторикой и вниманием. И все это под бдительным взглядом и критическими ушами аудитории.
Чтобы справиться с когнитивной нагрузкой, исследователи предполагают, что джазовые музыканты могут начать импровизированное соло, прибегая сначала к простым, надежным музыкальным фразам. Позже, в соло, они превращаются в более сложные пассажи. По словам ученых, это служит хорошей "дорожной картой" того, как мозг подходит к другим творческим начинаниям - например таким, как речь и письмо.
"Мы в основном думали об импровизации как о чем-то, что называется иерархическим поведением. Это то, что происходит в режиме реального времени и организовано таким образом, что меньшие фрагменты подпадают под более крупные, что также похоже на то, как работает язык", - объяснила ученый.
Музыканты также могут полагаться на "фрагменты" музыки, что может быть еще одним способом, с помощью которого мозг справляется со значительной когнитивной нагрузкой во время соло.
"Когда мы думаем об импровизации, мы в основном думаем об исполнителях, которые исполняют небольшие фрагменты музыки - например, музыкальные ноты, которые они хранят в памяти. Они разбивают эту информацию таким образом, чтобы ее было легко хранить и переупорядочивать", - добавила Мерсил.
По словам Роджера Бити, доцента психологии и главного исследователя Cognitive, исследования творческих начинаний, а не только музыки, позволили взглянуть на роль памяти в творчестве и, в частности, на то, как мозг использует сети ассоциаций для подпитки творчества.
"Наши воспоминания могут организовывать категории вещей, объединяя их вместе, и мы можем смоделировать это как определенную структуру. Ранее проводились исследования по моделированию сетей и семантической памяти. Совсем недавно мы, и некоторые из наших коллег, пытались проверить это, используя вычислительные подходы науки о сетях".
Анализ великих джазовых исполнителей
Чтобы изучить эти музыкальные структуры, исследователи проанализировали базу данных соло из Weimar Jazz Database, в которой представлены некоторые отрывки из импровизаций величайших джазменов мира, таких как саксофонисты Чарли "Берд" Паркер и Джон Колтрейн, а также легендарный трубач Майлз Дэвис. В ходе первоначального анализа исследователи определили сложность последовательностей в течение каждой музыкальной фразы и обнаружили, что уровень сложности увеличивается в течение большинства фраз, подобно структурам easy-first, встречающимся в языке.
Затем команда разбила эти соло на пять последовательностей нот, чтобы создать большую структуру со всеми нотами, использованными артистами в базе данных. В ходе эксперимента исследователи попросили участников оценить родство музыкальных идей и обнаружили, что эти оценки соответствуют расположению последовательностей в структуре. Эти результаты дают первое представление о том, как импровизированные мелодии могут храниться в памяти.
Для анализа этого большого объема данных на стандартном компьютере потребовались бы недели: исследовательская группа смоделировала огромную сеть, содержащую тысячи узлов, требующую обширной компьютерной памяти и вычислительной мощности. Поэтому команда решила провести исследования на суперкомпьютере Penn State Roar.
По словам Бити, сетевая наука и суперкомпьютеры дают ученым возможность исследовать другие области творчества. Например, лаборатория применяет аналогичный подход к поиску признаков творчества среди писателей с помощью концепции под названием "семантическая дистанция", которая очень похожа на игру словесных ассоциаций.
"Один из распространенных способов измерения креативности, который мы используем, - это проведение конкурсов словесных ассоциаций, и тех, кто может придумать более отдаленные ассоциации, мы можем считать их более творческими", - рассказал Бити.
Команда создала веб-сайт SemDis на основе этой работы, выполненной на ROAR, что позволяет другим ученым и преподавателям самостоятельно исследовать творческие способности.
По словам Мерсил, работа над музыкальной импровизацией находится на стадии проверки концепции. В 2022 году она планирует изучить реальный мозг музыкантов во время импровизации.
Команда будет использовать технологии нейровизуализации или сканирования мозга, такие как магнитно-резонансная томография (МРТ), чтобы наблюдать, как мозг музыкантов реагирует во время игры. По словам Мерсил, технология может дать представление о роли, которую разные стили и уровни музыкального мастерства играют в импровизации.
"Я очень рада провести целевую выборку начинающих и опытных импровизаторов, а также классических музыкантов, чтобы мы действительно могли вникнуть в это и увидеть, чем отличаются эти сети и какие стратегии они используют", - отметила Мерсил.
Узнать больше о суперкомпьютере Roar и исследованиях, которые он поддерживает, можно здесь.
