Данные, меняющиеся со временем, например, тенденции изменений цен на акции или температуры Земли, обычно представлены в графиках и диаграммах. Но это скучно! Как было бы интересно, если бы можно было услышать внезапное падение цены акций или устойчивое повышение глобальных температур? Встречайте сонификацию —преобразование данных в звуковые волны. Джиорджия Гульельми (Giorgia Guglielmi) из Science расспросила Марка Баллара (Mark Ballora), эксперта по музыкальным технологиям из Университета штата Пенсильвания, который использует сонификацию для создания симфоний из научных данных.
Сын архитектора и пианиста, выросший в 1960-х годах неподалеку от Сан-Франциско, Калифорния, Баллара жил и дышал музыкой, играл на фортепиано, слушал записи Beatles и ходил на концерты Grateful Dead. А в последние 20 лет он сотрудничал с десятками ученых, чтобы превращать все виды данных в музыку — от энергии, излучаемой нейтронной звездой, до цикла температуры тела арктических белок. В июне 2017 года Баллора получил два гранта в размере $50 000 долларов, чтобы помочь морским биологам перевести в звук данные, полученные в глубинах океана.
Вопрос: Почему вы начали преобразовывать данные в звук?
Ответ: Это было результатом счастливой случайности. В течение первого года аспирантуры физиолог спросил меня, не будет ли мне интересно сделать звук из данных вариативности сердечного ритма. Я не понял, о чем идет речь, но это звучало отлично. [Вот как звучит здоровое сердце, а вот сердце, которое не качает кровь как должно.]
В: Как вы определяете тип звука для конкретного набора данных?
О: Это художественная часть моей работы. Первый шаг — познакомиться с данными и понять, что они значат, что на самом деле очень интересно: я встречаюсь со всеми этими учеными и узнаю, чем они занимаются. Второй шаг — выяснить, какой звук соответствует этим данным. Когда я работал над солнечным ветром, я создал смещающийся, мерцающий звук. Для тропических штормов мне нужен был вихревой шум, который звучал бы как торнадо.
Как звучит солнечный ветер
В: Какой проект был самым забавным?
О: Было здорово работать с Микки Хартом (Mickey Hart — бывший перкуссионист Greatful Dead) над «Ритмами Вселенной» (Rhythms of the Universe), фильмом, который он сделал с Джорджем Смутом (George Smoot), космологом и лауреатом Нобелевской премии. Я должен был превратить для них в музыку всевозможные данные: солнечный ветер, солнцетрясения (по аналогии с землетрясениями), электромагнитные резонансы Земли — электромагнитные волны, которые образуются между поверхностью Земли и ее верхней атмосферой. Также было представлено движение планет в Солнечной системе, сигнал от вращающейся нейтронной звезды, гравитационные волны, растягивающие пространство-время. Это было просто замечательное разнообразие вещей для работы, очень яркий набор данных. Вот как звучит нейтронная звезда.
В: Какая самая интересная часть вашей работы?
О: Когда я проигрываю озвученные данные, слушатели иногда говорят «Ого, это дает мне совершенно иное представление об этих наборах данных». Это похоже на добавление звука к фильму: он переносит вас в этот мир, и это делает его куда более ощущаемым явлением. Слушать данные не должно быть экзотикой. Думаю, мы должны попытаться объединить образовательные программы, чтобы молодые люди росли, рассматривая науку как нечто, что вы слушаете, так же, как и смотрите. Как люди, мы все реагируем на музыку — если мы можем использовать это для науки, есть реальная возможность дать студентам гораздо более интуитивное понимание материала, чем они могли бы получить только от визуальной репрезентации.
В: На что вы будете использовать гранты, полученные от Keck Futures?
О: В следующем году я буду работать с Карен Вишнер (Karen Wishner), морским биологом из Университета Род-Айленда, у которой есть некоторые данные о кислороде и температуре в экологически чувствительных регионах океана. Одна группа ее учеников получит только визуальную часть, а другая группа получит и изображение, и звук. Тогда эксперты в области естественнонаучного образования оценят различия в том, что студенты смогут извлечь из всего этого. Мы так многого не знаем о том, что происходит под водой, и качество наших океанов — весьма насущная проблема с точки зрения здоровья планеты. Если общественность хорошо разберется в этом вопросе, то поддержит разработку продуманной политики в этой области.
В: Используют ли ученые сонификацию, чтобы лучше изучить свои данные?
О: Это еще не распространенная практика, и над этим я как раз работаю. Я много говорю о переводе данных в музыку для целей популяризации, но это еще не все. Например, Ванда Диаз Мерсед (Wanda Diaz Merced), астрофизик в Южноафриканской астрономической обсерватории в Кейптауне, потеряв зрение, работала с программистами, чтобы придумать способ прослушать свои данные. Теперь она может работать на том же уровне, на котором она могла бы работать, когда еще видела, и она сумела обнаружить наличие электромагнитных волн, вызванных обменом энергией между частицами во время высокоэнергетических взрывов звезд — никто этого не замечал, глядя только на графики. Оказывается, теперь многие из ее зрячих коллег используют программное обеспечение для сонификации, потому что часто встречаются закономерности, которые легче услышать, чем увидеть.
В: Вы даете концерты, представляя свои звуки?
О: Пока нет, но когда-нибудь я это сделаю. Сначала я хотел бы показать, что сонификация помогает студентам учиться, а ученым — работать. Как только я убедительно продемонстрирую, я смогу больше думать как композитор и давать концерты. У меня так много музыки из данных, с которыми я работал. Поэтому, возможно, когда мне будет 60-70 лет, я буду работать над этим.
[Иллюстрации: Patrick Mansell/Penn State и NASA/Dana Berry]
