いろんなデータが、見えるどころか「聴ける」いま。データを音に変換する取り組みは近年、どんどん増えている。いまでは、日々の気温や風速といった気象データから、この街に住む人口、歩数といった身近なデータまでさまざまだ。
ところで、データが聴けるというのはどういうことなのか。どうやって聴いたら楽しめる？データが聴けることによってなにが変わる？データを使用する作曲にセンスって、いる？
NYを拠点に、世界各地のシーンを独自取材して発信するカルチャージャーナリズムのメディア『HEAPS Magazine（ヒープスマガジン）』が、Always Listening読者の皆さまへ音楽にまつわるユニークな情報をお届けします。
心電図も。以外と身近なデータソニフィケーション
データを聴こえるようにすること（＝可聴化）は基本的に「データソニフィケーション」と呼ばれる。視覚的なものをよりわかりやすくしたり、科学のデータをより多くの人が触れられるようにできたりといった期待が寄せられる。
科学の分野では、基本的に写真や図、グラフといった視覚を通じて理解する統計やデータが多いが、視覚障害者のデータアクセシビリティの改善に向けた動きがあり、その一つにデータソニフィケーションがある。先駆けとなるのが天文学の分野で、科学、地層学、気候科学などがあとに続く。天文においてわかりやすい例をあげると、視覚健常者は「宇宙」を写真などから広がりをもってイメージすることができるが、宇宙の音を可聴化することで視覚障害者も宇宙へのイメージをもつことができる、などだ。
さて、どのようにデータを聴こえるようにするのか。基本的には、データを一定の規則に基づいて音に変換（いわゆる、音をエンコードする、というものだ）する。人は、データを読むよりも聴く方が速く処理できるといわれ、見えないものを音にすることで微細な観察を耳から可能にするという。NASAの活動でも早くからこのデータソニフィケーションを用いており、研究者によっては、データを見るよりも聴くほうを好む人もいるとか。
以前、コロナ禍に、COVID-19のウイルスを可聴化したMITの教授に取材をしたが、こう話していた。「私たちの脳は音を処理するのが得意です。人間の耳は、音程、音色、音量、メロディ、リズム、和音といった階層的な特徴をすべて一度に拾いあげます。一方で、視覚イメージで同じような詳細を見るのなら、高出力の顕微鏡が必要となる。音は、物質に保存されている情報にアクセスするためのとても優雅な方法なのです」
見るよりも「聴いてわかる」例。心電図も？
次のような例をあげると、データソニフィケーションを身近に感じるかもしれない。
データのソニフィケーションは20世紀にはじまったとされ、最も古い例の一つには1920年代につくられた「ガイガー・カウンター」だ。原子力発電所などで放射能の測定に使われる線量計のひとつで、カカカといった音で放射線の存在を示し、高濃度汚染地域に近づくと反響音が鳴るあれだ。これは、「放射線が感知されました」や「〇〇の放射線量です」といった情報が文字や音声アナウンスで示されるよりも、危険性が感覚的にわかると思う。もう一つ身近な例には「心電図モニタの音」があげられる。心拍のタイミングをアラーム音で知らせ、鼓動によってリズムが変化するといったシンプルなものだが、確かに心電図だけでなく音をくわえたほうが鼓動の動き・状態はわかりやすい。
宇宙の情報や株価の変動をわかりやすくデータ化
近年ではNASAが天体望遠鏡で捉えた情報を可聴化したり、ニューヨーク株式市場の値動きを音列に変えることで、動向の予測に役立てたりと、データ分析の技術向上で可聴化も格段に進歩・洗練されている。
とはいえ、まだまだ課題は残る。まず、音の意味に関して「まだ基準がない」こと。音を聴いたときにその音や高低差、リズムにおいて、人が受け取る意味や感じかたはそれぞれであるため、まだまだ線グラフや円グラフのように万人が共通理解をもって受け取れるものではない。
とはいえ、これまで、そもそも一般の人にとっては難解すぎたデータや、視覚では理解できないものなどが音になることで、私たちを取り巻く世界への理解への扉がまた開く可能性はある。
NASAが公開するものをはじめ、宇宙の情報に基づくソニフィケーションは人気があり、YouTubeやSoundCloudで人気で数億回再生されているなど、一般の人にもだいぶ知られてきている。7年前のスタンフォード大学の研究者による「1200年分の気候データ」を音に変換したものも再び話題になった。「悲鳴のような音」は確かに、データよりも確実に危機的な響きをもって聴こえる。
そんなデータソニフィケーションについて、聴き方・つくり方など、初歩的なことが知りたい。今回は、自身もデータソニフィケーションをおこなうアーティストであり、米バージニア・コモンウェルス大学にて学生にデータ・ソニフィケーションの教鞭をとるサラ・ブシャード（Sara Bouchard）氏に、生徒になった気持ちで聞いてみた。
最近、データソニフィケーションという言葉をあちこちで聞くようになりました。簡潔に言うと「データを可聴化する」。これはどういうことですか？
データ情報をグラフに起こし目で見るのと同じように、情報を音にエンコード（一定の規則に従って符号化する）して、「音」として聴けるようにすることです。データを「グラフで見られるようにする」というのに近いと思ってください。
ソニフィケーションにも種類はいろいろありますよ。たとえば、NASA。太陽などの波の測定値を高速化し、私たちが聴けるスピードにするものがありますが、これは特に「モディフィケーション（modification）」と呼ばれています。
一般的にソニフィケーションといった場合に多いのは「パラメータマッピング」と呼ばれるタイプです。データや数値の集合体の計算表があるとしましょう。データや数値には、高低の範囲がありますよね。それを音の高低にマッピングしていくものです。まずは一つの数値をピアノの一音に決める。そしてそのほかの個々の値を、高低差をもとにピアノの高低差に当てはめてマッピングしていきます。
つまり音の高低差はデータや数値の高低の範囲ということなのですね。それを知るだけでも、ソニフィケーションの聴き方がわかりますね。音楽からデータを想像してみる、というか。そのプロセスについて質問ですが、まずデータを可視化してそこに音を当てはめていく、という作業のイメージであっていますか？
そうとは限りません。データを一度視覚化することはソニフィケーションに役立ちますし、過去にはその方法でおこなったこともあります。が、単純に数値を取ってそれらに音程を割り当てればいいのであって、必ずしも事前にデータを視覚的に確認する必要はありません。
データソニフィケーションをいくつか見てみたところ、環境に関するデータに基づいたものが多いようですが、データソニフィケーションにはどんなデータでもいいのですか？
まず、公開されているものが多く、利活用しやすいという点も含めて、環境データはソニフィケーションに非常に適しています。NOAA（米国海洋大気庁）がオンラインで公開している膨大な気候データも見つかりますよ。数十年前から今日までのデータをダウンロードもできるのです。ちなみに、気温の数値はMIDIの数値と簡単に一致します。そういった点では楽器や機材との相性もありますね。MIDI（Musical Instruments Digital Interfaceの略。シンセサイザーなどの電子音楽器同士を接続する統一規格）を使っている人ならわかると思いますが、MIDIは基本的に数値セットなので数値の変換も容易です。そのほか、政府機関が作成したデータセットも見つけやすいですよ。政府機関はオープンソースのデータを持っています。たとえば人口に関するデータや、歴史的なデータ、国勢調査のようなもの、農業や金融に関するものなど、さまざまなデータがたくさんあります。
そういった公式のデータはオンラインで見つけることができますよね。ただ、見つけても解読がかなり難しいものも多い。そういったものをわかりやすいインフォグラフィックにするなどの可視化が増えました。そしていま可聴化。最近のソニフィーケーションには、公開されたデータを使うことが多いのでしょうか？
私が大学で教えているデータソニフィケーションのクラスでは、学生たちに自分たちの日常生活からデータを収集してもらいました。 ある学生は、手を洗うたびにそれを記録しました。どんなものでもいいと思ってください。記録してログを取ればそれを音に変換できるのです。
データを扱うという点でいえば、データサイエンスの知識は必要ですか？
いい質問ですね。これも必須ではない、と言ってしまいましょう。
なんと。ハードルがだいぶさがりますね。
私自身、データサイエンスのバックグラウンドがあるとは言えません。最近は生物学の教授と研究室で共同作業をしているのですが、データの収集と編集の科学についてもう少し学んだ方がいいかなと思いはじめているところです。
もちろん、音楽やデータサイエンスについて詳しい人が作ればさらにいい作品になる可能性はあります。いい作品をつくるには、データに埋め込まれたストーリーについて考える必要があると思います。大きなデータセットを扱うことに慣れて「データが何を言わんとしているのか」を理解する必要があると感じています。
音楽的な知識はどうでしょう？
私自身はかなり幅広い音楽的なバックグラウンドがありますが、なくてもできます。私のクラスでは、音楽的なバックグラウンドや知識のない生徒でも電子音楽をつくることができました。自然の中からメロディを見つけたり、なにかの数値を使ったり。音楽理論に対する心配も「必要ない」といえます。いまでは、データを音に変換できるオンラインツールもありますし。
初心者でも簡単に扱えるツールがあれば教えてください。
私がいま使っているお気に入りのソフトウェアはSonic Piという、ライブコーディングソフトです。コードを入力するとそれが再生されます。ソニフィケーション用のテンプレートは組み込まれていませんが、コンピューター言語のRuby（ルビー）で構築されているものです。もっと簡単なものだとTwoToneというウェブサイトもあります。 これは初心者にもおすすめできます。
使う楽器や機材なども、デジタルでなくとも何でもよいのですか？
ええ、もちろんです。本当になんでもありです。先に述べたように、データの高低差をそのままピアノの高低差にあてはめて演奏するといったやり方もあります。私はもともとフォークソングのシンガーソングライターなので、アコースティックギターを使って実施したこともあります。あと、基本的に私のデータソニフィケーションはメロディックになることが多いですね。
教授ご自身が最初にソニフィケーションの作品をつくったきっかけは？
自然界にメロディラインを見出すことに興味を持ちはじめたことがきっかけでした。当時ニューヨークに住んでいたのですが、1月の天候が本当に極端だったんです。ある日の気温はマイナス20度、その次の日はマイナス10度。気候変動についても心配していましたから「この天候はメロディとしてどんな音色になるだろうか」と考えはじめて。
落差のある気温の変化をメロディで表現したいと思ったんですね。
そこで、NOAAの政府サイトから（気候のデータを）ダウンロードしてみました。 エクセルに手作業でコピーしてパラメータを調整しながら作業していく。毎月ひと月分のデータを集めました。 気温をメロディに、風速や雨や雪を伴奏のようにしてみようと、音域、ピッチ、音域、音階など、さまざまなシステムを試していきました。その月ごとに納得できるまで同じ作業を重ね、それを1年分のデータを通しておこないました。でもその頃は、ソニフィケーションがなんなのかはまったく知りませんでした。その言葉自体、聞いたことがなかったんです。
着眼点もそうですし、データや数値の高低をどう音に当てはめていくかには、つくり手としてのセンスも問われそうです。先ほど、教授のソニフィケーションはメロディックだとおっしゃいました。気になるのですが、データソニフィケーションにセンスは必要？
私の教えているクラスでも、授業でよく話し合ったことの一つに「データソニフィケーションはクリエイティブなものなのか？」 があります。ソニフィケーションをつくるのは簡単かもしれませんが、ソニフィケーションをベースにした素晴らしい芸術作品をつくるのは、また別の話です。
そうですよね。
データセットがあっても、それを音楽に変換するまではどんな音になるかわかりません。それがおそらくこの音楽をつくるプロセスの一番楽しい部分かもしれません。数値を処理する最初の段階からワクワクします。データソニフィケーションは数字を扱うプロセスや分析を行う数学的な部分があるので、音楽との関わり方としてはかなり変わったやり方といえます。ある意味では型破りな感じ。
できあがった曲のジャンルって、なにになるんですかね？データソニフィケーションは手法であって、ジャンルではなさそうですが。
データソニフィケーションをジャンルとは呼びませんね。ソニフィケーションをつくっている人は、自らジャンルを選ぶでしょう。ブライアン・イーノ（Brian Eno）の伝統を受け継ぐアンビエントだったり、テクノかもしれない。私自身はあまりジャンルを決めません。
データサイエンス、そして音楽、いずれにしても新しいアプローチといえそうです。
データを音に変換するだけでもソニフィケーションですが、私はミュージシャンでありアーティストでもあるので「データに潜むストーリー」といったものを伝えられるところまでを目指した制作をおこなっています製作者によって大切にしている部分はそれぞれだと思います。たとえば、ただ音をきれいにするとか、誰の視点に基づいているのか、どこまでがデータの真実なのか、より深い真実とはなんなのか、など。
データソニフィケーションの良さとはなんだと思いますか？特に、科学やデータ科学への知識や関係性が薄い人たちにとって。
データをグラフで見るよりも、聴くことの方がより体験的です。音楽的なものであれば、時間が経つにつれて脳の感情的な部分が活性化しはじめます。感情が体験と結びつくと、物事をより記憶しやすくなります。データソニフィケーションは、人々がデータとつながっていると感じ、その繋がりを好きになりはじめるための方法だと思います。環境データであれば、環境について少し違った見方ができるようになるのではないでしょうか。
今後、音にしてみたいデータはありますか。
いま、私はある科学者と共同作業をしているので、それを音にしてみたいです。世界中に設置された、地表と大気間の温室効果ガスの交換を継続的に測定している「フラックス・タワー」という装置があるのですが、ここから得られるデータを使ってみようと考えています。いま、多くの人が気候変動が現実であることを認識していますが、同時に無力感を感じていますよね。この活動を通して、環境について学びそれを人々と共有するだけでなく、気候の修復について考えて何ができるのかを考える方向に持っていけたらと思っています。
あとは、天文学の分野に関する作品です。実は義理の姉がジェームズ・ウェッブ望遠鏡の研究に携わっているんです。視野をもっと広げて、地球外のデータについて考える必要があるのかもしれない、と考えはじめています。
Sara Bouchard
サラ・ブシャード
音楽、インスタレーション、パフォーマンス、データソニフィケーションなど多岐にわたる作品を制作するアーティスト、ミュージシャン。現在は米国、バージニア州のバージニア・コモンウェルス大学にて教鞭を執る。
2014年に、データソニフィケーションを用いた初めての作品『Weather Box（ウェザー・ボックス）』を発表し、その後さまざまなデータを用いた作品を発表している。
HP
BandCamp
Words：HEAPS
Profile photo：Sara Bouchard