太古の昔から、常に人間の生活の中心にあった炎。この炎の音を、私たちの耳で捉える方法があるという。これはぜひ聴いてみたい。
迫力のある炎からは“ゆらゆらとした癒しの音”が聴こえる
人間と炎の間には、古来から様々な関わり方がある。そのなかで今回、炎の「音を聴く」という新たな炎との関わり方を見出したのが、米マサチューセッツ工科大学（MIT）のMarkus Buehler博士だ。Always Listeningには２度目の登場となる。前回は、新型コロナウイルスを可聴化した人物として話を聞いた。超高性能AIのシミュレーション能力を駆使して、物質を構成する分子や原子の素材であるタンパク質の構造を解明することに情熱を注ぐ博士率いる研究チームでは、私たちの身の回りにある自然のさまざまなものを可聴化する研究を行なっている。
今回、実は教授が手掛けた「クモの巣」の可聴化プロジェクトについて取材しようと思い、コンタクトを試みた。すると、教授から「最近のこの可聴かプロジェクトの方をぜひ紹介したいです」と返答が。どうやらこちらの方に熱が入っているようで、取材は「クモの巣」から「炎の音」へとシフトチェンジ（クモの巣もいずれ…）。
これまでの人間の「炎」とのおもな関わり方としては、「観る」、そしてその熱を活かして物を「温める」、暗い環境において「光源」として用いる、だろうか。ここに、新たに「聴く」が加わる。最新のイメージング技術とディープラーニングのアルゴリズムを駆使して可聴化された炎の音は、想像以上にドラマティックなものだった。
博士、お久しぶりです。今回は「炎」の音を聞こえるようにしてしまったそうですね。「炎の音」というワードから、パチパチと火の粉が弾ける音を想像したのですが、博士が可聴化した炎の音は、それとは違う。
炎を見ると、ゆらゆらと絶えなく揺らいでいるのが分かるでしょう？ この揺らぎを可聴化したのが「炎の音」です。
揺らぎを音に。
炎の揺らぎのリズミカルで周期的な動きは、空気を振動させて音を伝える楽器の弦に似ていると思いまして。揺らぎを実際に聴くことができたら面白いんじゃないかと、この研究を始めたんです。
ここで一度、博士が可聴化した炎の音を聴いてみましょう。
教会のパイプオルガンの音に似ていて、音に厚みがある。どのようなプロセスでこの音は生まれたのでしょう？
使うのは、炎の揺らぎの映像を記録するイメージング技術と、データをマイニングするためのディープラーニングのアルゴリズムです。最初に、炎の動きを動画や写真として撮影をし、どのような映像や画像、あるいは時系列ごとのイメージが、ある特定の音のトーン（音色）を示しているのかを、ディープラーニングのアルゴリズムを使って明らかにしました。
どのくらいのデータを学習させたのですか？
学習には、何十万もの炎を使います。
気の遠くなりそうな数。
でもこの大量なデータを集めるには、様々な周波数の炎を観察するだけなので実は簡単なんです。そして、集めた炎のデータを特定の周波数に照らし合わせ、ディープラーニングのアルゴリズムのモデルが周波数と炎の揺らめきの動力学との関連性を学習していきます。ちなみに炎の撮影には、ソニーのカメラを使っていますよ。
それらを、どう音にするんですか。
モデルがそれを学習したら、色々な種類の炎の構造や、炎から撮影した様々な動画や画像をインプットし、音響効果を加えることが可能になる。炎が時間とともに変化していく様子を、時間経過とともに識別された様々な周波数に重ね合わせることで、可聴化できるのです。
なるほど、では私たちが耳にしたのは、炎の周波数によってコンピューターが生成したサウンドということですね。撮影する炎は、なんの炎でもいいのでしょうか？ ガスバーナーでも焚き火でも。
さまざまな実験装置を使いますが、最初はキャンドルから始めました。空気の動きがない、非常にクリーンな状態の部屋で、高さ１インチ（約2.5センチ）ほどの炎を観察することから始めるわけです。あとは家の暖炉だったり、レストランにあるようなガスバーナー、屋外のキャンプファイヤーなど異なる大きさの炎を撮影しました。
炎の大きさや温度、色など炎の状態は、音程に影響するのでしょうか？
温度についてはまだ調べていないですが、温度は炎の見え方や揺らぎに繋がるので音程への影響は、きっとあるでしょうね。大きさについても同様のことが言えます。
モデルをトレーニングするときに、ベースラインとなるものを作りました。これを拡張することで、どんな大きさの炎にでも適用できる。あらゆる種類の複雑な炎の形状でも、基本的に周波数の分布を予測することができるようになるんです。
学習させたデータや素材から「音楽」を作っていく。
ここで、どのように音楽再生したいかによって少し方法は違ってきます。たとえば暖炉の炎はキャンドルの炎などと比べて炎が絶えず揺らめいているので、多くの“音楽”がそこにある。私たち人間の耳は、異なる周波数の変化を処理するためには時間が必要で、炎の状態が変化するスピードについていけません。そこで、炎のスピードをスローダウンするのです。
たとえば、炎を使ってコード進行なんかも作れたりしますか？
グラニュラーシンセシス*という手法を使えばできますよ。サンプルのグレインを、チューニングを行なうように、作りたいコードに似た周波数比でこれらの構成要素を組み立てれば、そのコードの音に類似させることができます。そうすれば、コード進行を作ることだってできます。
*グラニュラーシンセシス・・・シンセサイザーの波形合成方法の一種。音のサンプルをグレインと呼ばれる細かな粒子に分解し、組み替えや再配置を行なうことで新たな音を生み出す。
ということは、この手法を使って、オーケストラの演奏みたいなこともできちゃう？
将来、オーケストラのような作品を作ることもできるかもしれませんね。自然に存在する炎は、そこまでたくさんの音色を生み出すほどの構造がないんですよ。でも人間が外から力を加える、たとえば炎に向かって演奏したり、空中で手を動かしたり、炎に話しかけたりすると、あなたの口やスピーカーから発せられる周波数に反応し、より複雑な音楽やオーケストラのセッティングを構築することもできます。ただ、私たちはオリジナルの作品では必ずしもそのようなことはしていません。基本的には、炎が自然界でどのように振る舞うかを観察しているだけなので。
あくまで自然体の炎に耳を傾けるということか。
前回、新型コロナウイルスの音についての取材でタンパク質の話やウイルスの話をしましたが、炎を含むこれらはすべて、自然のシステムや生命システム、あるいは私たちの身体の一部が現実に存在する方法のひとつとして、何らかの動的な変化を遂げている現象です。人間の想像力次第では、炎を楽器として使い、より複雑な創作曲を生むこともできるかもしれません。
自然界にあるものが楽器として人間と共演する未来も近いかもしれませんね。
ジョン・ケージ*のように、世の中の型にはまらないものを使って音楽を作るということは、様々な人たちが行なってきました。私たちのチームはディープラーニングや物理学の実験を通して音楽を作っているという点では異なりますが、音楽的、音響的に探求していくという点では同じようなものだと思います。
*前衛芸術に影響を与えた米国の実験音楽家。グランドピアノに異物を弦に金属片やゴム、木などを入れ込み打楽器的なサウンドを出すものにしたり、無音のみで構成される曲『4分33秒』を作るなど型破りな音楽へのアプローチで知られている。
クモの巣にウイルス、そして炎。なぜ、自然界の“聴こえない”音に惹かれるんですか。
炎やクモの巣のような、自ら音を発さない、音が聴こえてこないものに声を与えるのが好きなんです。クモの巣の音は聴こえないし、分子の音も火の音も聞こえません。私たちの研究では、ただそれらの音を聴こえるようにするだけでなく、インタラクティブな体験ができるようにするのです。ビデオや写真を撮り、炎やその振動に何か手を加えることによって、さまざまな音を作り出すことができるのです。自然を観察するだけでなく、人間として自然の構造物に関わることができ、音や音楽を作り出す方法として、世界を活用することができるのです。
その中でも「炎」はどのように面白いのでしょうか。
炎や火は、私たちの歴史にとても深く根ざしていて、人間には炎や火に対する生得的な繋がりがあると思っています。（本能的に）火と繋がっていると感じるんです。この作品で私がやりたかったことは、視覚的に見たり、匂いを嗅いだりするだけでなく、耳で聴く、という火に対して今までとは違う繋がり方を生み出すことだったんです。
炎を「聴く」ことができるなんて、たしかにこれまで誰も想像できなかったでしょう。
これはタイムトラベルのようなもので、何千年も前の歴史をさかのぼると、火を発見した祖先や火を使っていた祖先、火とうまく付き合ってきた祖先がいます。私たちは、ガスと電気を使うこともあるけど、バーベキューもするし、潜在的に火を使うのが好きなんでしょうね。でも、山火事も怖いし、家の中で火事が起きたら危険。人間は火から生じる危険性も理解しているけど、それをコントロールし、利用する方法も持っています。
炎の音を可聴化する、というのも新たな“コントロール方法”の一つになり得ますね。
もしあなたが何千年も前に人類で初めて火をコントロールし、火と関わる方法を見出した人間だとしたら、それはきっと爽快な瞬間であったに違いない。そして、その時代に戻ったように、初めて炎の音を聴く瞬間、「これはどんな音なんだろう」と疑問に思っていたことをすべて探求することができ、音楽体験の新しい世界を開くことになるんです。
人間が持つ素朴な問いに立ち返る。
私たちがやりたいこと、それは合成的に人工音を作るのではなく、物理的なシステムを念頭に置いて音を作ることです。つまり、あなたが聴いているものは単なる偶然や想像ではなく、実際に今この瞬間に起こっていることなのです。このプロセスにおいてこのような制約を持ち、そのプロセスを通して音的にも音楽的にも科学的にも世界を探求することが魅力的なんです。
Markus Buehler／マーカス・ビューラー
ミュージシャンとしても活動するMIT（マサチューセッツ工科大学）の工学部教授。ナノスケールからマクロスケールまで、より高い弾力性と幅広い制御可能な特性を備えた高度生体材料の新しいモデリング、設計、製造アプローチを研究している。学術的な研究では、材料のモデリング、設計、実験的な取り組みに重点を置いており、著書『バイオマテリオミクス』は、新しい生体材料プラットフォームを開発するために、生体からヒントを得た材料や構造を分析する新しいパラダイムを提示し、材料、構造、音楽、言語といった異分野からの洞察を結びつける数学的分類アプローチを用いている。
All Image via MARKUS J. BUEHLER/MIT
Words: Ayumi Sugiura（HEAPS）