Remo De Vico「AURAL MIRROR」写真・イラスト・絵画を音へ変換し、リアルタイムミキシングやWAV書き出しにも対応した実験的なサウンドデザインツール

AURAL MIRRORは、画像や絵画を音へ変換できるユニークなサウンドデザインツールです。

画像をスペクトログラムとして解析し、アート作品から新しい音楽や効果音を生み出せます。

この記事では、AURAL MIRRORの特徴や仕組み、使い方、活用シーンまで分かりやすく紹介します。

AURAL MIRROR：画像から音を生み出す実験的なサウンドデザインツール

AURAL MIRRORは、画像をスペクトログラムとして解析し、その内容を音として再構築するHTMLベースのインストゥルメントです。

ソフトウェアのインストールは不要で、HTMLファイルを開くだけで利用できます。

特徴は次のとおりです。

• 絵画やイラストを音へ変換できる
• Chrome、Edge、Firefoxで動作する
• インストール不要
• データを外部へ送信しない
• ブラウザ上だけで処理が完結する

画像を見るだけでなく、「聴く」という新しい体験を楽しめます。

AURAL MIRRORの仕組み

AURAL MIRRORは、画像をスペクトログラムのように読み取ります。

スペクトログラムとは、時間・周波数・音量を画像として表現したものです。

通常は音から画像を作りますが、AURAL MIRRORでは逆の発想を採用しています。

画像を音の情報として解析し、その内容をもとに新しいサウンドを生成します。

そのため、

• 抽象画
• 写真
• イラスト
• テクスチャ画像
• 手描きの絵

など、さまざまな画像から異なる音楽やサウンドが生まれます。

基本的な使い方

操作は非常にシンプルです。

画像を読み込む

HTMLファイルを開いたら画像を読み込みます。

読み込み方法は複数あります。

• ドラッグ＆ドロップ
• 「Load Image」から選択
• Ctrl + Vで画像を貼り付け

好きな画像をすぐに利用できます。

RENDERを実行する

画像を読み込んだら「RENDER」を押します。

リアルタイム生成ではなく、あらかじめ音をレンダリングします。

生成中は進行状況が表示されるため、処理状況が分かります。

短い音声なら数秒ほどで完成します。

再生する

レンダリングが終わったら再生できます。

操作方法は次のとおりです。

• 再生ボタン
• スペースキー

再生中は画像の上をラインが移動し、現在どこを読み取っているのかを確認できます。

2つの表示画面

AURAL MIRRORでは2つの画面が並んで表示されます。

元画像

最初の画面には読み込んだ画像が表示されます。

解析されたポイントには円が表示され、それぞれ色によってイベントの種類が分かります。

さらに再生中は読み取り位置を示すラインが動きます。

できることは次のとおりです。

• 解析ポイントを確認できる
• 読み取り位置が分かる
• 好きな場所をクリックして再生位置を移動できる

生成された音の可視化

もう一方の画面には生成された音のスペクトログラムが表示されます。

画像と生成された音を比較できるため、どの程度忠実に再現できているか確認できます。

再現度は「Fidelity」の数値で確認できます。

数値が高いほど、生成された音のスペクトログラムは元画像に近づきます。

4つのサウンドレイヤー

AURAL MIRRORでは、4種類の異なる音響エンジンが同時に画像を解析しています。

それぞれ独立して音量を調整できるため、同じ画像でもまったく違うサウンドへ変化します。

Spectral

画像をスペクトログラムとして再構築するレイヤーです。

もっとも画像に近い音を生成します。

主な特徴は次のとおりです。

• 画像全体を音へ変換
• 元画像の特徴を強く反映
• AURAL MIRRORの中心となるレイヤー

Events

画像の情報をイベントとして抽出します。

検出対象は次のような要素です。

• エッジ
• 筆跡
• 線の向き
• 形状の変化

それぞれを独立した音として演奏します。

音にはアタックや減衰も設定されているため、リズムやアクセントのあるサウンドになります。

Additive

加算合成方式によるサウンドレイヤーです。

画像の濃淡に合わせて多数のオシレーターが動作します。

さらに選択した音階に合わせてチューニングされます。

そのため、実験的な音だけでなく音楽的な響きも作りやすくなっています。

Granular

グラニュラーシンセシスを利用するレイヤーです。

画像全体の平均的な色を分析し、その情報から細かな音粒を大量に生成します。

画像ごとに異なる質感になるため、アンビエントやテクスチャサウンドにも向いています。

ミキサー機能

レンダリング後も各レイヤーは個別に保持されます。

そのため、再レンダリングすることなくバランスを変更できます。

調整できる項目は次のとおりです。

• 各レイヤーの音量
• Solo再生
• 全レイヤー再生
• マイク
• ルーム
• プリアンプ
• マスター音量

調整結果はリアルタイムで反映されます。

再生位置を自由に移動できる

画像の好きな場所をクリックすると、その位置から再生できます。

通常の横方向だけでなく、円形やスパイラルの読み取りモードでも動作します。

そのため、

• 気になる場所だけ確認する
• 特定の部分を繰り返し試聴する
• サウンドの変化を比較する

といった操作も簡単です。

WAVファイルとして保存できる

完成したサウンドはWAV形式で保存できます。

保存時には現在のミキサー設定が反映されます。

つまり、実際に聴こえている音をそのまま書き出せます。

また、設定内容をプリセットとして保存することも可能です。

Ableton Liveとの連携

ダウンロードには「HTML Instruments」が含まれています。

これを利用すると、Ableton LiveからAURAL MIRRORを直接開けます。

利用条件は次のとおりです。

• Ableton Live 12
• Max 9

もちろん、スタンドアロンでも利用できます。

HTMLファイルを開き、オーディオインターフェースへ出力するだけで通常のソフトウェア音源のように使用できます。

AURAL MIRRORはこんな人におすすめ

AURAL MIRRORは、従来の音楽制作とは異なる発想で音作りを楽しみたい人に向いています。

特に次のような用途で活躍します。

• 実験音楽を制作したい
• サウンドデザインのアイデアを広げたい
• アート作品と音を組み合わせたい
• アンビエントやノイズ作品を制作したい
• 普通のシンセサイザーでは作れない音を探している
• Ableton Liveで独創的な音源を使いたい

画像がそのまま音の素材になるため、毎回予測できない結果を楽しめるのも魅力です。

まとめ：Remo De Vico「AURAL MIRROR」写真・イラスト・絵画を音へ変換し、リアルタイムミキシングやWAV書き出しにも対応した実験的なサウンドデザインツール｜DTMプラグインセール

AURAL MIRRORは、画像を音へ変換するという独創的なアイデアを形にしたサウンドデザインツールです。

画像をスペクトログラムとして解析し、4種類のサウンドエンジンによって個性的な音楽やサウンドを生成します。

ブラウザだけで利用でき、インストールも不要です。

さらにレイヤーごとのミックスやWAV書き出し、Ableton Liveとの連携にも対応しているため、実験的な制作から本格的な音楽制作まで幅広く活用できます。

「絵を聴く」という新しい体験を楽しみたい方にとって、非常にユニークなインストゥルメントです。