1>TouchDesignerでVideo synthesizerを作ってみる:前準備編 | 海外でデザイナー始めました(12年目)

2021もそろそろ年の瀬、今年1月に上海で始めたVJチーム、team YOLUもなんやかんや5人に増えて、
その内この一年ほぼ毎週現場に入ってる若手二人(VJ初心者)はもう一人で現場任せられるレベルになってて嬉しいこの頃。

そんな若手がアナログシンセサイザーとセッションをきっかけに、懐かしのビデオアート・ビデオシンセサイザーに興味をもったらしいのでTouchDesigner使ってソフトシンセを作ろう、ていうのがことの発端。

ワークショップ的に作っていこうかと思ったけど、自分も考えながら作ってて全体像整理できてないので制作工程丸出し、後で見直してねスタイルで全四回くらいにまとめる、予定。(四回で終われなかった・・・)

まず前提。
ビデオシンセサイザーとは？

https://en.wikipedia.org/wiki/Video_synthesizer

英語版Wikiには記事があるのね。ということでWikiから意訳すると
1960年代から始まった”リアルタイムパフォーマンス”に特化し、電子的にビデオ信号を生成する機器。
カメラ映像など映像信号の入力なしでビジュアルを生成(ジェネレート)するもの。
または、ライブ映像など映像信号を入力することで”歪み””グリッチ””clean up and enhance”などエフェクター的に作用するものもある。
＊”clean up and enhance”の適切な訳語がわからん・・・

Video Glitchについて話してる下の動画では上記ジェネレーター/エフェクターを
ジェネレーター : Video synthesizer
エフェクター : Glitch processer
て分け方してたりするけど、広義でまとめるとビデオ信号の信号自体を生成/加工することで新たな映像を出力する機器のことをビデオシンセサイザーと言えるらしい。

VJ的な話でいうとジェネ系素材と言われるVJの大元、のはず。
よく言われるVJの元、リキッドライトショー関係の考察は主旨ずれるので後記。

エフェクター寄りだけど昨今のビデオシンセ、グリッチ/ビデオメディアアート界隈の話で面白い。
そしてアナログシンセ同様、ニッチなところで流行ってるぽい。

ビデオ・シンセサイザーの世界〜 World of Video Synthesizer #001：ビデオ・シンセサイザーの基礎知識

ビデオシンセサイザーの問題

https://lzxindustries.net/
https://tachyonsplus.com/

機材としてはかっこいいし欲しいんだけど・・・
出力がアナログ信号・・・・大きくて1280*720px。
アートとしてはいいんだろうけど、LEDが増えて、4K/8K、ストリーミングといった昨今の出力先を考えるとなかなか辛い。

アップスキャンコンバーターで変換って方法もなくはないけど・・・めんどくさい。
https://www.ratocsystems.com/products/subpage/av2hd4k.html

基本コンセプト

アナログミュージックシンセとのセッションを想定して、
アナログシンセが音を生成する仕組みに準じて映像を生成するようにする。
加えてアナログシンセ/シーケンサーに似た雰囲気で”映像を演奏”できるUIと仕組みにする。

いつかはMIDIコントローラーの換装〜自作とかを夢見つつ・・・
まずはDTMで馴染みのソフトシンセと同じ考え方で、TouchDesignerでビデオシンセをシミュレーションを想定。
その上で、TouchDesigner自体がそもそも映像を生成するソフト。普通にやっても面白くないというか、ただのTouchDesignerで作るジェネ系映像になっちゃうのであくまでもシンセサイザーにするよう注意する。

下準備

1:ミュージックシンセサイザーの仕組み

基本要素

VCO（ぶいしーおー）：オシレーター：音の元となる波形の発振器（音程）
VCF（ぶいしーえふ）：フィルター：特定の周波数成分を除いたり、弱めたりするセクション（音色変化）
VCA（ぶいしーえー）：アンプ：音量をコントロール（音量変化）
EG（ADSR）：エンベロープジェネレーター：音程・音量・音色などに時間的な変化を与えます。
LFO：低周波のオシレータ：揺れ（ビブラート、トレモロ）を作るときに使います

処理の流れ

VCO+LFO : 基本波形 / 複数の波形とLFOを組み合わせることで特徴を作る
VCF+ADSR : 基本波形を加工する / ロー・ハイパスなど
VCA+ADSR : 出力

アナログシンセ超入門～その1： VCO – VCF – VCA

https://info.shimamura.co.jp/digital/guide/2018/02/122103
https://info.shimamura.co.jp/digital/guide/2018/02/122419
https://kensukeinage.com/synth_structure/
https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%B3%E3%82%BB%E3%82%B5%E3%82%A4%E3%82%B6%E3%83%BC

2:TouchDesignerでの各パートの置き換え(予想)

VCO+LFO : Chop
VCF+ADSR : Chop
VCA+ADSR : Chop to Top / to Sop / Top to Sopなど
Video filter : ビデオシンセオリジナル項目 : Top+Chop

3:アナログビデオシンセの映像色々みてみる(一部アプリなども有)

4:ビデオシンセの電子的にビデオ信号を生成する、とは？

RGB、3個の波形を生成してゴニョゴニョする。
GLSLとかと同じ考え方だろうなぁってところまでは予想つくけど・・・
あとはTouchDesigner内で試しながらの方が早そうという結論。

以上事前準備編。

おまけ
リキッドライトショーとビデオシンセ
どっちがVJの元なのか

結論

今で言うクラブなどでのVJの元はリキッドライトショー。
メディアアーティスト兼VJの元はビデオシンセ。

理由推測

オーバーヘッドプロジェクター(書画カメラ) : 発明1927年 / 普及1950~60年代
プロジェクター : 発明1973年 / 普及1989年〜

リキッドライトショーに使うオーバーヘッドプロジェクターの方が発明普及共に20年以上早いため。アナログ信号かつリアルタイム生成されたビデオミキサーの映像を商業施設など広い空間に、それなり以上の光量で投影できるようになったのはプロジェクターの発明以後のはず。
おそらく一部では、先日修復が終わった福岡のナム・ジュン・パイク作品のように大量のブラウン管テレビを使ってビデオシンセの映像を出したりしていたとは思うけど。。。。
なかなか普及はしなさそうなので、初期はギャラリーなどでのアートとしての展示/パフォーマンスが主流だったという予想。