2025年4月23日水曜日

三輪眞弘について生成AIに聞いてみた(10):RAGの改良について

 0.はじめに 

 三輪さんについて生成AIに問い合わせた結果が思わしくないことをうけ、RAG(Retrieval-Augumented Generation)を試作して問い合わせを行い、効果を検証してみたところ、妥当な回答を得ることができたことは、前回ご報告した通りです。前回はRAGが確かに効果を発揮していることを確認するために、「三輪眞弘の音楽の特徴は?」「三輪眞弘の「虹機械」とは?」というわずかに2種類のプロンプトに対する回答を確認しただけですが、今回はより多くの質問に回答できるようにRAGを改良した結果を報告します。改良の対象としたRAGは前回の報告にて構築したもので、山田育矢(監修・著)・鈴木正敏・西川荘介・藤井一喜・山田康輔・李凌寒(著)『大規模言語モデル入門II』(技術評論社, 2024)の第13章で紹介されているサンプルに基づいたものです。

1.実験の概要

 RAGの改良点は以下の通りです。

A.読み込ませる文書の拡大

前回報告したRAGは、自分が執筆してブログに公開してきた記事(文書数75)を読み込ませました。全文書長897,497、構築されたインデクス数は3105でした。既述の通り、前回は「三輪眞弘の音楽の特徴は?」「三輪眞弘の「虹機械」とは?」という2つのプロンプトに対して、元のLLMが「幻覚(Hallucination)」を起こしているのに対して、RAGでは読み込ませた記事を引き当てることによって間違いではない回答を返すことができることを確認しましたが、思いつくままに色々なプロンプトを与えると、作品や伝記的な事柄に関するごく基本的な問い合わせについてもなかなか適切な答が返ってこないことが確認されました。前の報告でも記載した通り、ブログの記事は、三輪さんの作品についての情報提供を目的としたものではなく、三輪さんの作品についての情報が既に別に存在していることを前提として、演奏に接した感想を記したり、作品についての分析や考察を行ったものであり、内容としては二次的なレベルの情報がほとんどであるため、事実についての問い合わせの参照先としては必ずしも適していないということに一因があると考えられます。そこで以下の方針で読み込ませる文書数および文書の種類を増やすことにしました。

・三輪さんのWebページの文書の利用

 三輪さんの許諾を得て、現行の三輪さんのWebページの内容を利用させて頂くことにしました。三輪さんのWebページには、経歴、過去(概ね1999年以降)から現在までのイベントの記録および近い将来のイベントの予告(以下「これまで・これから」と呼びます)が含まれる他、Newsのヘッドラインの履歴が含まれており、Web上で取得できる事実情報としては最も信頼がおけ、かつ私の知る限り、最も網羅的なものですから、今回の目的に適った情報と言えます。基本的にはページ単位にテキスト化したものを読み込ませることにしました。一方、「これまで・これから」のような表形式は、自然言語で記述された情報に基づく生成AIにとっては、そこから情報を抽出することが困難な、苦手なフォーマットと言われています。究極的には表の情報を全て自然言語の文章に書き下すのが確実な方法ではありますが、エントリー数が500以上あり、手作業でのリライトはかなりの時間と手間を要します。「これまで・これから」の形式は表としてはごく単純な形式であり、簡単なフォーマットの変換をすれば文章に近いものにできそうではありますが、例えば年の情報が独立しており、行単位の月日とは離れた場所にある点が問題になりそうです)。そこでそれらの点を考慮した簡単なフォーマット変換を行った文書をオリジナルと一緒に置くことでの改善を期待することにしました。

・ブログページへの記事の追加

 三輪さんのWebページの記事を直接利用されて頂く一方で、自分のブログに三輪さんの活動や作品の基本的な事実に関する情報がないことを反省し、「三輪眞弘とは」というタイトルの紹介ページ以下の通り追加しました。

また現時点では準備中で未公開の年表も読み込ませる対象としました。更に、新着記事として執筆公開した以下の記事も読み込ませる記事に含めています。
この記事は、扱っている対象である作品に自分が関わっているという特殊事情もあり、従来の公演感想や考察とは異なって、背景を含め、作品解説的な要素を意識して盛り込み、かつ生成AIへの問い合わせを意識して、Q&A形式で執筆しています。

・作品情報の追加

三輪眞弘:主要作品表は自分のブログの最も重要なコンテンツの一つでありますが、ブログでの表形式の扱いが煩瑣であり、ブログの前身であるWebページのhtml形式とも互換でないことから、従来、管理に用いてきたexcel形式のファイルをpdf化したものとページ毎に画像化したものを公開してきましたが、これについても、よりテキスト形式に近いフォーマットとしてcsv版を追加公開しました。この情報もRAGに読み込ませる対象としましたが、こちらは年表に比べると項目数が多く、単にcsvからテキストを抽出しただけでは各列の意味の情報が欠落してしまいます。この場合もまた最も確実なのは、表の内容を自然言語で説明した文章を用意して、それを読み込ませることですが、ここではできるだけ手間をかけずに行うことを優先し、列ラベルと値のペアを行毎に一単位のデータをする変換プログラムをAIに指示して作成させ、それを用いて変換を行いました。実験環境がColaboratoryであるため、プログラムの作成はColaboratoryのnoteで使えるGeminiを用いて行いました。

ところが実際に変換したファイルを読み込ませて実験をしてみると、一つの表のデータを一つのファイルにしてしまうと、インデクスの作り方によっては、前後の行のデータが混在することになり、それが原因での回答の誤りが一定の割合で発生することが確認できたため、作品情報については、1行1ファイルとする変換を更に行いました。なおこの変換に用いるプログラムもGeminiに作成させてデータを用意しました。作品毎にファイルが作成された結果、作品情報の文書数は127になりました。

以上をまとめると以下の通りとなります。

  • ブログ記事  75 (前回報告のRAGに読み込ませた分)
  • ブログコンテンツ追加分 7 (「三輪眞弘とは」、「虹機械」解説、作品表、年表)
  • 作品情報 127 (作品別にファイル分割)
  • 三輪さんのWebコンテンツ  5

合計で214文書を読み込ませることにした結果、全文書長は約1.22倍の1,098,069となりました,文埋め込みインデクス作成のパラメータは前回同様、最大文字数=400文字、重複最大文字数=100としてインデクス構築を行った結果、インデクス数は約1.24倍の3847、逆に平均インデクス長は前回の289から285.4に減少しています。これらの増減には、作品別にファイルを分割して作品情報文書を用意したことが影響していると考えられます。

B.読み込ませる文書の内容修正

上記のように読み込ませる文書を増やして実験を行って、結果の検証を行う際に、情報源が定かではない日付データが生成されて返ってくるケースがあったため、検索されてLLMにプロンプトとともに渡されたインデクスを調べてみたところ、実は読み込ませた元の文書の情報に誤りがあることが原因であるケースが2例確認できました。以下の2件については、元の文書を修正の上、再度読み込み、インデクス構築をして検証を行いました。

  • ブログ記事「赤ずきんちゃん伴奏器」「東の唄」の再演を聴いて:「東の唄」の作曲年 1922年→1992年に訂正。
  • 三輪眞弘主要作品表:「新しい時代」布教放送の開始 2002年3月10日→2001年3月10日に訂正。

これらは自分で作成した文書だったために直ちに修正してシステムに反映させることができましたが、RAGのベースとなったLLMが利用した文書中にも一定の割合で誤った情報が含まれているものと考えるべきでしょう。そもそもRAGの構築を試みたきっかけは、三輪さんについて生成AIに問い合わせた結果が思わしくないことでしたが、ベースとなったLLMが事前学習に使用した情報の欠落や誤りを補うのがRAGの目的であるとすれば、特にRAGに読み込ませるデータについてはその内容の精度に配慮が必要であることを強く認識させられました。

これは余談になりますが、自分が執筆・公開した記事の誤記チェックにAIを利用するというのは今ではごく普通に行われており、一般的なミスタイプのようなものについては既にかなり強力なツールになっています(実際に私が恩恵を被っているのは、OCRの読み取り結果の校正です)。その一方で、領域固有の知識に関する誤りチェックについては、今回用意したようなRAGをメンテナンスし、チェック用のプロンプトを整備し、一括チェックをかけることによって新しく書いた記事のチェックを行うためのアシスタントとして利用しつつ、今回発生したように、元記事の誤りが検出された場合には元記事のメンテナンスを行ってアシスタントの精度向上を行っていくといった活用が考えられるように思いました。

 一方で、RAGの評価については以下の通りです。

C.評価対象とするLLMおよびRAG

前回は上掲書第13章RAGでサンプルが示されていた以下の2種のLLMを対象としました。

  • llm-book/Swallow-7b-hf-oasst1-21k-ja:東京科学大がMeta Llama 2の日本語能力を強化した大規模言語モデルであるLlama 2 Swallowシリーズの最も基本的なモデルであるSwallow-7b-hfに対して、同書11章で紹介されている指示チューニングを行った独自モデル(Swallow)
  • llm-book/Swallow-7b-hf-oasst1-21k-ja-aio-retriever:llm-book/Swallow-7b-hf-oasst1-21k-jaをベースとして、上掲書13章3節で行われているAI王データセットを用いた指示チューニングを行ったモデル(aio-retriever)

今回も同様に上記の2種類を対象とし、モデルの特性を踏まえ、今回は様々なタイプのプロンプトを用意し、使用するプロンプト・セットを変えて回答を確認することにしました。

また比較対照を行うために、今回構築した、文書拡張版のRAG(以降、mm5と呼びます)以外に、RAGを用いずにLLMに直接問い合わせた場合、前回構築したRAG(以降、mm2と呼びます)に問い合わせた場合についても評価を行いました。

結果的に今回は以下の5種類のパターンについて評価を行ったことになります。

  • 実験1:Swallow-7b-hf-oasst1-21k-ja(Swallow)に基づくRAGの検証
    • (本実験1) Swallow-7b-hf-oasst1-21k-ja+mm5 (mm5_Swallow):今回構築した文書拡張版RAGに問い合わせ
    • (対照実験1a) Swallow-7b-hf-oasst1-21k-ja+mm2(mm2_Swallow):前回構築したRAGに問い合わせ
    • (対照実験1b) Swallow-7b-hf-oasst1-21k-ja :直接LLMに問い合わせ
  • 実験2:Swallow-7b-hf-oasst1-21k-ja-aio-retriever(aio-retriever)に基づくRAGの検証
    • (本実験2) Swallow-7b-hf-oasst1-21k-ja-aio-retriever+mm5 (mm5_aio-retriever):今回構築した文書拡張版RAGに問い合わせ
    • (対照実験2a) Swallow-7b-hf-oasst1-21k-ja-aio-retriever+mm2(mm2_aio-retriever):前回構築したRAGに問い合わせ

前回もそうであったように、ここで使用したLLMのベースはMetaのllama2であり、現時点では既に過去のLLMであることに留意する必要があります。Swallow自体でもllama3ベースのものではどうなるのか、更には最新の商用LLMベースのチャット(ChatGPT, Gemini, Claudeなど)に問い合わせたらどうなるかも興味深いものがありますが、今回の報告には含めず、次回以降の課題としたいと思います。

D.評価用プロンプトセット

既述の通り、前回は「三輪眞弘の音楽の特徴は?」「三輪眞弘の「虹機械」とは?」の2種のプロンプトのみで確認を行いましたが、今回は上述のように読み込ませる文書を拡大した効果を確認するために、以下のようなプロンプトセットを用意しました。

1 三輪眞弘の作品の特徴は?
2 三輪眞弘の「虹機械」とは?
3 三輪眞弘の生まれた年と場所は?
4 三輪眞弘とマーチン・リッチズとの共作は?
5 三輪眞弘の楽譜はどこで出版されているか?
6 三輪眞弘の「逆シミュレーション音楽」とは?
7 三輪眞弘と佐近田展康のユニット名は?
8 三輪眞弘のゴールデン・ニカ受賞理由は?
9 <東京の夏>音楽祭2007、手順派合同祭が行われた島の名前は?
10 「方法マシン」第一回定期公演はいつ行われたか?
11 ネットワーク・ストリーミング作品、「新しい時代」布教放送はいつ開始されたか?
12 CD「言葉の影、またはアレルヤ」(STEINHANDレーベル)はいつリリースされたか?
13 東京大学駒場博物館「Musica eMachina」展はいつからいつまで行われたか?
14 「古代の竪琴と水遊人のための、五芒星」世界初演はいつ、どこで行われたか?
15 2005年 8月18日にエスパス・スベイラン (クレ(ドローム地方)/フランス)のフェスティバルFUTURAで再演された作品は何か?"
16 2000年 4月22日に京都、アルティーで世界初演された作品は?
17 2011年 6月16日に東京藝術大学芸術情報センターで行われた講演名は?
18 2020年 9月19日 深夜に「三輪眞弘際」が行われたホールは?
19 三輪眞弘のプロフィールは?
20 三輪眞弘の著書は?
21 三輪眞弘と佐近田展康との共作は?
22 三輪眞弘の「算命楽」とは?
23 三輪眞弘の「夢のガラクタ市」とは?
24 三輪眞弘の「火の鎌鼬」とは?
25 三輪眞弘の「新調性主義」とは?
26 三輪眞弘の「東の唄」とは?
27 三輪眞弘の「赤ずきんちゃん伴奏器」とは?
28 三輪眞弘の「ひとのきえさり」とは?
29 三輪眞弘の「59049年カウンター」とは?
30 三輪眞弘の主な作品は?
31 「フォルマント兄弟」とは?
32 三輪眞弘の「ひとのきえさり」は誰の詩を使っているか?
33 三輪眞弘の「ひとのきえさり」の編成は?
34 三輪眞弘の「新しい時代」とは?
35 三輪眞弘はどの作品で芥川作曲賞を受賞したか?
36 三輪眞弘はどの作品で佐治恵三賞を受賞したか?
37 三輪眞弘のガムランのための作品は?
38 三輪眞弘のMIDIアコーディオンのための作品は?
39 三輪眞弘は誰に師事したか?
40 三輪眞弘の「虹の技法 Harmonia I」の編成は?
41 三輪眞弘の「ひとのきえさり、藤井貞和の詞による序奏と朗読」はどこで初演されたか?
42 三輪眞弘の「コンピュータ・エイジの音楽理論」はいつ出版されたか?
43 三輪眞弘の「虹機械 公案-001」公開収録はいつ?

選択は体系だったものではなく、多分に恣意的なものではありますが、いずれもRAGに読み込ませた文書の中に正解が含まれる内容についての問い合わせとしました。これは今回の実験の目的が、必要な情報が含まれる文書が与えられた場合に正しい答えを返すことができるかどうかを確認することを基本としたためです。またクイズ式の短答のものから文章で答えるものまで、質問のタイプに幅を持たせるようにし、問い合わせを行うLLM(Swallow / aio-retriever)に応じて以下のように切り替えるようにしました。
  • 実験1(Swallow):1~31(31問)
  • 実験2(aio-retriever):2~18, 32~43(29問)
2~18は重複していますが、LLMのチューニングの方向性が異なるため、それに応じて答も異なりえます。

評価は、概ね正解が返って来た場合を〇(2点)、一部正解が含まれるものの誤りが含まれたり、明確な誤りではないものの、一般的に期待される回答からは不十分な場合等を△(1点)、明確に誤っているものを×(0点)として点数の合計を求めました。

また、評価が〇でなかった場合には、問題の所在を確認するために、プロンプトに対して類似度に基づいて検索され、LLMに渡されたインデクス(1プロンプトにつき3つ)の内容を確認しました。このことにより、(a)文書に回答するための情報が含まれない場合(既述の通り、これは原則としてはない筈ですが)、(b)文書に情報が含まれているのに、正しいインデクスが引き当てられない、(c)正しいインデクスは引き当てられているが、LLMがそこから正解を抽出できていない、(d)正しいインデクスから正しい情報が引き当てられているが、それ以外に不正確な情頬を付加してしまっている等、誤答の原因を同定し、RAGのどの面に問題があるかを分類することができます。

2.実験の結果

今回の実験も前回同様、Google Colaboratory上で行いました。読み込ませる文書の拡大に伴い、構築されるインデクスの規模も大きくなり、評価用のプロンプトの量も増やしていることから、前回はColab Pro標準のT4モデルで動かせていたものが、今回はメモリ不足で動かせなくなったため、A100モデルを用いて実験を行いました。

実験結果のスコアを示すと以下の通りとなり、前回のRAGと比べても、今回読み込ませる文書を拡大したことの効果は明らかだと思います。ただし、評価用プロンプト・セットを用意したとはいえ、規模が小さく(43)、網羅性に欠けるため、全般的な性能を測定したものではないことには注意が必要です。既述の通り、そもそもが読み込ませる文書に情報が含まれていそうな質問を選択しているので、ランダムに質問を設定すれば、正解率が大きく低下するのは間違いないものと思われます。

また、検索されたインデクスの内容確認は、実験1,2の本実験において△評価になったものに関して、原因を確認する目的で行いました。実験2はクイズ的な短答用にチューニングされたLLMであるという特性により、正解の一部のみであったり、あまりに一般的過ぎて意味のない答になったりしているようです。実験1の方については、作品の説明に関する質問に△が多く見られました。原因を調べてみると、読み込ませた文書に適切な情報がなく、LLMが生成した部分があるものや、文書中の含まれる商用LLMの回答を参照したりしているケースが見受けられるため、これらについては元文書において更に基本的な作品についての情報を充実させる必要があるように感じました。
  • 実験1(Swallow)
    • (本実験1) Swallow+mm5:52/62 (△:4,6,13,22~24,26,28~30 〇:残り全て)
    • (対照実験1a) Swallow+mm2:33/62 (〇:1,3,7,8,16~18, 20,21,25,31, △:2,6,19,22~24,26~30, ×:残り全て)
    • (対照実験1b) Swallow:3/62 (〇:3, △:6, ×:残り全て)
  • 実験2(aio-retriever)
    • (本実験2) aio-retriever+mm5:56/58 (△:2, 33 〇:残り全て)
    • (対照実験2a) aio-retriever+mm2:29/58 (△:33, 〇:1,6~9,16~18,32,34,37,38,41,42,  ×:残り全て)
詳細は煩瑣になるため、以下のファイルを参照頂くこととし、ここでは割愛します。
以下では、今回の改良版RAG(mm5)がプロンプトに対して返した答えのみを示します。

*     *     *
1 三輪眞弘の作品の特徴は?

(〇)mm5_Swallow:三輪眞弘の作品の特徴は、多岐にわたる活動と独自の音楽理論に基づいています。主な特徴は以下の通りです:
アルゴリズミック・コンポジション:コンピュータを用いた作曲技法を探求し、アルゴリズムに基づいて音楽を生成します。
逆シミュレーション音楽:コンピュータによるシミュレーションを人間の演奏によって再現する独自の音楽理論を展開しています。アルゴリズムによって生成された「指示書」に基づいて、演奏者が解釈し演奏を行います。

2 三輪眞弘の「虹機械」とは?

(〇)mm5_Swallow:三輪眞弘の「虹機械」とは、三輪眞弘の「新調性主義」というコンセプトに基づく一連の作品群の名称である。「虹機械」の名称を持つ作品には、以下のようなものがある:
- 虹機械 ふたりの奏者のための単旋律(2008)
- 虹機械第2番 七つの照射(2008)
- 虹機械 公案-001(2015)
- 虹機械 はじまりのうた(2015)

(△)mm5_aio-retriever:音楽

3 三輪眞弘の生まれた年と場所は?

(〇)mm5_Swallow:三輪眞弘は1958年11月27日、東京で生まれました。

(〇)mm5_aio-retriever:1958年 東京

4 三輪眞弘とマーチン・リッチズとの共作は?

(△)mm5_Swallow:はい、三輪眞弘とマーチン・リッチズは、2007年に東京大学駒場博物館で開催された展覧会「Thinking Machine」のために、いくつかの作品を共同制作しました。この展覧会は、コンピュータ・サイエンスとアートの交差点に焦点を当て、リッチズと三輪の作品を含む、さまざまなアーティストの作品を紹介した。
展覧会の一環として、リッチズと三輪は、来場者がインタラクティブに体験できるインスタレーションや、コンピュータ・プログラムを使った音楽作品など

(〇)mm5_aio-retriever:Thinking Machine

5 三輪眞弘の楽譜はどこで出版されているか?

(〇)mm5_Swallow:三三輪眞弘の楽譜は、ドイツに滞在していた時期の作品はfeedback studio verlagから出版されていた(現在は入手不能)。日本に帰国してからの作品は主としてマザーアース株式会社より出版されており、こちらはWebサイトから入手することができる。以下、手元に所蔵しているマザーアースより出版されている楽譜の情報のみ掲げる。
M0101 混声合唱のための「新しい時代」(2001) サイズ:A4初版

(〇)mm5_aio-retriever:マザーアース

6 三輪眞弘の「逆シミュレーション音楽」とは?

(△)mm5_Swallow:三輪眞弘の「逆シミュレーション音楽」とは、コンピュータによって生成されたアルゴリズムに基づいて作曲された音楽のことです。この音楽は、コンピュータが人間の演奏をシミュレートするように設計されており、人間の演奏者がコンピュータの指示に従って演奏することで、コンピュータが生成した音楽を再現する。この音楽の特徴は、コンピュータが人間の演奏をシミュレートするために使用されるアルゴリズムと、人間の演奏者がコンピュータの指示に従って演奏することにある。

(〇)mm5_aio-retriever:コンピュータによるシミュレーションを人間の演奏によって再現する音楽理論

7 三輪眞弘と佐近田展康のユニット名は?

(〇)mm5_Swallow:三輪眞弘と佐近田展康のユニット名は「フォルマント兄弟」です。

(〇)mm5_aio-retriever:フォルマント兄弟

8 三輪眞弘のゴールデン・ニカ受賞理由は?

(〇)mm5_Swallow:三輪眞弘のゴールデン・ニカ受賞理由は、彼の「逆シミュレーション音楽」のコンセプトと、それがアルス・エレクトロニカ・フェスティバルでどのように紹介されたかによる。彼の作品は、アルス・エレクトロニカ・フェスティバルでのプレゼンテーションと、彼の「逆シミュレーション音楽」のコンセプトが高く評価され、ゴールデン・ニカ賞を受賞した。

(〇)mm5_aio-retriever:逆シミュレーション音楽

9 <東京の夏>音楽祭2007、手順派合同祭が行われた島の名前は?

(〇)mm5_Swallow:<東京の夏>音楽祭2007、手順派合同祭が行われた島の名前は三宅島です。

(〇)mm5_aio-retriever:三宅島

10 「方法マシン」第一回定期公演はいつ行われたか?

(〇)mm5_Swallow:「方法マシン」第一回定期公演は2004年12月5日にSCAI THE BATHHOUSEで行われた。

(〇)mm5_aio-retriever:2004年12月5日

11 ネットワーク・ストリーミング作品、「新しい時代」布教放送はいつ開始されたか?

(〇)mm5_Swallow:「新しい時代」布教放送は2001年3月10日に開始された。

(〇)mm5_aio-retriever:2001年

12 CD「言葉の影、またはアレルヤ」(STEINHANDレーベル)はいつリリースされたか?

(〇)mm5_Swallow:CD「言葉の影、またはアレルヤ」(STEINHANDレーベル)は2001年にリリースされた。

(〇)mm5_aio-retriever:2001年

13 東京大学駒場博物館「Musica eMachina」展はいつからいつまで行われたか?

(△)mm5_Swallow:2007年10月20日から2008年1月20日まで。

(〇)mm5_aio-retriever:2007年10月20日から12月2日

14 「古代の竪琴と水遊人のための、五芒星」世界初演はいつ、どこで行われたか?

(〇)mm5_Swallow:「古代の竪琴と水遊人のための、五芒星」の世界初演は、2007年11月17日、京都芸術劇場春秋座で行われた。

(〇)mm5_aio-retriever:2007年11月17日、京都芸術劇場春秋座

15 2005年 8月18日にエスパス・スベイラン (クレ(ドローム地方)/フランス)のフェステ
ィバルFUTURAで再演された作品は何か?"

(〇)mm5_Swallow:2005年8月18日にエスパス・スベイランで再演された作品は、「Dithyrambe」という作品です。

(〇)mm5_aio-retriever:Dithyrambe

16 2000年 4月22日に京都、アルティーで世界初演された作品は?

(〇)mm5_Swallow:2000年4月22日に京都、アルティーで世界初演された作品は、「新しい時代」というモノローグ・オペラです。

(〇)mm5_aio-retriever:新しい時代

17 2011年 6月16日に東京藝術大学芸術情報センターで行われた講演名は?

(〇)mm5_Swallow:2011年6月16日に東京藝術大学芸術情報センターで行われた講演名は「いま中部電力芸術宣言について考える」です。

(〇)mm5_aio-retriever:いま中部電力芸術宣言について考える

18 2020年 9月19日 深夜に「三輪眞弘際」が行われたホールは?

(〇)mm5_Swallow:2020年9月19日深夜に「三輪眞弘祭」が行われたホールは、サラマンカホールです。

(〇)mm5_aio-retriever:サラマンカホール

19 三輪眞弘のプロフィールは?

(〇)mm5_Swallow:三輪眞弘は日本の現代音楽作曲家で、特にコンピュータ音楽とアルゴリズミック・コンポジションの分野で知られています。彼のプロフィールは以下の通りです:
1958年11月27日 東京生まれ。
1978年 国立ベルリン芸術大学で作曲をイサン・ユンに師事。
1985年 国立ロベルト・シューマン音楽大学でギュンター・ベッカーに師事。
1986年 国立ロベルト・シューマン音楽大学でコンピュータ音楽の講座

20 三輪眞弘の著書は?

(〇)mm5_Swallow:三輪眞弘の著書は以下の通りです:
コンピュータ・エイジの音楽理論
電気文明の芸術
三輪眞弘音楽藝術 全思考1998-2010
commmons: schola vol.13(Ryuichi Sakamoto Selections: Electronic Music
配信芸術論
これらの本は、三輪眞弘の音楽理論、芸術、テクノロジーへのアプローチを探求している。

21 三輪眞弘と佐近田展康との共作は?

(〇)mm5_Swallow:三輪眞弘と佐近田展康は、フォルマント合成によるリアルタイム自動音声合成技術を用いたパフォーマンス作品やインスタレーション作品を発表するユニット「フォルマント兄弟」を結成しています。このユニットは、コンピュータによる音声合成技術を芸術表現として用いる先駆的な取り組みとして評価されている。

22 三輪眞弘の「算命楽」とは?

(△)mm5_Swallow:三輪眞弘の「算命楽」は、2019年に初演された日本の作曲家、メディアアーティストである三輪眞弘による雅楽の作品です。この作品は、三輪が長年にわたって取り組んできたアルゴリズミック・コンポジションと呼ばれる作曲技法を用いて作曲された。
「算命楽」は、三輪が「フォルマント兄弟」として知られるグループで作曲した「フォルマント兄弟」の作品とは異なる。「フォルマント兄弟」の作品は、コンピュータを

23 三輪眞弘の「夢のガラクタ市」とは?

(△)mm5_Swallow:三輪眞弘の「夢のガラクタ市」は、1990年に作曲された電子音楽とハープのための作品である。この作品は、三輪の「虹機械」シリーズの一部であり、新調性主義のコンセプトに基づいている。「夢のガラクタ市」は、ハープと電子音響のための前奏曲とリートで構成されており、ハープの音色と電子音響の組み合わせが、夢のような、あるいはシュールな雰囲気を作り出している。この作品は、ハ

24 三輪眞弘の「火の鎌鼬」とは?

(△)mm5_Swallow:三輪眞弘の「火の鎌鼬」は、2015年に初演された日本の音楽作品である。この作品は、架空の民族の滅亡を記憶するための儀式として構想されており、その民族の言語の構造に沿った音楽が用いられている。この作品は、音楽が自然法則のような秩序に支配されている一方で、その中から個人的な感情や心理が浮かび上がってくることを示唆している。

25 三輪眞弘の「新調性主義」とは?

(〇)mm5_Swallow:三輪眞弘の「新調性主義」とは、彼の音楽理論の一つで、伝統的な西洋音楽の調性システムを再構築し、現代の音楽に適用しようとするものです。この理論は、調性システムを、伝統的な西洋音楽の調性システムに代わる、より現代的で実験的なものとして再構築することを目指している。

26 三輪眞弘の「東の唄」とは?

(△)mm5_Swallow:三輪眞弘の「東の唄」は、2台のピアノと1人のピアニストのための作品で、1992年に作曲されました。この作品は、三輪が1991年に日本の現代音楽のための作曲コンクールである芥川作曲賞を受賞した「東の唄」のためのピアノ・ソロのための作品を発展させたものである。
「東の唄」は、三輪の故郷である日本の東部地方の民謡や民話にインスパイアされた。

27 三輪眞弘の「赤ずきんちゃん伴奏器」とは?

(〇)mm5_Swallow:三輪眞弘の「赤ずきんちゃん伴奏器」は、1988年に作曲されたメゾソプラノとコンピュータ制御による自動ピアノのための作品である。この作品は、メゾソプラノ歌手とコンピュータ制御された自動ピアノのために作曲され、メゾソプラノ歌手は物語の語り手として、自動ピアノは伴奏として機能する。
この作品は、メゾソプラノ歌手とコンピュータ制御された自動ピアノのために作曲され、メゾソプラノ歌手

28 三輪眞弘の「ひとのきえさり」とは?

(△)mm5_Swallow:三輪眞弘の「ひとのきえさり」は、2014年に作曲された日本の現代音楽の作品である。この作品は、詩人の藤井貞和によるテキストと朗読、そして三輪眞弘による音楽とドレミパイプの演奏によって構成されている。
この作品は、人間の声と機械の音を融合させ、人間と機械の関係を探求することを目的としている。朗読と音楽は、人間の声と機械の音の間の緊張感と不協和

29 三輪眞弘の「59049年カウンター」とは?

(△)mm5_Swallow:三輪眞弘の「59049年カウンター」は、2000年に作曲された日本の現代音楽の作品である。この作品は、三輪が1990年代に取り組んだ「逆シミュレーション音楽」の集大成であり、彼の作品の中でも最も野心的で複雑なもののひとつである。
「59049年カウンター」は、三輪が「暦年」と呼ぶ一連の作品の最新作である。この作品は、三輪が「暦年」と呼ぶ一連の作品

30 三輪眞弘の主な作品は?

(△)mm5_Swallow:三輪眞弘の主な作品は以下の通りです:
1.「虹機械」シリーズ - 新調性主義のコンセプトに基づく器楽作品シリーズ
2.「夢のガラクタ市」 - 三輪眞弘の重要な作品の一つ
3.「逆シミュレーション音楽」 - 三輪眞弘の重要な作品の一つ
これらの作品は、コンピュータ・プログラミング、アルゴリズム、音響合成を駆使して、複雑で実験的な音楽を作り出している。これらの作品は、音楽とテクノロジーの関係を探

31 「フォルマント兄弟」とは?

(〇)mm5_Swallow:「フォルマント兄弟」とは、三輪眞弘と佐近田展康による日本のアーティスト・ユニットである。彼らは、フォルマント合成という音声合成技術を用いたリアルタイム自動音声合成技術を活用し、パフォーマンス作品やインスタレーション作品を発表している。彼らの作品は、人間の声を機械的に再構築するという特徴があり、人間と機械、あるいは自然と人工の境界を探求する実験的な表現として注目されている。コンピュータによる音声合成技術を芸術表現として用いる先駆

32 三輪眞弘の「ひとのきえさり」は誰の詩を使っているか?

(〇)mm5_aio-retriever:藤井貞和

33 三輪眞弘の「ひとのきえさり」の編成は?

(△)mm5_aio-retriever:管楽五重奏

34 三輪眞弘の「新しい時代」とは?

(〇)mm5_aio-retriever:オペラ

35 三輪眞弘はどの作品で芥川作曲賞を受賞したか?

(〇)mm5_aio-retriever:村松ギヤ・エンジンによるボレロ

36 三輪眞弘はどの作品で佐治恵三賞を受賞したか?

(〇)mm5_aio-retriever:新しい時代

37 三輪眞弘のガムランのための作品は?

(〇)mm5_aio-retriever:愛の賛歌

38 三輪眞弘のMIDIアコーディオンのための作品は?

(〇)mm5_aio-retriever:万葉集の一節を主題とする変奏曲

39 三輪眞弘は誰に師事したか?

(〇)mm5_aio-retriever:ギュンター・ベッカー

40 三輪眞弘の「虹の技法 Harmonia I」の編成は?

(〇)mm5_aio-retriever:ヴィオラ、ピアノ

41 三輪眞弘の「ひとのきえさり、藤井貞和の詞による序奏と朗読」はどこで初演されたか?

(〇)mm5_aio-retriever:エッセン

42 三輪眞弘の「コンピュータ・エイジの音楽理論」はいつ出版されたか?

(〇)mm5_aio-retriever:1995年

43 三輪眞弘の「虹機械 公案-001」公開収録はいつ?

(〇)mm5_aio-retriever:2015年


(2025.4.23 公開)

2025年4月3日木曜日

「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」について:学習済みモデルによる「虹機械-擬き」とは何か?

 本記事では、三輪眞弘さんと私の共作「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」(2024)の紹介を対話形式で試みます。本ブログでは、作品の紹介は(三輪さん自身によって、或いは他の方によって)既に為されていることとして、三輪さんの作品の演奏に接した感想や、作品を支えている三輪さんの考え方についての考察を試みて来ましたが、この作品については、共作者という従来とは異なった立場にあることも与って、作品紹介を試みることにしました。

 作品紹介を試みようと思い立った背景としては、近年の大規模言語モデルに基づく生成AI技術の急激な進歩があります。それが直ちにAGI(Artificial General Intelligence)に繋がるわけではなく、ましてやシンギュラリティに繋がることもないとは言え、最近リリースされたモデル(例えばGPT-4、更にはごく最近リリースされたGPT-4.5)では、未だ完全ではないもの、従来は解けなかった人間向けのテスト問題に対して人間以上の正解率で(しかも人間には不可能な短時間で)回答できるようになっているようです。以前、日本国内でも「ロボットは東大に入れるか」プロジェクトというのがありましたが、その当時はプロジェクトでの対応は勿論、海外の最先端の技術をもってしてもまだまだ対応できるのは当分先の話であろうと思われていた、何段階かの推論を伴うようなタスクについても、特にこの数年間の大規模言語モデルの急激な精度向上の結果、既に人間以上の精度で正解を出すことができるようになっており、東大にAIが入ることは十分に現実的になってきているようです。その結果、従来の書籍や論文の調査、Web検索といった方法に替わり、生成AIベースのエージェントとの対話が情報収集の現実的な手段になってきました。そうした状況を踏まえ、本ブログでは「三輪眞弘について生成AIに聞いてみた」と題して、三輪さんに関連する情報収集、プログラムの作成、Webページの作成を生成AIに対して行い、その結果を何回かに分けて報告してきましたが、適切なプロンプトを与えることによって、「またりさま」の状態遷移をシミュレートするプログラムやWebページの作成を行うことができる一方で、特に事実に関わる情報収集の一例として偶々「虹機械」について行った問い合わせを行ったケースでは、近年大きな問題となっている「幻覚・ハルシネーション(Hallucination)」、つまり生成AIの基盤となっている大規模言語モデル(LLM)が事実に基づかない出力をする結果、ChatGPTをはじめとする生成AIベースの自然言語による対話プログラムがフェイクを「でっち上げ」て、まことしやかに回答する現象が頻発するのを目の当たりにする結果となりました。

 その理由として幾つかの要因が考えられますが、その一つとして大規模言語モデルの事前学習データが英語の言語データが中心であることから、その内容についても情報の偏りが生じ、特に日本固有の情報は学習の対象となってない可能性があります。より根本的には、そもそもデジタル化されていない情報は学習の対象になりようがありませんが、大規模言語モデルの特性上、デジタル化されてはいても、非言語的な情報、特に本ブログの対象領域である三輪さんの活動に関する情報では、MIIDデータ、音声データ、音響データ、更には楽譜の画像データの内容は、直接には学習の対象になっていないものと思われます。勿論、画像生成の領域が既にそうなりつつあるように、大規模言語モデルのマルチモーダル化も急激に進んでおり、音楽情報処理や音響処理との融合も時間の問題かも知れませんが、現時点において大規模言語モデルベースの生成AI技術を利用しようとした時には大きな制限となっているように見受けられます。そうした制限のうち、日本固有の言語情報が学習の対象となっていない点に限れば、問題を解消するために現時点で活用できる手法の一つとしてRAG(Retrieval-Augumented Generation)があり、これについては、簡単なものではありますが、試作・検証を行って効果が見られることは既に報告済ですが、その一方で「虹機械」についての生成AIへの問い合わせを含む一連の調査・検証を通して、基本となる事実をWeb上で発信することの重要性を強く感じました。そこで早速、ささやかながら第一歩として、主要作品表のcsv版を公開したり、これまで参考文献の紹介に限定されていた三輪さんに関する基本情報のページを拡張するなど、すぐにできる部分から対応に着手したところですが、それに加えて「虹機械」についての説明記事を公開することは、個人的に一つの宿題となっていたという事情もあります。

 以上、前置きが長くなりましたが、本記事で作品の紹介を試みるのは、そうした認識を踏まえた状況への応答の試みの一つとして捉えて頂ければと思います。なお上述の経緯もありますのでお断りする迄もないかも知れませんが、本稿執筆にあたっては生成AIは全く使用しておらず、昔ながらのやり方で執筆を行っています。

*     *     *

「虹機械」とは?

「虹機械」とは、三輪眞弘さんの「新調性主義」というコンセプトに基づく一連の作品群の名称です。

 

「虹機械」の名称を持つ作品を挙げてください。 

「虹機械」の名称を持つ作品としては、これまでに以下の作品があります。

    • 「虹機械」ふたりの奏者のための単旋律(2008)
    • 「虹機械第2番 七つの照射」(2008)
    • 「虹機械 公案-001」(2015)
    • 「虹機械 はじまりのうた」(2015)

最初の作品はヴァイオリンとピアノのデュオ、以降の3作品はピアノ独奏のための作品です。最初の作品の初演にあたって三輪さん自身が執筆した文章「≪虹機械≫作曲ノート」があります(『三輪眞弘音楽藝術――全思考一九九八ー二〇一〇』, アルテスパブリッシング, 2010 所収。p.228以降。なお同書p.228では、「虹機械」ふたりの奏者のための単旋律の編成をヴィオラとピアノとしていますが、これは誤りです。)。また、各作品の演奏に接した記録として本ブログには以下の記事があります。


「虹機械」の作品に共通する特徴は? 

最初の作品の副題が物語るように、「虹機械」系列の作品は単旋律であることが特徴で、しばしば大きな跳躍進行を含む急速な16分音符(休符含む)の連続からなるパッセージが続き、その点では伝統的には「無窮動」(perpetum mobile)と呼ばれるタイプに属します。三輪さんの他の作品同様「虹機械」もまた、アルゴリズミック・コンポジションの手法で作曲されており、前の2つの音を見て次の音を五度圏の考え方に基づいて決定する状態遷移規則に従うオートマトンを基本的な構造として持っています。

ただし実際の作品は、状態遷移規則に従う完全に決定論的な音の系列ではなく、一定のタイミングで突然変異的にランダムに音を別の音に置き換える(五度圏上の操作なので、ピッチクラスの別のピッチクラスへの置換となりますが)ことによって、軌道が偏倚し、音の系列が描き出す軌道に多様性が産み出されるようになっています。第2番の副題「七つの照射」というのは、そうしたランダムな音の変化を放射線照射によって生じる突然変異に喩えたものです。

 

「逆シミュレーション音楽」との関係は? 

規則に従って生成された音の系列を人間が演奏するという点で、「逆シミュレーション音楽」の一種としてみることも可能ですが、一連の「逆シミュレーション音楽」とは異なり、奏者は規則に従って音の系列を生成していくのではなく、予め通常の五線譜に記譜された音の系列をリアライズするという点が異なります。

 

「虹機械」という「命名」の由来は?

なぜ「虹機械」と名付けられたかについての、三輪さんの他の多くの作品におけるような、「…という夢をみた」という「由来」となるカバーストーリ―はありません。その一方で、「≪虹機械≫作曲ノート」には、以下のようなくだりがあります。

「しかし、アルゴリズムという「自動機械」によって選ばれた音の集まりはいったい、音楽と呼べるのか?……そう問うよりも、ぼくは逆に「音楽とは規則に従って選ばれた音を身体を使って発音することである」と新たに定義しようと考えた。それはアルゴリズム、すなわち論理機械であるコンピュータに書き込まれたプログラム・コードの人力によるリアライゼーションであり、演奏家は音符というフォーマットに変換されたデジタルな演算結果を読み取り、アナログ次元で発音する「D/A変換器」ということになる……」(三輪眞弘「≪虹機械≫作曲ノート」, 『三輪眞弘音楽藝術――全思考一九九八ー二〇一〇』, アルテスパブリッシング, 2010 所収。pp.233~4)

 ここでは「機械」とは、状態遷移規則に従って音の系列を出力するオートマトン(自動機械)のことを指しています。従って「虹機械」の「機械」の由来は、作品が状態遷移規則に従うオートマトン(自動機械)が生成する音の系列を基本としていることに基づくと考えられます。更には上の引用では演奏者が「D/A変換器」に喩えられていますが、同じ文章の後続する部分では、演奏者に関して以下のようにも述べられています。

「ふたたび「接続せよ」……この命令はまた、「方法マシン」(からはじまった「手順派」)の試みを西洋音楽の技芸に「接続」するという意味でもある。現実に存在しない「ありえたかもしれない技芸」を、この世界で実現する「方法マシン」のコンセプトを、既存の西洋音楽に重ね合わせること、それは長い伝統によって育まれてきた楽器や演奏技法、様式などをすべてリセットし(たとえそれが不可能なことだとしても)、演奏家を、楽器という物体の特性を知り尽くし、磨き上げられた運動能力を駆使して定められた音を”発音”する高性能で普遍的な「マシン」だと考えてみることだ。」 (p.235)

「方法マシン」および「手順派」についての詳細な説明をしようとすれば、「方法主義」「逆シミュレーション音楽」についての説明をすることになり、あまりに扱う領域が広がり過ぎるため、ここでは割愛させて頂く他ありませんが、上記引用から読み取れるように、「逆シミュレーション音楽」のコンセプトにより産み出される「ありえたかもしれない音楽」を実現することが「方法マシン」のコンセプトであり、そうした音楽に関する根源的(ラディカル)な問い直しをする立場から西洋音楽を眺めた時に、演奏家を「マシン」として捉えることができるということが述べられています。「アルゴリズムという「自動機械」によって選ばれた音の集まりを身体を使って発音する」演奏者もまた「機械」であり、結果として「虹機械」の「機械」は、演奏家のことでもあることになるのではないでしょうか。

それでは「虹機械」の「虹」の方はどうでしょうか?こちらについて「≪虹機械≫作曲ノート」の中に手がかりを求めようとしても、直接的にはなさそうに見えます。そこで三輪さんの他の作品に範囲を拡げて、手がかりになりそうなものはないかと記憶を辿ってみると、直ちに、「虹の技法 ≪Harmonia I≫」と名付けられた、ヴィオラとピアノのための作品が思い浮かびます。この作品は「369 ≪Harmonia II≫」と命名され、「蛇」と「虹」と題された2部よりなる弦楽六重奏曲、「弦楽のための、369 B氏へのオマージュ」と命名された弦楽合奏のための作品とともに一連のシリーズを形成しています。(なお、このシリーズにおいても「虹機械」と同様、甲斐史子さんと大須賀かおりさんのデュオROSCOのために書かれた作品が第1作となっている点は指摘しておきたく思います。もっとも「虹の技法」はヴィオラとピアノのデュオなのに対して、「虹機械」の方はヴァイオリンとピアノのデュオのための作品ですが。) 

このシリーズの作品は、中沢新一さんの『虹の理論』で紹介されている、レヴィ=ストロースが南米で取材した「虹と蛇」の神話に基づいていて、「369」というのはその神話に因んだ中沢さんの小説の題名でもあります。こちらについても、その詳細をここで説明するのは断念せざるを得ませんが、これらの作品で用いられている「虹の技法」が、弦楽器の開放弦(五度圏上で考えれば、完全五度の重ね合わせの関係にあることになります)のうち二本を使ったトレモロとフラジオレットによるハーモニクス(倍音)に基づいていて、「第X弦の第Y倍音」を単位とする演算規則による状態遷移規則によって状態変化が決定されていることに留意しておきましょう。つまり「虹」というキーワードを共有するこれらの作品は、西洋音楽の楽器を用い、五度圏の考え方に基づきながらも、西洋音楽とは異なったシステムによる「ありえたかもしれない音楽」であり、そのシステムによって実現される音響の効果が「虹」に喩えられていることになります。そして大きく見れば、西洋音楽の楽器を用い、五度圏の考え方に基づきながらも、西洋音楽とは異なったシステムによる「ありえたかもしれない音楽」であると言う点では「虹機械」のシリーズの作品もまた同じコンセプトに基づいていることに気づかされます。

一方で「虹機械」のシリーズの作品は、同じ五度圏の考え方に基づいてはいても、「単旋律」であり、4曲のうち3曲までもがピアノのための作品ですから、ここでの「虹」は弦楽器の開放弦上の倍音に基づく「虹」とは異なったものと考えられます。結論を述べると、直接そのように語られてはいないものの、ここでの「虹」は、五度音程の積み重ねに基づく状態遷移規則によって生み出される音の系列が明瞭度を変えながら様々な調性を(非西洋音楽的な仕方で)遍歴することによってもたらされる色彩の変化を喩えたものだと言えると思います。そういう意味では、再度最初に立ち返って、第一義的には、虹のような調的な変化を生み出す状態遷移機械(オートマトン)のことを「虹機械」と呼んでいると言えるのではないでしょうか。

 

「新調性主義」とは?

「新調性主義」は、「逆シミュレーション音楽」の定式化と実践の経験に基づき、そのコンセプトを西洋音楽に「接続」することを目指して、2008年1月にICC(インターコミュニケーションセンター)で発表されたコンセプトで、「虹機械」と命名された一連の作品は、そのコンセプトの実現という関係にあります。「逆シミュレーション音楽」において「音楽」が成立する前提条件を根本から考え直して再構成した経験に基づき、西洋音楽の前提を考え直し、楽器も記譜法も、五度圏に基づく調的なシステムに基づくという点も、コンサートホールでの演奏という制度的な側面も西洋音楽のフォーマットを踏襲しながらも、「思弁の音響化」に向かう西洋音楽の伝統(およびその帰結としての無調や十二音技法の音楽、或いは特殊奏法による音楽)とは異なったシステムに基づいた「ありえたかもしれない西洋音楽」を試みるものと要約できると思います。なお「新調性主義」に関連した本ブログの記事として「新調性主義」発表の場となった上記のICCでのイベントをライブ・ストリーミングでオンライン視聴した記録と、私が自分なりの展望で「新調性主義」について考察をした小文がありますので、参考にして頂ければ幸いです。

 

「虹機械 はじまりのうた」とは?

「虹機械」シリーズの第4作にあたり、第9回浜松国際ピアノコンクールの第2次予選課題曲として2015年に作曲されたピアノのための作品です。261小節よりなり、演奏時間は約7分。楽譜はマザーアースから出版されています(M0122)。

 

「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」とは?

私がが「虹機械 はじまりのうた」を素材にしてPythonのライブラリPyTorchのLSTMモデルを用いた機械学習の実験において、原曲の音の系列を模倣することに成功した結果に基づき、三輪さんがMAX/MSPを用いてシミュレータおよびWeb画面など、作品の中核部分を作成し、「配信芸術」として公開した作品です。

機械学習実験の結果については、2024年10月に本ブログに公開した以下の記事にて報告しています。

その後作品化の作業が行われ、作品の「配信」は2024年12月に開始され、一時期の中断を挟んで現在も以下のリンク先で公開中です。

作品はOSC(Open Sound Control)を用いて通信を行うサーバーとクライアントの2つのプログラムから構成されます。一つは単旋律の断片(8音分)を与えると、上記実験の結果に基づいて次の1音を予測して返すサーバープログラムでこれは私がpythonで作成、通信部分はpython-oscライブラリを使用しています。クライアント側は三輪さんが作成したMAX/MSPのプログラムで、OSCを用いた通信により、サーバーを使って「虹機械 はじまりのうた」のシミュレーションを行いますが、原曲同様、サーバーが返す音を一定のタイミングでランダムに変更する「照射」を行う他、Web画面の描画・制御を行う作品の本体部分を担当します。従って共作という形をとっていますが、作品化フェーズでの私の役割は実質的に、機械学習の結果に基づいて与えられた音の系列から次の音を予測するプログラムの作成のみで、単に素材を提供して、OSCでアクセスできるような形にしただけであり、作品化の本質的な部分は全て三輪さんの手になるものであることを述べておきたく思います。
作品化に挑戦することが決まった後の、私が担当したサーバー側の作業の手順としては、まずColaboratory上で行っていた機械学習の実験用のPtythonのコードから、学習済みモデルをロードして評価する部分のみを切り出して、単独で動作するPythonプログラムを作成する作業を事前に済ませ、その後 MAX/MSPのプログラムから学習済みモデルを呼び出す方法について三輪さんと相談しました。実現方法について幾つかの選択肢を調査しましたが、OSCを用いることが決まってからは、切り出したPythonプログラムのコードがごく小規模(コメント等を含めても50行程度)であったこともあり、作成を開始した翌日にはサーバープログラム(こちらも全体で100行に満たない規模です)を三輪さんに送付することができました。作品化に挑戦することが決まったのが2024年の11月17日、通信方式の調査等を経て、OSCに決定し、ブログラムが完成して三輪さんに送付したのが11月23日、その後三輪さん側のMAX/MSPの開発が始まり、テスト、試験放送を経て三輪さんから公開のご連絡を頂いたのが12月5日ですから、差し渡しでも1ヵ月足らずで完成させることができました。勿論これは三輪さんにお忙しい中対応頂いたからこそ可能になったことで、改めてこの場を借りて三輪さんに感謝致します。
 

「学習済みモデルによる「虹機械-擬き」」とは?

この作品は、上述のようにニューラルネットワークによる機械学習の訓練結果を用いていますが、訓練によってネットワークの重みが適切に調整され、今回の場合であれば「虹機械 はじまりのうた」の音の系列の模倣が行えるようになった状態を保存したものを「学習済みモデル」と呼びます。具体的には、単旋律断片を入力として与えると次に続く1音を予測するよう設計されたニューラルネットワークに「虹機械 はじまりのうた」の一部を順次切り出しては次の音を予測させる訓練を行い、それなりの長さ(曲の冒頭1000音以上)を正しく予測できた学習済みモデルを使っています。(ニューラルネットワークの構成や訓練の条件などの詳細は、上記の学習実験の報告記事をご覧ください。)

ところで上記の学習実験の報告記事にも記載している通り、今回使用した学習済モデルは作品の全系列を完璧に予測できるわけではありません。その理由は、「虹機械」の作品に共通する特徴の項で述べたように、元の作品自体が状態遷移規則のみに従って生成された、完全に決定論的な音の系列によっておらず、一定のタイミングで突然変異的にランダムに音を別の音に置き換えることによって音の系列が変化するからです。音の変化がどのように起きるかは非決定的で確率的なものなので予測は困難であり、結果的に作品に採用された系列に含まれる確率的な攪乱について予測することは不可能です。今回作品化にあたり使用した学習済みモデルも、作品冒頭から1000音程度までは正しく予測できるものの、途中で誤りが生じ、その後は概ね状態遷移規則に従ってはいるものの、原曲とは異なった音の系列を生成してしまうので、模倣は完全ではありません。(ただし、規則に従って系列を再現しようとする「方法マシン」=人間と異なって、学習済モデルは与えられた系列に後続する可能性が最も高い音を、調整して固定された重みづけに従って計算して返すだけなので、それが規則通りなのか誤っているかの認識はありません。言うなれば、ここでの学習は自動的な挙動に関するものであり、完全に無意識的に行われ、そこに意識が介在することはありません。)

「虹機械-擬き」という三輪さんによる命名は、そうした学習済モデルの挙動に基づくものです。しかしながら「擬き」であることは、単に模倣が不完全であるというネガティブな側面のみを持つわけではありません。逆に「擬き」であることが、産み出される音の系列を聴く人間にとって、そこに「新しさ」を見出し、それに基づいた「作品」を作ることを促す要因になったという側面があるように思います。それはこの作品を構成するプログラムのうち、単旋律の断片を与えると、次の1音を予測して返すサーバープログラムを、オリジナルの「虹機械 はじまりのうた」のエミュレータに置き換えた場合を考えれば明らかになると思います。勿論、そのプログラムを利用するクライアント側のプログラムが行う「照射」による音の系列の攪乱のさせ方などに工夫の余地はあるものの、それを除けば、例えば「またりさま」の状態遷移過程過程をシミュレートするプログラムと構造的には変わるところがないことになります。それに対して「擬き」が生成する音の系列は「虹機械 はじまりのうた」以外のものでない、いわば「らしさ」を備えたものでありながら、その生成を実現している仕組みは異なるものです。

 

「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」という命名の由来は?

繰り返しになりますが、この作品で用いている学習済モデルの模倣は完全ではなく、正しく模倣できるのは原曲の冒頭から1000音程度までに過ぎません。またこの作品で用いている学習済モデルの挙動として、予測誤りが生じた後、アトラクタに捕まって一定の長さの系列を反復する状態に陥ることがしばしば起きますが、これを回避しているのも三輪さんのプログラムで、音をランダムに置き換える「照射」を行うことによって軌道がリミットサイクルに収束することを防いでいます。

更にこの作品は、三輪さん作曲の「虹機械」のシリーズの作品のような「終わり」を持たず、人間が聴くのを止めない限り単旋律の生成を続ける一方で、「照射」による音の系列のリセットにより、時として原曲の冒頭部分の系列が再現されることがあります。原曲の冒頭部分が反復されつつ、更なるランダムな軌道の攪乱により、その後の単旋律は都度異なったものになりますが、にも関わらずそれは五度の積み重ねに基づく状態遷移規則に厳密に従ったものです。その結果として原曲冒頭部分をテーマとした変奏が永遠に行われるような様相を呈することになることから、三輪さんが「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」というように命名したものです。

学習済モデルの模倣に限界があるということについては、単に学習が不十分であるに過ぎず、更にパラメータを調整することで改善ができる可能性も否定できませんし、仮にそれにも限界があったとして、それは模倣実験に使用したニューラルネットワークモデルの限界に過ぎないという見方も可能でしょう。今回使用したニューラルネットワークモデルはリカレントネットワーク(RNN)の一種で、単純なRNNの問題点を改善するために、メモリセル、入力ゲート、出力ゲート、忘却ゲートといったメカニズムを導入することで、短期の時間依存性だけなく、比較的長期の時間依存性を学習できるように改良されたネットワークモデルであるLSTM(Long Short-Term Memory)です。しかしながらLSTMは回帰ネットワークの基本的なアーキテクチャの上での改良ですから、過去の音の状態を隠れ状態として隠れ層に保持するものの、用いられるのは最も過去からの状態を集約して保持している最後の隠れ状態だけであり、過去の履歴を1つのベクトルに集約して表現するというメカニズムは変わりません。従って記憶するシーケンスが長くなると学習中のネットワークの更新により、累積された長期の時間依存性の情報が喪われてしまう、いわゆる「勾配消失」の問題から完全に逃れることができません。それに対して近年提唱され、自然言語処理分野に適用されてブレイクスルーをもたらしたTransformerは、Attention機構という、時間的に離れた位置にある音の間の関係も含めてシーケンス中の音の間の関係性を計算する仕組みを持っており、長期依存性を効果的に扱うことができます。Attentionの基本的な考え方を回帰ネットワークとの比較で説明するならば、過去の状態を隠れ層の最後の隠れ状態に集約してしまわずに、隠れ層に保持されている全ての状態を用いて各時刻ごとの影響の度合いの違いを扱うことを可能にすることにあります。実装上はAttention層というレイヤを導入することによって音のシーケンスにおける各音の間の関連性の度合いを違いを表現し、関連性が高い部分に注意(Attention)を向けることを可能にしています。詳細は割愛しますが、例えばTransdormerをベースにして更に音楽に固有の工夫を凝らしたMusic Tranformerでは、従来の時系列モデルでは対応できなかった楽式レベルの構造や一貫性を学習することができることが示されており、このような新しいアーキテクチャのニューラルネットワークを用いれば、更に長い系列の模倣ができる可能性があります。

しかしながら、「虹機械」という作品の構造を考えてみた時、「照射」による軌道の変化も含めた作品の全系列を模倣することに意味があるでしょうか?これは本作品の作成時のやりとりの中で三輪さんにご指摘頂いた点ですが、「照射」というのは、オリジナルの「虹機械」においても基本的なアルゴリズムに組み込まれているわけではなく、いわば「例外」として追加されている仕掛けです。しかもそこでの軌道の偏倚は偶然的なものであり、規則性はありません。既に述べた通り、作品を構成するプログラムの構造も、学習済みモデルを使って基本的なアルゴリズムの部分をひたすら模倣するpythonのプログラムと、それを制御し、周期的に「照射」を行って軌道を変化させつつシミュレーションを行うMAX/MSPのプログラムという役割分担になっており、これはモジュール分割として自然なものだと思います。そして何より、周期的に「照射」を行いつつ生成される系列は、オリジナルの作品において「照射」があった後の音の系列の振る舞いの再現になっているという三輪さんから頂いた指摘が、今回使用した学習済みモデルが、仮に模倣実験の成果としてはなお改善の余地を残すものであったとしても、「作品」を作り出すために利用するに充分であるということを告げているものと私は受けて止めています。

 

この作品はオリジナルの「虹機械」の単なる模倣であって、芸術的な「作品」とは呼べないのではないか?ましてや「音楽」作品とは呼べないのではないか?

これまでの説明から、この点についてははっきりと「そうではない。これは「作品」として成立している。それが「音楽」作品であるかどうかは「音楽」の定義によるが、一般的な意味合いでは「音楽」作品と呼びうる。」というように答えることができると考えます。

私がもともと行ったのは、「虹機械 はじまりのうた」と「虹機械 公案-001」を素材としたLSTMを用いた機械学習による模倣の実験でした。ニューラルネットワークを構築し、パラメータを調整して、生成結果が原曲と一致するように学習を行うことが実験の目的であり、原曲と同じ音の系列がどれだけ長く生成できるかが評価の対象でしたから、これ自体は「音楽」とも「作品」の制作とも無関係の行為です。

そして模倣実験の成果として評価した場合、より長い系列の模倣に成功した「虹機械 はじまりのうた」ですら、約1000音分の系列の模倣ができたに過ぎず、これは261小節あるオリジナルの作品全曲の1/4程度に過ぎませんから、既述の通り、模倣実験としては更に改善の余地があるかも知れません。

しかしながらそのような模倣としては未完成な学習済みモデルを利用して出来上がった作品の方は、「虹機械 はじまりのうた」の模倣ではなく、全く別の作品、人間が行ってきた作曲とのアナロジーを用いるならば、原曲を主題とした変奏であり、まさに三輪さんが命名したように「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」と呼ぶのが相応しい、新しい作品です。

既に命名の由来のところで述べたことの繰り返しになりますが、まずこの作品は原曲と異なって「終わり」を持ちません。のみならず生成される音の系列は、オリジナルより短い周期で行われる「照射」を受けて、その軌道をどんどん変えていき、その変化の仕方は偶然的なものですから、原曲と違って「閉じた」構造を持たない、「開かれた」構造を持っているという点も根本的な違いです。結果として、しばらく続けているうちに、原曲の冒頭が再現しますが、その後の系列は「照射」によって全く異なったものに「変奏」されていきます。

ここで興味深いのは、学習済みモデルが、原曲の基本的な「状態遷移規則」のみを学習しているとは言い難い点です。事前学習は「照射」による軌道の変化も含めたオリジナルの全曲の音の系列を用いて行われました。ということは学習は「照射」によって生じた軌道の攪乱が起きた時の系の挙動も含めて行われているということであり、「状態遷移規則」自体を学習しているとは言えません。また細かいところでは、オリジナルの状態遷移規則を単純に適用すると、ピアノで弾ける音域からはみ出た音が生成されることがありますので、原曲のアルゴリズムにはその場合にピアノで弾ける音域にいわば「折り返す」仕組みが備わっています。それに対して機械学習は、「折り返された」結果を元に行われ、しかも今回私が構成したニューラルネットワークモデルは、その構造上、原曲の最低音から最高音までの音のうちどの音が次にくる確率が最も高いかを計算し、最も確率の高い音を返すように設定されているので、原理的にいって本来の状態遷移規則を再現することはできません。勿論、ニューラルネットワークの設計を変更した上で、オリジナルの状態遷規則とピアノ音域の制限による例外処理を分離して学習することができる(ということは同時に、例外規則が想定しているピアノの音域を正しく推定することもまたできる)可能性を否定するものではありませんが、ことここで作品を作るために利用した学習済みモデルが、ピアノの音域の制約で「折り返し」が生じる場合を「例外」として認識するということはありえません。まさに三輪さんが「擬き」と命名した所以であって、実際には学習済みモデルは、よく似ているけれどもわずかに異なった別の規則に従った音の系列を機械的に生成し続けていることになります。見方を変えれば、「擬き」が結果的に持つことになった「新しさ」を見出すことが出来、それを「作品」に生かすことができる可能性があって、三輪さんはその可能性に気づいて作品化を思い立ったのだと思います。このような「擬き」を明示的にプログラムすることは原理的に困難なので、これは機械学習の(工学的な目標における)不完全さを逆手にとって、その結果を創造的に活用する可能性を示したものと捉えることができるように思います。

最後にこの作品は「配信芸術」です。三輪さんの作品の中には、上演の際の状況的な制約を逆手にとって「配信芸術」として実現した「五芒星」の系列の作品もありますが、それとは別に、これもまた現在も三輪さんのWebページのリンクから視聴ができる「新しい時代」系列の「布教放送」のような作品もあり、今回の作品は形態的にはそちらに近いものになっています。

ところで三輪さんは「音楽とは規則に従って選ばれた音を身体を使って発音することである」 と定義しており、この作品は「身体を使って発音する」という契機を欠いているから、その意味で「音楽」とは言えないのではないかという問いがあるかも知れません。 

確かにオリジナルの「虹機械」は、既述の通り「新調性主義」というコンセプトに基づいた作品群ですが、ここでは「方法マシン」としての人間の演奏者によるリアライゼーションという契機が欠落しています。「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」が、それとは別のコンセプトに基づいた作品であることは明らかであり、厳密にはそれは例えば、録音された演奏の記録が「録楽」として「音楽」とは区別されるように、三輪さんの定義する厳密な意味での「音楽」ではないことになります。最初に、それが「音楽」作品であるかどうかは「音楽」の定義によるが、一般的な意味合いでは「音楽」作品と呼びうるという言い方をしたのは、そのことを踏まえた上でした。

こうした立場からは、三輪さんの作品表に含まれる幾つかの作品は、その重要性や価値とは独立に「音楽」には含まれないことになります。例えば「ディテュランブ」のようなテープ音楽もそうですし、「再現芸術における幽霊、またはラジオとマルチチャンネル・スピーカーシステムのための、新しい時代」という作品をアクスモニウムというスピーカーシステムで再生したものを会場で聴くこともまた、(アクスモニウムでの再生には人間による高度なオペレーションが必要であり、それは「演奏」に準ずるものであるとしてもなお、)「音楽」を聴くこととは区別されるべき、ということになるでしょう。「新しい時代」の「布教放送」もそれ自体を切り出せば「音楽」ではなく、そうであるならば「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」もまた「音楽」ではないことになります。それは謂わば「定義上明らか」なことですから、それを敢えて否定することに意味があるとは思えません。

一方で、本稿で既に言及した「新調性主義」のコンセプト発表の際に、「新調性主義」の先駆として挙げられていたNomadische Harmonieのような「作品」は「音楽」そのものではなく、寧ろ楽器の制作に近いものですが、触れれば音が出て、それに応じて色彩が変化するマルチモーダル・インスタレーションのようなものとして捉えることができるでしょうし、三輪さんがマーチン・リッチズと共同制作したThinking Machineは、プリ・アルス・エレクトロニカの受賞作ですが、当然のこととして、ハイブリッド・アート部門での受賞となっています。広く芸術的な制作行為として捉えれば、Nomadische Harmonieが「新調性主義」の先駆であるように、「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」も「新調性主義」の派生作品であるということはできるでしょう。

ちなみに『配信芸術論』に寄稿した論文で述べている通り、デイヴィッド・コープの試みのフレームは、この作品の制作ではなく、私がもともと行った、「虹機械 はじまりのうた」と「虹機械 公案-001」を素材としたLSTMを用いた機械学習による模倣の実験において私がやったことと基本的に同一であり、彼はそれをマーラーやモーツァルトのような作品を素材として行っているに過ぎません。私の実験は模倣が目的であり、原曲と同じ、正しい音の系列がどれだけ長く生成できるかが評価の対象であり、コープの場合には「創造性」があることを確認することが目的だった筈なので、その限りにおいては両者は全く異なるものであるように思われるかも知れません。しかしながら結局のところ、コープの試みが生成結果おいて、素材として用いたマーラーやモーツァルトの作品と似ているかどうかを判断基準とされている限りで、それは本質的に模倣の実験と変わらず、「音楽」とも「作品」の制作とも無関係の行為にならざるを得ないと私は考えます。

その成果は確かに瞠目すべきものではありますし、Transformerのような技術が出てくる前に、いわば「手作り」でそれを成し遂げたことについては評価し過ぎてもし過ぎということはないと思いますが、あくまでもそれは工学的な視点でのものであり、それが「音楽」であるか、芸術的な「音楽作品」の制作であるかどうかかどうかはまた別の話です。彼のシステムが生成した音の系列を五線譜に採譜し、それを人間が演奏したならば、人間がリアリゼーションに介在することを契機とするという条件の方は充たしていることになりますが、そうであったとしても、彼が聴き手に求めていることを考えるならば、それは一般的な意味合いにおいても「音楽」とは異なったものであると言わざるを得ないと考えます。

それに対して、機械学習による模倣実験の結果である学習済みモデルを利用しているとはいえ、 「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」は、これまでに説明してきた内容から、三輪さんの言う「音楽」の定義には欠けるところがあるとしても、一般的な意味での「音楽作品」ではあると考えます。それは学習済みモデル自体が創造性を持っているからではありません。これも既に述べたことですが、それが単なる模倣に留まらず、似て否なる「擬き」であるのは、主としてニューラルネットワークの設計の仕方がもたらした結果であり、その限りで「人間」の設計行為の産物ですし、そこに「新しさ」を見出すのはあくまでも創作の主体である「人間」なのであり、創造性は人間の側に帰せられるものです。
勿論、近い将来にAIエージェントが設計や制作の主体となることが現実に起きることとしてイメージできるような状況になってきましたし、シンギュラリティについてもまた、最早理論的に想定された空想裡のものではなく、現実的なものになって来たと思いますが、三輪さんの「音楽」の定義において「人間」が占める位置をAIエージェントが占めるためには、現在の技術の限界を超える更なるブレイクスルーが生じるための時間が必要であり、今しばらくは、「音楽」はかつての「人間」の末裔たる、消滅寸前の生き残りである我々のものであり続けそうです。とはいうものの、我々は今やAI技術によって生み出される様々な「擬き」に対峙し、それらと共存していかなくてはならなくなったということを、この作品の制作を通じて認識させられたように思います。

 (2025.4.3-4 暫定稿)