三輪さんの作品のうち「虹機械」シリーズの特徴についての質問をGemini、Claude、ChatGPTに対して行った結果については既に別の記事にて報告済ですが、本記事では、その結果が思わしくないことを受けてRAG(Retrieval-Augumented Generation)を試作して問い合わせを行い、効果を検証してみたところ、妥当な回答を得ることができたので、その結果を報告します。RAGの構築は、山田育矢(監修・著)・鈴木正敏・西川荘介・藤井一喜・山田康輔・李凌寒(著)『大規模言語モデル入門II』(技術評論社, 2024)の第13章で紹介されているサンプルに基づいて行いました。データとしては、本ブログの記事のうち三輪さんの活動・作品への関連性の高いもののテキスト部分を適宜抜粋して使用しました。
上掲書ではRAG構築のサンプルを示す際に、東京科学大がMeta Llama 2の日本語能力を強化した大規模言語モデルであるLlama 2 Swallowシリーズの最も基本的なモデルであるSwallow-7b-hfに対して、同書11章で紹介されている指示チューニングを行った独自モデル(llm-book/Swallow-7b-hf-oasst1-21k-ja、以下、LLM Book版指示チューニング済Swallow 7bモデルと呼ぶことにします)を用いていますので、同モデルに対してRAGなしで問い合わせた結果も併せて示します。更に13章3節で行われているAI王データセットを用いた指示チューニングを行ったモデルでの検証(llm-book/Swallow-7b-hf-oasst1-21k-ja-aio-retriever、以下、LLM Book版AI王指示チューニング済Swallow 7bモデルと呼びます)も追加で行いましたが、このモデルはクイズへの回答用に短く端的な回答をするようにチューニングされているので、特に本稿での1つ目の特徴を問い合わせるプロンプトには向いていないため、相対的には具体的な、2つ目の「虹機械」についての問い合わせのプロンプトでの検証の結果のみ報告します。整理すると検証の対象としたモデルは以下の通りになります。
- LLM Book版指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja)
- LLM Book版指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja)+ 本ブログ記事に基づくRAG
- LLM Book版AI王指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja-aio-retriever)+ 本ブログ記事に基づくRAG(質問2のみ)
またRAGで用いる文埋め込みモデルについても、同書のサンプルで使われている北京智源人工智能研究院(BAA, Beijing Academy of Artificial Intelligence)のBGE-3をそのまま用いています。
一方、RAGに与えるデータについては、サンプルでは日本語版Wikipediaのデータを使用していますが、日本語版Wikipediaの三輪さん関連の情報は現状極めて貧弱で、三輪さん自身についての記事が1つあるのみであり、カテゴリーも存在しません。そこで本ブログ「山崎与次兵衛アーカイブ 三輪眞弘」の記事から三輪さんの活動・作品への関連性が相対的に高いと判断した75記事からテキスト部分を適宜抽出、必要に応じて一部を削除するなどの最低限の編集をした上で、上掲書のサンプルのフォーマットに合わせてjson化したものを用意して使用することにしました。それ以外については、文埋め込みモデルによるベクトルインデクスの作成のためのパラメータなどの各種パラメータ類も含め、基本的にはサンプルコードをそのまま用いています。
上掲書では、RAGが解決を目指すLLM(大規模言語モデル)の5つの課題として以下を掲げています(同書 pp.125~7)。
- LLMが事実に基づかない出力をしてしまう
- LLMの出力の根拠を調べるのが困難
- LLMが学習する情報の制御が困難
- より新しい情報や異分野のデータへの適応が困難
- 知識を扱うために大規模なモデルが必要
本ブログで扱っているような限定されたニッチな領域への生成AIの適用を考えると、上記の3,4がまさに該当しますし、これまでの検証実験で1,2,が大きな問題であることは確認・報告済です。5.に関して言えば、今回用意したデータは、本ブログに含まれる三輪さんの活動・作品への関連性の高い75記事のテキスト部分(一部削除などの編集あり。文字数897497文字)、文埋め込みモデルを用いて作成したベクトルのインデクス数は3105ですから極めて小規模なデータでの補完を試みていることになります。なお、本稿末尾にRAGに入力した75記事の一覧を掲げます。
既述の通り、検証用に与えたプロンプトは、これまで連載記事「三輪眞弘について生成AIに聞いてみた」で使用したもののうち、プログラム作成やWebページ作成以外の情報の問い合わせを目的とした以下の2種類です。
- 三輪眞弘の作品の特徴は?
- 三輪眞弘の「虹機械」とは?
(2025.3.27 公開, 28 加筆修正の上、再公開)
* * *
(質問1)プロンプト: 三輪眞弘の作品の特徴は?
LLM Book版指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja)
- 三輪眞弘は日本の現代美術家で、テクノロジー、メディア、パフォーマンスを駆使した作品で知られている。彼の作品は、テクノロジーと人間の相互作用、アイデンティティと文化の関係、そしてテクノロジーが社会や文化に与える影響を探求している。
- 三輪の作品は、インタラクティブなインスタレーション、ビデオアート、パフォーマンスなど、さまざまなメディアを用いている。彼の作品は、音、光、動きを組み合わせて、観客の注意を引き、感情を呼び起こし、参加を促すようにデザインされている。
LLM Book版指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja) + 本ブログ記事に基づくRAG
三輪眞弘の作品の特徴は、多岐にわたる活動と独自の音楽理論に基づいています。主な特徴は以下の通りです:
- アルゴリズミック・コンポジション:コンピュータを用いた作曲技法を探求し、アルゴリズムに基づいて音楽を生成します。
- 逆シミュレーション音楽:コンピュータによるシミュレーションを人間の演奏によって再現する独自の音楽理論を展開しています。アルゴリズムによって生成された「指示書」に基づいて、演奏者が解釈し演奏を行います。
- 方法主義:音楽にお(以下略)
(参考) ベクトルインデックスを元に文書の検索を行うRetrieverの検索結果
[Document(id='5dd8e59c-5119-4b1d-9505-6ab03788c481', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 58, 'start_index': 1}, page_content='この記事では、「三輪眞弘について生成AIに聞いてみた(0):はじめに(連載開始にあたって)」の末尾で報告した、三輪さんの作品の特徴についての質問をClaudeにした結果を報告します。以下でご確認頂けるように、全般的な特徴づけについては概ね適切な要約になっているのに対して、具体的な作品の例示になると途端にフェイクが混じることが確認できたので、その点を指摘・訂正するやりとりを続けてみましたので、その経過も併せて、コメントつきでご紹介したいと思います。* * *プロンプト:三輪眞弘の作品の特徴は?Claude(2025.3.11)三輪眞弘の作品の特徴についてご説明します。三輪眞弘は、日本の現代音楽作曲家で、特にコンピュータ音楽とアルゴリズミック・コンポジションの分野で知られています。彼の作品の主な特徴は以下の通りです:1.'),
Document(id='8b828209-7ce6-4532-8871-c50cf6413c9f', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 57, 'start_index': 6287}, page_content='(2025.3.8)三輪眞弘さんの作品の特徴は、多岐にわたる活動と独自の音楽理論に基づいています。主な特徴は以下の通りです。アルゴリズミック・コンポジション:コンピュータを用いた作曲技法を探求し、アルゴリズムに基づいて音楽を生成します。逆シミュレーション音楽:コンピュータによるシミュレーションを人間の演奏によって再現する独自の音楽理論を展開しています。アルゴリズムによって生成された「指示書」に基づいて、演奏者が解釈し演奏を行います。方法主義:音楽における方法論を重視し、独自の理論を構築しています。メディア・アートとの融合:音楽とメディア・アートを融合させた作品を制作しています。多様な活動:作曲だけでなく、CD制作、著作活動、他分野のアーティストとのコラボレーションなど、幅広い活動を行っています。これらの特徴から、三輪眞弘さんは現代音楽における革新的な作曲家として評価されています。'),
Document(id='caffbda7-798d-4e8f-b50e-2b35cb6f8fc7', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 57, 'start_index': 6245}, page_content='公開)* * *プロンプト: 三輪眞弘の作品の特徴は?Gemini')]
* * *
- 三輪眞弘の「虹機械」とは、三輪眞弘が1980年代に制作した一連のビデオ作品である。これらの作品は、機械やテクノロジーの未来を探求し、人工知能、ロボット工学、サイバネティクスの可能性を探求している。
- 「虹機械」は、三輪が「虹の機械」と呼ぶ架空の機械を中心に展開する。この機械は、人間の知性と機械の能力を融合させ、人間と機械の境界線を曖昧にすることを目的としている
LLM Book版指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja) + 本ブログ記事に基づくRAG
- 三輪眞弘の「虹機械」は、彼の「新調性主義」と呼ばれるコンセプトに基づく一連の作品群の一部である。このシリーズは、機械学習による模倣の実験の題材として取り上げられ、その結果は報告されてきた。
LLM Book版AI王指示チューニング済Swallow 7bモデル(llm-book/Swallow-7b-hf-oasst1-21k-ja-aio-retriever) + 本ブログ記事に基づくRAG
ピアノとヴァイオリンのための作品
(参考) ベクトルインデックスを元に文書の検索を行うRetrieverの検索結果
[Document(id='ea4222c4-00ba-4396-aae8-161a7362e543', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 58, 'start_index': 2197}, page_content='*プロンプト:「独楽」「オルタナティブ・マシーン」「ハイパーソングⅩ-操り人形は壊れやすい-」は三輪眞弘の作品ではありません。Claude(2025.3.12)ご指摘いただき、誠にありがとうございます。私は三輪眞弘の作品について明らかに不正確な情報を提供しておりました。「独楽」「オルタナティブ・マシーン」「ハイパーソングⅩ-操り人形は壊れやすい-」は三輪眞弘の作品ではないとのことで、誤った情報を繰り返してしまい申し訳ありませんでした。三輪眞弘の実際の代表作としては、「虹機械」シリーズや「夢のガラクタ市」「逆シミュレーション音楽」などがあることは正確ですが、それ以外に私が挙げた作品名については誤りであったようです。私の知識の不足により、正確な情報をお伝えできず申し訳ありませんでした。ご訂正いただき、ありがとうございます。コメント:これで一通りの訂正が済みました。なおここで「虹機械」が回答に'),
Document(id='147253dc-37ac-4710-8aad-c5ec49077257', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 41, 'start_index': 0}, page_content='1.はじめに\u3000三輪さんの作品の系列の一つである「虹機械」については、これまで機械学習による模倣の実験の題材として取り上げ、その結果を報告してきました。最初はGoogle'),
Document(id='5a8f6b3c-b947-4b70-b1a3-9f7e5931344f', metadata={'source': '/content/drive/My Drive/Colaboratory/mmdocs2.json', 'seq_num': 13, 'start_index': 2994}, page_content='タイトルが付された「虹機械第2番」。「虹機械」は、三輪さんが「新調性主義」と呼ぶコンセプトに 基づく作品群のタイトルだが、私はそのうち、最初の作品であるピアノとヴァイオリンのための作品の初演には 接している。ちなみに「七つの照射」とは、ある規則によって変化してきた音楽があるパターンの繰り返しに 陥ったときに、奏者のかけ声とともにノイズを導入することで再び音楽が変化を始めるというメカニズムを 遺伝的アルゴリズムにおける突然変異に見立てたときに、その突然変異の原因となる放射線の照射を 暗示したもののようだが、東日本大震災により生じた福島の原子炉の炉心溶融事故を背景として 書かれたオーケストラ曲「永遠の光」も、作品の構造の背後には同じアルゴリズムが存在していて、 「虹機械」の系列の作品と見做すことができる。作品の構造についてはこの作品の初演者である田中翼さんの解説を読めば充分だし、')]
* * *
- Google Magentaを用いた『「虹機械」はじまりのうた』の学習実験ノート
- MIDIアコーディオンによるペルゴレージ「スターバト・マーテル」歌唱の試みについて
- NEO都々逸シリーズ「せんだいドドンパ節」初演の感想
- 「59049年カウンター」の状態遷移規則(「蛇居拳舞楽」)について
- 「59049年カウンター」世界初演を聴いて
- 「Musica ex Machina ―機械じかけの音楽 記念コンサート 自動ピアノ演奏会」を聴いて
- 「Musica ex Machina ―機械じかけの音楽」シンポジウム「機械と音楽」(2)「20世紀の音楽における機械の可能性」に参加して
- 「Musica ex Machina ―機械じかけの音楽」シンポジウム「機械と音楽」(3)「20世紀の音楽における機械の可能性」に参加して
- 「Musica ex Machina ―機械じかけの音楽」再訪記(1)
- 「Musica ex Machina ―機械じかけの音楽」再訪記(2)
- 「Musica ex Machina ―機械じかけの音楽」新作発表・演奏会について(「新作都々逸」の感想
- 「New Tonalism 新調性主義 ―逆シミュレーション音楽の彼方へ―」について
- 「POC#20」にて三輪眞弘ピアノ作品を聴いて
- 「TRANSMUSIC 2014」について
- 「いま中部電力芸術宣言について考える」。またもや遅れて、別の場所で、別々に、だが、にもかかわらず、共に
- 「ひとのきえさり」日本初演を聴いて
- 「アルゴリズミック・コンポジションの(不)可能性」についてのメモ
- 「シリーズ音の洪水 vol.1 現代音楽の冒険 三輪眞弘の世界」を聴いて
- 「スポーツ劇」を観て
- 「フォルマント兄弟の”お化け屋敷”」について
- 「フォルマント兄弟の”お化け屋敷”」再考:シンポジウム「メディアアートにおける音楽とはなにか」および「プレゼンテーション道場」報告書を受けて
- 「万葉集の一節を主題とする変奏曲」再演を聴いて
- 「三輪眞弘 Golden Nica 受賞記念報告会」に参加して
- 「三輪眞弘を理解するために:要約表」 説明 (2019.8.15)
- 「三輪眞弘音楽藝術」の題名についてのメモ
- 「中部電力芸術宣言」を読んで
- 「再現芸術における幽霊、またはラジオとマルチチャンネル・スピーカーシステムのための、新しい時代」を聴いて
- 「夢のガラクタ市」システム改訂版初演を聴いて]
- 「弦楽のための369 B氏へのオマージュ」を聴いて
- 「弦楽のための369 B氏へのオマージュ」再演を聴いて
- 「愛の賛歌 4ビット・ガムラン」東日本初演を聴いて
- 「新しい時代」への応答のための準備作業(2):ワーグナー「パルジファル」についてのメモ
- 「新しい時代」への応答のための準備作業(3):再び「言葉の影、またはアレルヤ」について
- 「新しい時代」への応答のための準備作業(4):(不)可能なアルゴリズミック・コンポジションの周辺を逍遥する
- 「新調性主義」を巡っての断想(2019.12.30-2020.1.3)
- 「時の逆流」および時間の「感受」のシミュレータとしての「音楽」に関するメモ
- 「歌えよ、そしてパチャママに祈れ!」再演を聴いて
- 「火の鎌鼬」再演を聴いて
- 「科学技術終結期」に旧人によって書かれたメモ
- 「舞楽 算命楽」日本初演を聴いて
- 「虹機械」の旋律の相関積分の計算結果について
- 「蝉の法」を4種類のアングルハープで聴き比べる
- 「言葉の影、またはアレルヤ」について(前半)
- 「赤ずきんちゃん伴奏器」「東の唄」の再演を聴いて
- 「魔法の鏡」に関する三輪眞弘氏に宛てた応答の断片、または「新しい時代」への応答のための準備作業
- 『三輪眞弘祭 清められた夜』にネットワーク越しに立ち会う:ライブ配信視聴の記録
- 『人形たちのための五芒星』初演にネットワーク越しに立ち会う
- 『母音廻し、または遠隔音響合成のための五芒星』にネットワーク越しに接して
- サラマンカホールでフォルマント兄弟編曲によるペルゴレージ「悲しみの聖母」を聴く
- ドイッチュ『無限の始まり』における持続可能性批判についてのメモ(
- フォルマント兄弟「フレディーの墓インターナショナル」 「デジタル・ミュージック」における6つのパースペクティブについてのメモ
- フォルマント兄弟「フレディーの墓インターナショナル」をめぐって
- フォルマント兄弟の「和音平均化アルゴリズム」をめぐって
- フォルマント兄弟の「和音平均化旋律・運指法計画」で用いられている制約プログラミングについて
- モノローグ・オペラ「新しい時代」の再演に接して(前半)
- モノローグ・オペラ「新しい時代」の再演に接して(後半)
- 三輪眞弘について生成AIに聞いてみた(0):はじめに(連載開始にあたって)・作品の特徴について(Geminiの場合)
- 三輪眞弘について生成AIに聞いてみた(1):作品の特徴について(Claudeの場合)
- 三輪眞弘について生成AIに聞いてみた(2):作品の特徴について(ChatGPTの場合)
- 三輪眞弘について生成AIに聞いてみた(3):「またりさま」のプログラムの作成(ChatGPTの場合)
- 三輪眞弘について生成AIに聞いてみた(4):「またりさま」のプログラムの作成(Geminiの場合)
- 三輪眞弘について生成AIに聞いてみた(5):「またりさま」のプログラムの作成(Claudeの場合)
- 三輪眞弘について生成AIに聞いてみた(6):「またりさま」のプログラムの作成(Web版)
- 三輪眞弘について生成AIに聞いてみた(7):「虹機械」について(GeminiおよびClaudeの場合)
- 三輪眞弘について生成AIに聞いてみた(8):「虹機械」について(ChatGPTの場合)
- 人工知能と音楽の未来・梗概と補遺
- 作曲家の個展2011「三輪眞弘」について
- 地球外からの「極東の架空の島」の眺望---三輪さんと吉岡さんの「ありえたかもしれない<音楽>」への応答の試み---
- 弦楽四重奏曲「皇帝」を聴いて
- 続・「虹機械」機械学習実験ノート補遺:生成系列長を長くした場合について
- 続・「虹機械」機械学習実験ノート(2024.12.18 更新)
- 落穂拾い:「人工知能と音楽の未来」の準備のための対話より
- 落穂拾い:『人新世の「資本論」』における芸術の価値についてー「ドイッチュ『無限の始まり』における持続可能性批判についてのメモ」余録
- 虹機械第2番「七つの照射」再演を聴いて
- 覚え書


