8枚の人物イラストで15通りの舞台表現。「僕のこと」映像制作の裏側

二音一幕では、Synthesizer Vの歌声とピアノを中心とした音楽カバー作品を制作しています。

映像については、一枚絵と歌詞表示を組み合わせ、歌声とピアノの演奏をゆっくり楽しめる構成を基本としてきました。

しかし、Mrs. GREEN APPLE「僕のこと」の映像制作では、少し違った表現に取り組みました。

11月6日の公開に向けて制作した今回の作品では、宮舞モカさんが歌唱を担当し、弦巻マキさんがピアノを演奏する舞台を描いています。

小さなコンサートホールを舞台に、二人の姿勢や表情が音楽に合わせて変化する映像です。

ただし、口パクや瞬きなどを常時行う、本格的なキャラクターアニメーションではありません。

「常に動かすのではなく、音楽の流れに合わせて姿勢を変える。」

その考え方をもとに、人物の姿勢差分を切り替える方式を採用しました。

一度切り替えた姿勢は、次の変化が必要になるまで維持します。動作を繰り返すことよりも、どのような場面で姿勢を変えるかを大切にしています。

今回用意した人物イラストは、弦巻マキさんが3枚、宮舞モカさんが5枚の合計8枚。

この8枚を独立したレイヤーで管理することで、理論上は15通りの姿勢の組み合わせを作れます。

実は、最初からこの制作方法を考えていたわけではありません。

当初は15通りの場面を、それぞれ一枚絵として制作しようとしていました。

ところが、画像生成AIを使った制作ならではの問題に直面し、映像の構成そのものを見直すことになったのです。

今回は、その試行錯誤と、少ないイラストで演奏シーンを作るための工夫について紹介します。

なぜ宮舞モカをピアノから離したのか

二音一幕では、歌唱者がピアノの前に座り、弾き語りをしているような映像を多く制作しています。

しかし「僕のこと」には、感情が大きく高まり、力強く歌い上げる場面があります。

そのような場面では、胸に手を当てたり、腕を伸ばしたりと、身体全体を使った歌唱表現を取り入れたいと考えました。

ピアノを弾きながら力強く歌う演奏者もいますが、今回の映像では、歌唱と演奏の役割を分けた方が、それぞれの身体表現を自由に作れます。

そこで、宮舞モカさんを歌唱者として舞台の右側に配置し、弦巻マキさんには左側でピアノを演奏してもらう構成にしました。

モカさんは歌声の感情を身体で表現する。

マキさんはピアノの強弱や演奏の流れに合わせて姿勢を変える。

二人の役割を明確に分けることで、ピアノ伴奏による独唱のような舞台表現を目指しました。

小さなコンサートホールという舞台

舞台には、木材の壁、赤いカーテン、暖色の壁面照明を組み合わせた、クラシックなコンサートホールをイメージしています。

当初の背景では、照明に照らされた木材の壁が比較的明るく描かれていました。

しかし、今回は宮舞モカさんの歌唱と弦巻マキさんのピアノ演奏を中心に見せたいと考えていたため、背景の壁が目立ちすぎないよう、木材の壁を暗めに表示する方向へ調整しました。

カーテンは赤色をよりはっきりさせ、舞台らしい雰囲気を残しています。

また、当初はブラウン系だったグランドピアノと椅子を黒色に変更しました。

これは、マキさんのブラウン系のスーツと楽器の色が近く、人物の輪郭が分かりにくくなる場面があったためです。

壁は背景として控えめに、ピアノは舞台を支える楽器として、そして歌唱者であるモカさんを中心に。

それぞれの役割を考えながら、舞台全体の明暗と色彩を整えました。

【画像①：通常の舞台画面】

15枚の一枚絵では、ピアノまで動いてしまう

今回の映像で最初に考えたのは、さまざまな演奏シーンを一枚絵として用意し、順番に切り替える方法でした。

例えば、マキさんが通常の姿勢で演奏し、モカさんが穏やかに歌っている場面。

次に、マキさんが少し前傾して打鍵し、モカさんが力強く歌い上げる場面。

こうした組み合わせを15枚の一枚絵として制作すれば、比較的簡単に動きのある映像を作れるように思えました。

ところが、実際に画像生成を進める中で、大きな問題に気づきました。

画像を生成し直すたびに、ピアノや背景の描写が微妙に変わってしまうのです。

同じグランドピアノを指定していても、大きさや形状、色合いが完全には一致しません。

背景の壁やカーテンについても、わずかな違いが生じます。

それぞれの画像を単独で見ると、自然なイラストに見えることがあります。

しかし、映像として連続で切り替えると、その違いが目立ってしまいます。

特に気になったのが、グランドピアノでした。

ピアノは舞台の中でも大きく、存在感のある楽器です。

その形状や大きさが切り替えのたびに変わると、人物が動いているというより、舞台そのものが不安定に見えてしまいます。

動かないものの変化は、違和感になりやすい

壁やピアノ、椅子などは、演奏中に基本的には動かないものとして認識されます。

そのため、これらが突然変形したり、位置を変えたりすると、映像の不自然さとして気づきやすいと感じました。

一方、人間の身体や衣服には、姿勢に応じた自然な変化があります。

腕を動かせば服のしわが変わり、身体の向きが変われば陰影も変化します。

もちろん、人物の形状が大きく崩れてしまえば不自然です。

しかし、衣服のわずかな色や陰影の違いであれば、姿勢の変化に伴うものとして受け止めやすい場合もあります。

つまり、背景や楽器の不一致と、人物の細かな不一致では、映像に与える印象が異なると考えました。

そこで、制作方法を根本から見直すことにしました。

動かないものは完全に固定し、動かしたい人物だけを切り替える。

この考え方が、今回のレイヤー構成の出発点になりました。

7つのレイヤーで、舞台を組み立てる

今回の映像では、背景や楽器、人物、歌詞を独立したレイヤーとして管理しています。

基本となる映像レイヤーは、次の7つです。

【画像②：PowerDirectorのタイムライン画面】

背景、ピアノ、椅子は、基本的に同じ画像を固定して使用します。

その上に、マキさんとモカさんの人物画像を独立して重ねます。

これにより、モカさんの歌唱姿勢が変わっても、背景やピアノの形状は変わりません。

マキさんが前傾姿勢に切り替わっても、舞台全体は固定されたままです。

15枚の一枚絵を切り替える方法では、画像ごとに背景や楽器の描写が変化する問題がありました。

しかし、レイヤー方式では、そうした固定物の不一致を防げます。

この変更によって、映像全体の安定感が大きく改善したと感じています。

差分画像は、最初から位置を揃えておく

人物の差分画像を制作する際には、キャンバスサイズと基本位置を共通にしています。

PowerDirector上でも、同じキャラクターの拡大率と表示座標を揃えています。

これにより、差分を切り替えるたびに位置を調整し直す必要が少なくなります。

画像生成AIの都合で、人物の位置や身体の大きさにわずかな違いが生じる場合もあります。

そうした部分は、実際に映像を再生して確認し、目立つところだけ修正します。

最初に素材の位置を揃えておけば、その後は動作のタイミング調整に集中できる。

これも、今回の制作で重視したポイントです。

8枚の人物イラストから、15通りの組み合わせ

今回用意した人物イラストは、弦巻マキさんが3枚、宮舞モカさんが5枚です。

それぞれを独立したレイヤーで管理しているため、

3 × 5 ＝ 15通り

の姿勢の組み合わせが可能になります。

ただし、15通りすべてを実際に使用するという意味ではありません。

重要なのは、二人を別々のタイミングで動かせることです。

例えば、マキさんは通常の演奏姿勢のまま、モカさんだけが力強い歌唱姿勢に変わる場面。

反対に、モカさんの姿勢はそのままで、マキさんだけが前傾して打鍵する場面。

二人が同時に姿勢を切り替えることもあれば、別々のタイミングで変化することもあります。

同じ姿勢の組み合わせであっても、前後の動作や音楽の流れによって、異なる印象の場面として使用できます。

15枚の完成イラストを順番に切り替える方式とは違い、二人の動作を独立して組み立てられるようになりました。

マキの演奏差分は、4種類から3種類へ

弦巻マキさんの演奏差分は、最初から3種類だったわけではありません。

当初は4種類を検討していました。

しかし、実際の映像に配置してみると、マキさんが頻繁に動きすぎて、歌唱者であるモカさんよりも目立ってしまう場面がありました。

そこで、一度2種類へ整理しました。

その後、静かな演奏区間の表現を充実させるため、新しい姿勢を追加し、最終的に3種類になりました。

3種類の演奏姿勢

通常演奏姿勢

基本となる演奏姿勢です。

特別な強弱表現を必要としない区間で使用しています。

前傾姿勢

強めの打鍵、アクセント、スタッカートなど、演奏に少し力が入る場面で使用します。

目を閉じた優しい演奏姿勢

静かで穏やかな演奏区間に使用します。

力を抜き、丁寧に鍵盤へ向かうような姿勢です。

【画像③：弦巻マキの3種類の演奏差分】

この3種類は、楽譜の強弱記号だけで機械的に切り替えているわけではありません。

実際の演奏を聴きながら、フレーズの雰囲気や打鍵の強さに合う姿勢を選んでいます。

今回、改めて感じたのは、動作の種類が多ければよいわけではないということです。

動きが多すぎると、映像の中で何を中心に見せたいのかが曖昧になることがあります。

一方、動きを減らしすぎても、演奏の表情が伝わりにくい場面があります。

その両方を考えながら、必要な姿勢を選び直しました。

モカの歌唱差分は5種類

宮舞モカさんには、5種類の歌唱・無歌唱差分を使用しています。

【画像④：宮舞モカの5種類の歌唱差分】

静かな部分では、身体の動きを抑えて歌う。

感情が高まる場面では、手の動きや口の開き方を変える。

そして、サビの頂点付近にある力強いフレーズでは、身体全体で歌い上げるような姿勢を使用しています。

ただし、音程の高さだけで姿勢を決めているわけではありません。

実際の歌声を聴きながら、その場面にふさわしい表情を選んでいます。

ピアノと歌声を、別々に聴いて動作を決める

今回の映像制作では、動作を決めるための音声にも工夫を加えました。

マキさんの演奏姿勢を調整するときには、完成したミックスだけでなく、ピアノ単体の音声を別途用意して使用しました。

モカさんについても、ボーカル単体の音声を用意しています。

これは、歌声とピアノが必ずしも同じ強弱で演奏されているわけではないからです。

例えば、モカさんが力強く歌っている場面でも、ピアノは穏やかに伴奏していることがあります。

完成ミックスだけを聴いていると、どうしても歌声の盛り上がりに意識が向きやすくなります。

そこで、マキさんの動作はピアノ単体の音声を聴きながら判断しました。

強めの打鍵があれば、前傾姿勢。

静かな演奏では、目を閉じた優しい姿勢。

通常の演奏では、基本姿勢。

このように、ピアノそのものの強弱や音楽の流れに合わせて差分を配置しています。

一方、モカさんについては、ボーカル単体の音声を基準として姿勢を選んでいます。

モカさんは歌声に合わせて動き、マキさんはピアノに合わせて動く。

この独立した動作が、今回の舞台演出の基本です。

単調にならないための調整

演奏のアクセントや強弱だけに従って差分を配置すると、同じ姿勢が長く続く場面もあります。

そのようなときには、ピアノの音を改めて確認し、少し強めに感じられる打鍵があれば、前傾姿勢を短く取り入れることもあります。

映像に変化を付けることと、演奏に合った動作であること。

この二つが両立する場所を探しています。

また、1番と2番で似た伴奏が登場しても、動作の切り替えを完全には一致させていません。

繰り返しの中でも演奏の表情や映像の流れを確認し、単純なループ映像に見えにくいよう調整しています。

AI生成画像の色差と、どう向き合ったか

人物を独立したレイヤーにしたことで、背景やピアノの描写が変わる問題は防げるようになりました。

しかし、人物の差分にも課題が残っています。

それが、衣装のわずかな色の違いです。

画像生成AIでは、同じキャラクターや衣装を指定しても、すべての差分で完全に同じ色になるとは限りません。

今回のモカさんでは、ベージュ系のスーツに微妙な色差が生じることがありました。

マキさんのブラウン系のスーツにも、同様の違いがあります。

実際に差分を並べてみると、特にモカさんのスーツでは、色の違いが比較的分かりやすくなっています。

色を細かく指定しても、安定するとは限らない

制作途中では、色の指定を細かくすることで差分を揃えようとしました。

ところが、色を厳密に指定しようとすると、別の部分が意図どおりにならないこともありました。

姿勢が崩れたり、身体の形状が変わったり、想定外の色合いになったりすることがあります。

そこで今回は、色を完全に一致させることよりも、人物の姿勢や表情の自然さを優先しました。

マキさんの場合、前傾すると肩や腕の角度が変わり、服の陰影も変化します。

そのため、わずかな色差については、姿勢の変化に伴う光の当たり方の違いとして受け止めやすいと感じました。

一方、モカさんは正面に近い立ち姿勢が中心です。

そのため、姿勢が似ている差分ほど、スーツの色が切り替わると違いに気づきやすくなります。

ただし、差分画像を並べて比較することと、実際の映像を通常の速度で再生することは別です。

今回の映像では、すべての差分が同時に表示されるわけではありません。

歌声に合わせて順番に切り替わるため、実際の再生速度で見たときに大きな違和感がないかを確認しながら調整しました。

歌詞表示と人物の動きを、数フレームずらす

今回の映像では、人物の姿勢切り替えと歌詞表示のタイミングを少しずつずらしています。

複数の要素が同じ瞬間に切り替わると、画面全体が一瞬点滅したような印象になることがありました。

そこで、それぞれの変化が始まるタイミングを少し分けてみました。

実際に再生して比較すると、すべてを同時に切り替えるよりも、画面の変化が穏やかになったように感じられました。

歌い出しでは、歌唱前の予備動作を作る

歌い始める場面では、次のタイミングを基本としています。

• モカさんの歌唱姿勢への切り替え：歌い出しの約7フレーム前
• 歌詞の表示：歌い出しの約5フレーム前

つまり、モカさんが先に歌唱姿勢へ切り替わり、その約2フレーム後に歌詞が表示されます。

モカさんを先に動かすことには、画面の変化を分散させる以外にも理由があります。

それは、歌い始める前の予備動作を表現することです。

実際に人が歌うときには、声を出す直前に姿勢を整えたり、身体を動かしたりすることがあります。

今回の映像でも、声が出た瞬間に突然歌唱姿勢へ変わるのではなく、身体の動きが少し先行するようにしました。

これから歌い始める、という気配を感じられるようにするためです。

また、直前のピアノに強めの打鍵がある場合には、マキさんの姿勢が先に変化することもあります。

その場合は、

マキさんの動き → モカさんの動き → 歌詞表示

という順番になります。

複数の要素が一斉に切り替わる状態を避けながら、音楽に沿った自然な動作を目指しました。

歌唱終了時は、歌詞を先に消す

歌い終わる場面では、歌詞をモカさんの無歌唱姿勢への切り替えよりも、約2フレーム先に消しています。

歌詞と人物を同時に切り替えると、画面の変化が一瞬に集中してしまいます。

そこで、先に歌詞を消し、その後で人物の姿勢を変える構成にしました。

こうした時間差は、数フレームという小さなものです。

しかし、実際の再生速度で確認すると、わずかな違いでも映像の印象が変わることがありました。

最終的には、通常の速度で再生しながら、不自然な変化に感じられないかを確認して調整しています。

歌詞の位置を統一していることも、演出に関係する

二音一幕では、基本的にすべての作品で歌詞を画面下部の同じ位置に表示しています。

半透明の黒い字幕用背景帯を設け、その上に歌詞を表示する方式です。

作品を繰り返し視聴してくださる方であれば、歌詞がどこに表示されるかにも自然と慣れていくのではないかと考えています。

歌い始めるタイミングでは、無意識に歌詞の表示位置へ注意が向いている可能性もあります。

今回の時間差には、そうした視聴の習慣も踏まえながら、画面の変化を分散させる狙いがあります。

ただし、実際の視線の動きを測定したわけではありません。

そのため、視線誘導については、あくまで制作上の仮説として考えています。

一方、同時に切り替えた場合に感じた点滅感が、タイミングをずらすことで軽減したという点については、実際の再生確認を通して得られた制作上の感覚です。

歌詞表示を前提として、映像の構図を考える

二音一幕では、完成したイラストへ後から歌詞を無理に重ねるのではなく、画像生成の段階から歌詞が表示される位置を考えています。

画面下部には字幕用背景帯があるため、その領域に人物の顔や重要な手の動きが重ならないようにします。

ピアノなどの楽器についても、必要以上に歌詞帯で隠れない構図を意識しています。

これは、今回のように人物が動く映像でも変わりません。

映像の背景やキャラクター配置は作品ごとに異なりますが、歌詞を読む位置は基本的に同じです。

映像の表現方法が変わっても、歌詞を読むための基本的な見方は維持する。

繰り返し作品を視聴するときにも、歌詞の位置を探し直す必要が少なくなるようにしたいと考えています。

演奏が終わっても、舞台の余韻を残す

今回の映像では、クレジットの表示方法にも工夫を加えました。

真っ黒な背景へ切り替えて文字を表示するのではなく、演奏に使用したコンサートホールの背景をそのまま活かしています。

楽曲が終わると、マキさんとモカさんの人物レイヤーを非表示にします。

一方で、背景、グランドピアノ、ピアノ椅子は残します。

その上から半透明の黒いマスクを重ね、白いクレジット文字を表示します。

【画像⑤：人物のいない舞台にクレジットを表示した画面】

これにより、二人が演奏を終えて舞台から姿を消し、誰もいなくなったコンサートホールにピアノと椅子だけが残っているような構図になります。

本編で使用した舞台をそのまま残すことで、演奏が終わった後も、同じ空間の余韻を感じられるようにしました。

終了画面のため、映像を約3秒延長

今回の楽曲では、最後の歌声が終わってからの余韻が約2秒でした。

一方、YouTubeの終了画面要素には、表示するための時間が必要です。

そこで、音楽そのものを無理に引き延ばすのではなく、映像の終端を約3秒延長しました。

これにより、終了画面に必要な時間を確保しながら、静かな舞台を見せる構成にしています。

人物のいないコンサートホールが数秒間残ることで、楽曲が終わった後の余韻も表現できるように考えました。

なぜ口パクや瞬きを常時採用しないのか

本来は、キャラクターが実際に歌い、演奏しているような映像を作りたいという思いもあります。

口の動きが歌声に合い、瞬きをし、身体も音楽に合わせて自然に動く。

そのような表現ができれば、二音一幕の舞台をさらに豊かに描けるかもしれません。

ただ、現在の制作技術や環境では、そこまでの動きを自然に作り込むことは難しいと感じています。

また、口パクや瞬きを追加する場合にも、歌声や身体の動作との整合性を考える必要があります。

そこで今回は、常に人物を動かすのではなく、歌唱や演奏の変化に合わせて姿勢を切り替える方法を採用しました。

少ない素材でも、一つずつ動作のタイミングを調整できる方法です。

そして、二音一幕は音楽作品を中心としたプロジェクトです。

映像制作にも力を入れていますが、中心にあるのは歌声とピアノの音楽です。

そのため、動的演出はすべての作品に必ず導入するものではありません。

楽曲の雰囲気に動きが合いそうなこと、制作に取り組む余力があることなど、いくつかの条件が揃った場合に採用しています。

作品によって映像の見せ方を変えることで、視覚的なマンネリを少しでも防げるのではないか、という狙いもあります。

一方、静かな楽曲では、一枚絵の中で音楽と歌詞をゆっくり楽しめる構成も大切にしています。

一枚絵、姿勢差分、より大きな動きを使った演出。

それぞれの方法を、楽曲に合わせて使い分けていきたいと考えています。

おわりに ― 動かすことより、動かす意味を大切にする

今回の「僕のこと」では、これまでの一枚絵を中心とした映像から少し踏み込み、人物の姿勢を音楽に合わせて切り替える演出に取り組みました。

最初は15通りの場面を一枚絵として制作しようとしました。

しかし、その方法では背景やピアノの描写を安定させることが難しく、映像として切り替えたときに違和感が生まれてしまいました。

そこで、背景と楽器を固定し、人物だけを独立して動かす7レイヤー構成へ変更しました。

また、マキさんの演奏差分についても、増やしすぎた動きを一度整理し、音楽の表現に必要な3種類へまとめています。

AI生成画像の衣装の色差についても、完全な一致だけを追い求めるのではなく、姿勢や表情の自然さを優先し、編集時のタイミングを工夫しました。

歌唱前の予備動作、歌詞表示との数フレームの時間差、演奏が終わった後の静かな舞台。

いずれも、動きを増やすことだけを目的にしたものではありません。

何を固定し、何を動かし、いつ動かすのか。

その一つひとつを、歌声とピアノの演奏に合わせて考えました。

今回の映像制作で大切にしたのは、人物がたくさん動くことではなく、動作に音楽的な意味を持たせることです。

これからも、楽曲ごとに合った映像表現を選びながら、声とピアノによる一幕を作っていきたいと思います。

声とピアノで、ひとつの物語を。

二音一幕