Seed Audio 1.5 · Popcraftでまもなく公開

Seed Audio 1.5。すべての音を、思いのままに。

Popcraftでまもなく公開。テキスト、ビデオ、オーディオのリファレンスから、セリフ、アンビエンス、効果音、音楽を含むシーンオーディオをプレビュー。Seed Audio 1.5のPopcraftでのリリース日および価格は発表されていません。

Seed Audio 1.5を詳しく見る ↓
事例

コンテキストで聴く。

Seed Audio 1.5のショーケースで提供されたプレビューデモです。Popcraftでの生成機能はまもなく公開されます。

ビデオダビング

音のあるシーン

ひとつのシーンに集約された声、音楽、効果音をご試聴ください。

ビデオには、セリフ、音楽、エフェクトの画面上での説明が含まれています。
タイムスタンプ制御

声、音楽、瞬間

英語の広告内で、タイムスタンプを使用して配置された複数の声、音楽、効果音をご試聴ください。

何が違うのか

オーディオ制作の新たなアプローチ。

テキスト、ビデオ、オーディオのリファレンスを組み合わせて、結果を形作ります。

入力 / 機能仕組みAudio 1.5Audio 1.0従来のTTS
テキスト読み上げ(TTS)声を選択し、テキストを入力します。対応対応対応
ボイスクローニング1つのオーディオクリップを音声のリファレンスとして使用します。対応対応対応
テキスト → オーディオ音声、効果音、BGMを記述します。対応対応非対応
テキスト + オーディオ → オーディオ声の特徴や感情のリファレンスを追加します。対応対応非対応
テキスト + ビデオ → オーディオビデオの視覚情報に合わせたオーディオを記述します。対応非対応非対応
テキスト + ビデオ + オーディオ → オーディオダビングする声を指定するためのオーディオリファレンスを追加します。対応非対応非対応
テキスト → 音楽最大6分間の音楽を記述します。対応非対応非対応
1つのモデルで、さらなる可能性を。

映像に「声」を吹き込む。

このプレビューの機能と制限は、提供されたSeed Audio 1.5のショーケースに基づいています。Popcraftの最終的な機能と制限はリリース時に確定されます。

最初のサウンドスケープから新しい言語まで、伝えたいストーリーに合わせてオーディオを構築します。

6分1リクエストあたりの最大オーディオ長
61リクエストあたりのオーディオリファレンス数
33対応言語数
01 / ビデオダビング

シーンに合わせたサウンド

ビデオをリファレンスとして使用し、その映像にマッチする声、効果音、BGMを生成します。

希望するセリフ、効果音、音楽を正確に記述してください。ダビングは自動ではありません。
02 / ビデオ翻訳

声をより遠くへ

元の声の特徴、効果音、BGMを維持したまま、話されている内容を翻訳します。

文書化されている翻訳ペアは、中国語または英語から30のターゲット言語への翻訳です。
03 / ステム分離

洗練させるための余白

ボーカル、効果音、BGMを、さらなる編集のために独立したステムとして出力します。

04 / 音楽生成

サウンドトラックを見つける

テキストで音楽を記述するか、歌詞付きの曲を生成します。音楽は最大6分間まで可能です。

サウンドトラックの前に

シーンから始める。

オリジナルのシーン

このビデオを、上記の例にある強化されたシーンと比較してください。

ビデオワークフロー

サウンドを構築し、ストーリーを維持する。

シーンのダビングまたは改善

ビデオのみ、またはビデオとオーディオリファレンスを使用して、映画のダビングや低品質オーディオの改善を行います。

  1. ビデオのリファレンスを選択します。
  2. 特定の声の音色が必要な場合は、オーディオリファレンスを追加します。
  3. 話される内容、効果音、BGMを正確に記述します。

ビデオダビングは30言語に対応しています。テキストによる説明が必要であり、自動的にダビングされるわけではありません。

シーンの例を再生 ↓

話されている内容を翻訳する

中国語または英語の音声から開始。声の特徴、効果音、BGMを維持しながら、対応する30のターゲット言語のいずれかに翻訳します。

例として、翻訳デモンストレーション、映画『Whiplash』の英語シーンとその日本語版、さらに『The Big Bang Theory』の英語シーンとメキシコ・スペイン語版が含まれます。

翻訳対応言語を表示 ↓
ビデオ翻訳の例

同じシーンを、異なる響きで。

ステム分離

ミックスを分解する。

オーディオファイルを提供し、ポストミキシング用にボーカル、エフェクト、BGMを独立した出力に分離します。現在のバージョンは最大6トラックまで対応しています。

オーディオから編集可能なトラックへ

各出力は、ミキシングワークフローで個別に使用できます。

この58秒の例では、ミックスされたオーディオファイルを、ナレーター、女の子、男の子、ファンタジー音楽、足音、ドアを閉める音のトラックに分離しています。

制限事項の確認

  • ステム分離で最大6つの出力トラック。
  • 1つの生成リクエストで最大6つのオーディオリファレンス。
  • 1リクエストあたり最大6分間の生成オーディオ。
分離して比較

1つのミックス、6つのパーツ。

シーン内でのステム分離

ボーカル、効果音、音楽を個別の出力として分離するデモンストレーション。

ミックス全体と各トラックの音を聴き比べてください。

音楽生成

サウンドトラックを記述する。

音楽的な選択を指示する

ジャンル、ムード、ボーカル、楽器、構成を音楽要件として指定します。テキスト記述から音楽を、あるいは歌詞付きの曲を生成します。

音楽は最大6分間まで可能です。

5つの音楽対応言語

音楽生成では、英語、中国語、日本語、韓国語、広東語に対応しています。

この音楽専用のリストは、モデルが幅広くサポートする33言語とは別になります。

音楽の例

要件から音楽へ。

音楽生成

音楽生成のデモンストレーションを体験してください。

言語サポート

対応範囲を知る。

モデルは全体で33言語に対応しています。翻訳は中国語または英語から開始し、以下の30のターゲット言語をサポートします。

  • 中国語 · zh
  • 英語 · en
  • 日本語 · ja
  • 韓国語 · ko
  • ドイツ語 · de
  • フランス語 · fr
  • ブラジル・ポルトガル語 · pt-BR
  • タイ語 · th
  • インドネシア語 · id
  • ベトナム語 · vi
  • マレー語 · ms
  • フィリピン語 · fil
  • イタリア語 · it
  • ロシア語 · ru
  • オランダ語 · nl
  • ポーランド語 · pl
  • トルコ語 · tr
  • スウェーデン語 · sv
  • カスティーリャ・スペイン語 · es-ES
  • メキシコ・スペイン語 · es-MX
  • アラビア語 · ar
  • 欧州ポルトガル語 · pt-PT
  • フィンランド語 · fi
  • デンマーク語 · da
  • ノルウェー語 · no
  • チェコ語 · cs
  • ハンガリー語 · hu
  • ギリシャ語 · el
  • ルーマニア語 · ro
  • ヒンディー語 · hi

翻訳リスト以外の言語

全体的な33言語リストには、タミル語、オリヤー語、ベンガル語も含まれています。アラビア語の項目ではサウジアラビアのアクセントが指定されています。これらの広範な機能は、文書化された翻訳ペアを拡張するものではありません。

緻密なコントロール

一瞬一瞬を大切に。

タイムスタンプを使用して、ストーリーの必要に合わせてナレーション、効果音、BGMを配置します。

音声

発話のタイミングを配置。

効果音

アクションに質感を与える。

音楽

シーンの雰囲気を設定。

広告のタイミングと音声ディレクションを見る

タイムスタンプの範囲で、音声、効果音、音楽を配置します。各音声には、独自の音色、アクセント、デリバリーの指示もあります。

  1. 0.0–49.5秒

    ダイナミックな電子音楽が広告全体を支えています。

  2. 0.0–1.2秒

    歯切れの良いスプラッシュ音でオーディオが始まります。

  3. 1.9–4.9秒

    優しく澄んだ音色、純粋で想像力豊かなキャラクターを持つ少年、中央アジア訛りのイギリス英語。落ち着いてリラックスした、明るく子供らしいコマーシャル風の話し方:「BYDは、僕が桟橋で見た大きな船だよ。」

  4. 5.8–9.0秒

    軽やかで透明感のある声、活発で愛らしいキャラクターを持つ少女、アメリカ英語。テンポの良いリズムで、少し反論するようなコマーシャル風の話し方:「違うよ、おじいちゃんはBYDは東洋の神話だって言ってたもん。」

  5. 10.1–13.2秒

    明るく甘い、ソフトなトーンの声を持つ少女、中国訛りのアメリカ英語。楽しそうな雰囲気を含んだ朗らかなコマーシャル風の話し方:「私のお母さんはBYDで働いてるの。お母さんは、BYDはBuild Your Dreamsだって言ってるよ。」

  6. 13.4–15.4秒

    子供たちの笑い声の後に、カメラのシャッター音を伴うテンポの速いテクノ調の音楽。

  7. 15.8–17.8秒

    少し深みがあり、かすかに吐息混じりの声、洗練されたエレガントなキャラクターを持つ若い女性、フランス語訛りのアメリカ英語。感嘆しつつも落ち着いた、明快なコマーシャル風の話し方:「まさに、これまで見た中で忘れられないモデルです。」

  8. 19.3–22.1秒

    深く力強い、わずかにハスキーな声、成熟したキャラクターを持つ中年冒険家、一般的なアメリカ英語。大胆で決然とした表情豊かなコマーシャル風の話し方:「アンデス山脈を越えるのに、これほど頼もしい相棒はいない。」

  9. 23.2–25.2秒

    中高音域で、ややフラットな質感の声を持つ若い男性、一般的なアメリカ英語。短く興奮気味なコマーシャル風の話し方:「彼はアリーナに現れた新たな野獣だ。」

  10. 27.3–29.7秒

    低い声で落ち着いたビジネスマンのキャラクターを持つ若い男性、一般的なアメリカ英語。満ち足りた満足感のある、穏やかでリラックスしたコマーシャル風の話し方:「BYDは、私の走るビジネスラウンジです。」

  11. 29.7–49.5秒

    波、風、車両の音とともにブランドミュージックが広告を締めくくります。

広告を聴く ↑

お役立ち情報

Seed Audio 1.5はPopcraftでまもなく公開されますが、まだここでの生成は利用できません。リリース日と価格は発表されていません。

ドキュメントにはテキスト、ビデオ、オーディオのリファレンスが記載されています。1つのリクエストで最大6つのオーディオリファレンスを使用できます。

いいえ。希望する具体的な内容、効果音、BGMをテキストで記述する必要があります。

文書化されたビデオ翻訳ペアは、中国語または英語から始まり、30の対応するターゲット言語に翻訳されます。モデル全体では33言語に対応しています。

Seed Audio 1.5 · Popcraftでまもなく公開

ストーリーのすべてを聴く。

Seed Audio 1.5で作成できるものを体験してください。

例を見る ↑

さらに探索

関連モデル