AIスタートアップのDecartが、テキストプロンプトに基づいて動画編集を高速かつ制御可能に行うために設計された、新しい拡散ベースのAI動画編集モデル「MirageLSD」を発表しました。MirageLSDは、テキストから動画を生成する従来の動画生成AIと異なり、カメラで撮影した映像やゲームの実況配信をリアルタイムで全く異なるスタイルに「変換」することが可能です。

ライブ動画をリアルタイムで変換するAI動画モデル「MirageLSD」リリース 投稿日：2025年07月22日 23時00分 AIスタートアップのDecartが、最新の拡散ベースのAI動画編集モデル「MirageLSD」を発表しました。このモデルは、テキストプロンプトに基づく動画編集を可能にするだけでなく、リアルタイムでカメラ撮影の映像やゲーム実況配信を異なるスタイルに「変換」する能力が特徴です。 MirageLSDの活用例 以下に、MirageLSDを使用して生成された動画の一部を紹介します。 FPSゲームの実況配信： COD MirageLSD - YouTube マインクラフトの映像： Minecraft MirageLSD - YouTube 実写映像からアニメーションの生成： What Makes You Beautiful MirageLSD - YouTube SF映画のようなバトルシーンの生成： Shaolin MirageLSD - YouTube 高速な処理能力 MirageLSDの大きな利点は、その高速な処理能力です。推論時間は6.1秒で、競合しているDragNUWAの10.5秒と比較して約1.7倍のスピードで処理が可能です。さらに、40ミリ秒以下の低遅延で映像を処理でき、ユーザーはほとんど遅延を感じることなく変換された映像を楽しむことができます。 技術的な工夫 この高性能は、いくつかの技術的な工夫によって実現されています： coarse-to-fine戦略：まず低解像度で動画全体の大まかな構造を生成し、その後で高解像度化を行う。 U-Netアーキテクチャの活用：空間軸と時間軸の注意メカニズムを分離し、計算量を約4分の1に抑える。 さらに、ユーザーからの評価スコアにおいて、MirageLSDは73％の支持を得ており、DragNUWAの21％やRaveの6％を大きく上回りました。 課題と未来の展望 しかし、MirageLSDには課題も存在します。特に、処理を高速化するために直近の数フレームを参照して次のフレームを予測する仕組みのため、数十分を超える長い動画では一貫性が失われる可能性があります。この点は特に、人物の表情や向きの変化において顕著です。 将来的には、Decartは音声や音楽、感情といった他の要素も統合した、より包括的なモデルを開発することを目指しています。 MirageLSDは、最新のAI技術を駆使し、リアルタイムでの動画編集の可能性を広げています。興味を持たれた方は、ぜひ公式サイトや動画をご覧ください。 🧠 編集部より： MirageLSDの概要と特徴 2025年にリリースされたAI動画モデル「MirageLSD」は、AIスタートアップのDecartが開発したもので、リアルタイムで動画編集を可能にする画期的な技術です。このモデルは、実際に撮影した映像や実況配信を迅速に別のスタイルに変換する機能が特徴です。従来のテキストから生成する動画生成AIとは異なり、ユーザーはリアルタイムで効果を体験できます。 高速処理のパフォーマンス MirageLSDは6.1秒で映像の推論を完了し、これは競合のDragNUWAの10.5秒に対して約1.7倍の速さです。また、40ミリ秒未満の遅延時間で処理ができるため、視覚的なストレスを感じることなく、ユーザーは変化を楽しむことができます。この高速化は、低解像度での初期生成と高解像度化を並行して行う「coarse-to-fine」戦略によって実現されています。 技術的な工夫 MirageLSDは、動画生成においてU-Netアーキテクチャを使用しています。この際、空間軸と時間軸における注意メカニズムを分離し、計算コストを抑えながら効率的に処理しています。具体的には、時間軸において鍵と値のペアをダウンサンプリングすることで、計算量を大幅に削減しています。

Enjoy the magic of Diffusion models! Contribute to modelscope/DiffSynth-Studio development by creating an account on GitHub.

＼ 当ブログ使用テーマ ／ 誰でも簡単オシャレなデザイン！ インフォトップ月間総合第１位！ SEO対策と収益UPを標準で搭載！ 有名ブロガーに愛用 ...