シンギュラリティ実験ノート

購入した1000ドルPCで何がどこまでできるのか実験した記録です。

トップ > 生成AI-動画生成AI > ComfyUIでLTX-Videoを試す（Windows編）

ComfyUIでLTX-Videoを試す（Windows編）

生成AI-動画生成AI

UM790 ProでVRAM16GBを使用できるようになった。これまで8GBではStable Diffusionまでしか動かなかったが、16GBあれば最近公開されたLXT-Videoも動くのではと思い試してみた。Windows環境とUbuntu環境の両方で試した。

結論から言うと残念ながらどちらの環境でもLXT-VideoはGPUでは動かなかった。CPUでは動作するが、当然ながら非常に遅い。Stable DiffusionはGPUでも動作する。とりあえず導入方法をここにメモしておく。

 

ComfyUIの導入

  1. GithubからWindows用ポータブル版をダウンロード

    ComfyUI_windows_portable_nvidia.7z をダウンロードし解凍する

  2. 事前に導入したMinicondaでComfyUI用のPython仮想環境を作成
    conda create -n comfyui python==3.12
  3. 作成したComfyUI用のPython仮想環境を起動
    conda activate comfyui
  4. pipでtorch-directmlを導入
    pip install torch-directml
  5. pipでその他必要なライブラリを導入
    pip install -r requirement.txt

LTX-Videoの環境構築

npakaさんのサイトの記事の通り。関係する必要な作業のみを以下に引用。

  1. 「ltx-video-2b-v0.9.safetensors」をダウンロードして「models/checkpoints」に配置。
  2. 「t5xxl_fp16.safetensors」 をダウンロードして「models/clip」に配置。
  3. 「Example Workflows page」の「Workflow in Json format」からワークフローをダウンロード。

実行方法

  1. Anaconda PromptからComfyUIを起動し、ComfyUI用のPython仮想環境を起動
    1. CPUで動かす場合
      あらかじめ提供される「run_cpu.bat」を実行
    2. GPUをDierectMLで動かす場合
      ComfyUIディレクトリに移動して以下のコマンドを実行
      python main.py --directml
  2. ブラウザからlocalhost:8188を開く（「run_cpu.bat」の場合は自動で起動）
  3. ワークフローを開く
    1. Stable Diffusionを使う場合
      ・初期起動時に表示されるワークフローがそのまま使える
      ・「v1-5-pruned-emaonly.safetensors」を「models/checkpoints」に配置してワークフローの「Load Checkpoint」で指定する
    2. LTX-Videoを使う場合
      ・「Example Workflows page」からダウンロードしたワークフローを「ComfyUI」の画面にドラッグ&ドロップ
  4. 「Queue」を実行 

実行結果

  1. ワークフロー「Image to Video」のCPUでの実行時間
    4901.88sec （81.7分）

  2. Stable Diffusion「cat wearing sunglasses」のGPU＋DirectMLでの実行時間
    60.35sec


    GPU動作時のタスクマネージャーの様子


    2024-12-10 追記
    上記ではVRAMが正しく16GBに設定されていなかったようだ。16GBに設定してやり直した際のタスクマネージャーは以下であった。

  3. LTX-VideoをGPU+DirectMLで実行した場合
    「the dimesion of at::Tensor must be 4 or lower, but got 5」というエラーが出る。

まとめ

残念ながらUM790 ProのGPUでLTX-Videoは動かなかった。エラー原因は今のところ不明。Ubuntuでも試しているが同様のエラーは出ておらず、別の現象でうまく動かない。Ubuntuの報告については別の記事にまとめる予定。

LTX-VideoがミニPCのGPUで動いてくれれば感動ものなのだが。。ちょっと残念である。