コムギ@青空
@712.bsky.social
趣味アカ・Twitterからブルスコに乗り換え。ガジェットなどの細かい話が好き。
画像生成AI 、 #stablediffusion #comfyui について学習中です。
https://note.com/kuko1426/portal
画像生成AI 、 #stablediffusion #comfyui について学習中です。
https://note.com/kuko1426/portal
久しぶりにこちらでも投稿していこうと思う。とりあえずPC組み立てたらアップします。
June 4, 2025 at 5:42 AM
久しぶりにこちらでも投稿していこうと思う。とりあえずPC組み立てたらアップします。
APCTICのケースファンP14Maxが6個届いたので、新しいPCケースのMONTECH KING 95 Gentlemanに取り付けてみる！
140mmファンで、最大回転数が2800rpmでどれほどの冷却効果があるのか気になってた
140mmファンで、最大回転数が2800rpmでどれほどの冷却効果があるのか気になってた
April 9, 2025 at 6:01 AM
APCTICのケースファンP14Maxが6個届いたので、新しいPCケースのMONTECH KING 95 Gentlemanに取り付けてみる！
140mmファンで、最大回転数が2800rpmでどれほどの冷却効果があるのか気になってた
140mmファンで、最大回転数が2800rpmでどれほどの冷却効果があるのか気になってた
ComfyUIで画像生成時に、GPUからCPUへの若干のオフロードが存在しているので、c++版のpytorchを再ビルドしてみて、もう少しCPUバックエンドをAMD CPU向けに最適化させたい。
CPUバックエンドの最適化によって、あとどれくらい生成効率向上を望めるのだろう
CPUバックエンドの最適化によって、あとどれくらい生成効率向上を望めるのだろう
February 25, 2025 at 8:54 AM
ComfyUIで画像生成時に、GPUからCPUへの若干のオフロードが存在しているので、c++版のpytorchを再ビルドしてみて、もう少しCPUバックエンドをAMD CPU向けに最適化させたい。
CPUバックエンドの最適化によって、あとどれくらい生成効率向上を望めるのだろう
CPUバックエンドの最適化によって、あとどれくらい生成効率向上を望めるのだろう
c++版のpytorch2.6にflash-attentionとxformersをビルドして統合させてみました。
note.com/kuko1426/n/n...
note.com/kuko1426/n/n...
pytorch2.6+xformers0.0.30の統合｜コムギ
前回、ソースからビルドしたCUDA12.8+cuDNN9.7.1(cuDNN9.7.0からアップデート)などを統合したC++版のpytorch2.6.0にxformers0.0.30とflash-attention2.7.4.post1もビルドして統合させました。ComfyUIでエラーなどもなく画像生成できたところまで確認。 python -m xformers.info コマンドで有効化したx...
note.com
February 25, 2025 at 8:45 AM
c++版のpytorch2.6にflash-attentionとxformersをビルドして統合させてみました。
note.com/kuko1426/n/n...
note.com/kuko1426/n/n...
久しぶりにWindows OSを余っていたm.2ssdに再インストールし、起動完了。
intel cpuの時は、Windows11 pro OS要件に適合しているはずなのにインストール不可でしたがamd cpuと新しいメモリ類とマザボでは、すんなりインストールできてよかった。
Ubuntu24.04とWindows11のデュアルブート環境構築できた
intel cpuの時は、Windows11 pro OS要件に適合しているはずなのにインストール不可でしたがamd cpuと新しいメモリ類とマザボでは、すんなりインストールできてよかった。
Ubuntu24.04とWindows11のデュアルブート環境構築できた
February 25, 2025 at 1:55 AM
久しぶりにWindows OSを余っていたm.2ssdに再インストールし、起動完了。
intel cpuの時は、Windows11 pro OS要件に適合しているはずなのにインストール不可でしたがamd cpuと新しいメモリ類とマザボでは、すんなりインストールできてよかった。
Ubuntu24.04とWindows11のデュアルブート環境構築できた
intel cpuの時は、Windows11 pro OS要件に適合しているはずなのにインストール不可でしたがamd cpuと新しいメモリ類とマザボでは、すんなりインストールできてよかった。
Ubuntu24.04とWindows11のデュアルブート環境構築できた
マザボ、CPU、メモリを新しいものにしたらPCの電源が付かなくなってしまったと思ってたら、原因はコンセント自体が1箇所だけ壊れていたのだった。
PC自体は問題なかったのが幸い。
PC自体は問題なかったのが幸い。
December 6, 2024 at 7:15 AM
マザボ、CPU、メモリを新しいものにしたらPCの電源が付かなくなってしまったと思ってたら、原因はコンセント自体が1箇所だけ壊れていたのだった。
PC自体は問題なかったのが幸い。
PC自体は問題なかったのが幸い。
pytorch2.5.1にflash attention +xformersライブラリを統合させてみました。 note.com/kuko1426/n/n...
pyorch2.5.1+flash attention+xformersライブラリの統合｜コムギ
前回、pytorch2.5.1をcuda12.4.1+cudnn9.5.1に対応させてソースからビルドと仮想環境にインストールし、cudaやcudnnの認識確認をしました。 続けてflash attention2.6.3と、xformers0.0.29もソースからビルドしてpytorch2.5.1と各ライブラリの統合をしてみました。
python -m xformers.info コマンド...
note.com
November 8, 2024 at 8:45 AM
pytorch2.5.1にflash attention +xformersライブラリを統合させてみました。 note.com/kuko1426/n/n...
pytorch2.4.1をCUDA12.4.1+cuDNN9.4.0対応でビルドして、ComfyUIのflux.1 devでlora使って画像生成してみました。
普通にRTX4060ti 16GBでもbf16使って生成出来た。
flux.1 dev 用のloraによってはVRAMを 15GB以上普通に消費する感じ。
CPUでの前処理をCV-CUDAとか、nvidia DALIとか使えば、若干ですが低性能なCPUでもメモリ浪費を改善出来るっぽい
note.com/kuko1426/n/n...
普通にRTX4060ti 16GBでもbf16使って生成出来た。
flux.1 dev 用のloraによってはVRAMを 15GB以上普通に消費する感じ。
CPUでの前処理をCV-CUDAとか、nvidia DALIとか使えば、若干ですが低性能なCPUでもメモリ浪費を改善出来るっぽい
note.com/kuko1426/n/n...
PyTorch2.4.1をCUDA12.4+cuDNN9.4用にソースからビルドしてみましたが｜コムギ
WSL2上で、CUDA12.4.1とcuDNN9.4.0に対応させたPyTorch2.4.１をソースからビルドして、xformersの依存関係として認識させるところまでしてみました。 とりあえず、githubからpytorch2.4.1のリポジトリをクローンして、cmakeでcuda12.4.1、cudnn9.4.0、flashattention、mem eff attention、tri...
note.com
October 19, 2024 at 12:13 AM
pytorch2.4.1をCUDA12.4.1+cuDNN9.4.0対応でビルドして、ComfyUIのflux.1 devでlora使って画像生成してみました。
普通にRTX4060ti 16GBでもbf16使って生成出来た。
flux.1 dev 用のloraによってはVRAMを 15GB以上普通に消費する感じ。
CPUでの前処理をCV-CUDAとか、nvidia DALIとか使えば、若干ですが低性能なCPUでもメモリ浪費を改善出来るっぽい
note.com/kuko1426/n/n...
普通にRTX4060ti 16GBでもbf16使って生成出来た。
flux.1 dev 用のloraによってはVRAMを 15GB以上普通に消費する感じ。
CPUでの前処理をCV-CUDAとか、nvidia DALIとか使えば、若干ですが低性能なCPUでもメモリ浪費を改善出来るっぽい
note.com/kuko1426/n/n...
最近、pytorchをソースからビルドして機能を確かめたり色々してたけど、MSYS2とclang ++、gccインストールした上でビルドすると、Windows環境でもインストール済のtritonと統合させることが可能ということを知った。
あと、LLVM単体をソースからビルドしてclang使えるようになれば、 python3.12環境に対応したtriton単体をソースからビルドできるかもしれないらしくて、pytorchの次にtritonで GPU対応とflashattentionとの統合をさせてみたいな
あと、LLVM単体をソースからビルドしてclang使えるようになれば、 python3.12環境に対応したtriton単体をソースからビルドできるかもしれないらしくて、pytorchの次にtritonで GPU対応とflashattentionとの統合をさせてみたいな
September 26, 2024 at 3:16 PM
最近、pytorchをソースからビルドして機能を確かめたり色々してたけど、MSYS2とclang ++、gccインストールした上でビルドすると、Windows環境でもインストール済のtritonと統合させることが可能ということを知った。
あと、LLVM単体をソースからビルドしてclang使えるようになれば、 python3.12環境に対応したtriton単体をソースからビルドできるかもしれないらしくて、pytorchの次にtritonで GPU対応とflashattentionとの統合をさせてみたいな
あと、LLVM単体をソースからビルドしてclang使えるようになれば、 python3.12環境に対応したtriton単体をソースからビルドできるかもしれないらしくて、pytorchの次にtritonで GPU対応とflashattentionとの統合をさせてみたいな
pytorch2.4.0でソースからのビルドで何度か失敗してたので、pytorch2.4.1のソースコードがリリースされてたので、再ビルドしたら環境変数の設定が上手くいったのかビルドが上手く進んでいるっぽい。
もしかしたら、環境変数の設定と、仮想環境にインストールしてあったxformersとかが影響してたのかな
もしかしたら、環境変数の設定と、仮想環境にインストールしてあったxformersとかが影響してたのかな
September 13, 2024 at 2:52 AM
pytorch2.4.0でソースからのビルドで何度か失敗してたので、pytorch2.4.1のソースコードがリリースされてたので、再ビルドしたら環境変数の設定が上手くいったのかビルドが上手く進んでいるっぽい。
もしかしたら、環境変数の設定と、仮想環境にインストールしてあったxformersとかが影響してたのかな
もしかしたら、環境変数の設定と、仮想環境にインストールしてあったxformersとかが影響してたのかな
pytorch、flash attention、xformers、stable fastをソースからビルドと統合させてみた。
pytorch自体は、ソースからビルドしたおかげで、最初から何もしなくてもflash attentionとmklが有効化されてるの便利でした。
flash attentionをソースからビルドする時にtritonを使ったのもあって、xformers、stable fastでも tritonのGPUメモリ削減が効くようになったのか、画像生成時にメモリは2〜3GBほど減少。
画像生成時のGPU温度も稼働中は70℃以下をキープしてる。
pytorch自体は、ソースからビルドしたおかげで、最初から何もしなくてもflash attentionとmklが有効化されてるの便利でした。
flash attentionをソースからビルドする時にtritonを使ったのもあって、xformers、stable fastでも tritonのGPUメモリ削減が効くようになったのか、画像生成時にメモリは2〜3GBほど減少。
画像生成時のGPU温度も稼働中は70℃以下をキープしてる。
September 8, 2024 at 2:26 PM
pytorch、flash attention、xformers、stable fastをソースからビルドと統合させてみた。
pytorch自体は、ソースからビルドしたおかげで、最初から何もしなくてもflash attentionとmklが有効化されてるの便利でした。
flash attentionをソースからビルドする時にtritonを使ったのもあって、xformers、stable fastでも tritonのGPUメモリ削減が効くようになったのか、画像生成時にメモリは2〜3GBほど減少。
画像生成時のGPU温度も稼働中は70℃以下をキープしてる。
pytorch自体は、ソースからビルドしたおかげで、最初から何もしなくてもflash attentionとmklが有効化されてるの便利でした。
flash attentionをソースからビルドする時にtritonを使ったのもあって、xformers、stable fastでも tritonのGPUメモリ削減が効くようになったのか、画像生成時にメモリは2〜3GBほど減少。
画像生成時のGPU温度も稼働中は70℃以下をキープしてる。
bazelisk使って、bazelをソースからビルド出来た。これで、ようやくWindows環境でbazel使えるようになった。
bazeliskとmsys2使って、bazelをビルドしてたら、UTF-8で読み込まれていないとういエラー表示が出た。
問題のtime.cpp？っていうファイルの164〜166行目あたりの♾️がLinux環境のコード？みたくて、単純にinfinityに変更したら、ビルド成功した。
ファイル自体は、最初からUTF-8形式だったので、♾️だけがエラー原因でした。
bazeliskとmsys2使って、bazelをビルドしてたら、UTF-8で読み込まれていないとういエラー表示が出た。
問題のtime.cpp？っていうファイルの164〜166行目あたりの♾️がLinux環境のコード？みたくて、単純にinfinityに変更したら、ビルド成功した。
ファイル自体は、最初からUTF-8形式だったので、♾️だけがエラー原因でした。
September 8, 2024 at 2:08 PM
bazelisk使って、bazelをソースからビルド出来た。これで、ようやくWindows環境でbazel使えるようになった。
bazeliskとmsys2使って、bazelをビルドしてたら、UTF-8で読み込まれていないとういエラー表示が出た。
問題のtime.cpp？っていうファイルの164〜166行目あたりの♾️がLinux環境のコード？みたくて、単純にinfinityに変更したら、ビルド成功した。
ファイル自体は、最初からUTF-8形式だったので、♾️だけがエラー原因でした。
bazeliskとmsys2使って、bazelをビルドしてたら、UTF-8で読み込まれていないとういエラー表示が出た。
問題のtime.cpp？っていうファイルの164〜166行目あたりの♾️がLinux環境のコード？みたくて、単純にinfinityに変更したら、ビルド成功した。
ファイル自体は、最初からUTF-8形式だったので、♾️だけがエラー原因でした。
pytorch2.4.0安定版をソースからビルドするのに失敗する原因がようやく判明した。miniconda3のバージョンが python3.11.9に対応していなかったからだった。
vs2022のコンパイラとか環境変数とか、依存関係も疑ってたけど、miniconda3のバージョンをpy3.11に変更していなかったからだった。
py3.12のものを使い回すのはできないの知らなかった。
vs2022のコンパイラとか環境変数とか、依存関係も疑ってたけど、miniconda3のバージョンをpy3.11に変更していなかったからだった。
py3.12のものを使い回すのはできないの知らなかった。
September 5, 2024 at 1:08 AM
pytorch2.4.0安定版をソースからビルドするのに失敗する原因がようやく判明した。miniconda3のバージョンが python3.11.9に対応していなかったからだった。
vs2022のコンパイラとか環境変数とか、依存関係も疑ってたけど、miniconda3のバージョンをpy3.11に変更していなかったからだった。
py3.12のものを使い回すのはできないの知らなかった。
vs2022のコンパイラとか環境変数とか、依存関係も疑ってたけど、miniconda3のバージョンをpy3.11に変更していなかったからだった。
py3.12のものを使い回すのはできないの知らなかった。
deep speedのインストールやっと出来た。なぜかpipコマンドで簡単に入れるはずが、カスタムビルド版でインストールされた。そしてインストールされたdeep speedが(tritonを無効化しないと一部の機能を有効化出来ません)っていう警告出てる。
tritonの無効化って、ソースからビルドしたxformersの依存関係にtritonあった場合は、無効化するとxformersの利用にも影響しないのかな？
tritonの無効化って、ソースからビルドしたxformersの依存関係にtritonあった場合は、無効化するとxformersの利用にも影響しないのかな？
August 24, 2024 at 4:06 AM
deep speedのインストールやっと出来た。なぜかpipコマンドで簡単に入れるはずが、カスタムビルド版でインストールされた。そしてインストールされたdeep speedが(tritonを無効化しないと一部の機能を有効化出来ません)っていう警告出てる。
tritonの無効化って、ソースからビルドしたxformersの依存関係にtritonあった場合は、無効化するとxformersの利用にも影響しないのかな？
tritonの無効化って、ソースからビルドしたxformersの依存関係にtritonあった場合は、無効化するとxformersの利用にも影響しないのかな？
次はdeep speedをインストールさせたいと思って、ソースからビルドするのではなくpyplから簡単に入れようとpipコマンドで試行錯誤してたら何でか失敗続き。
なぜか、ビルドを強制させてこようとする。いや普通にインストールさせてくれよ。
なぜか、ビルドを強制させてこようとする。いや普通にインストールさせてくれよ。
August 24, 2024 at 4:01 AM
次はdeep speedをインストールさせたいと思って、ソースからビルドするのではなくpyplから簡単に入れようとpipコマンドで試行錯誤してたら何でか失敗続き。
なぜか、ビルドを強制させてこようとする。いや普通にインストールさせてくれよ。
なぜか、ビルドを強制させてこようとする。いや普通にインストールさせてくれよ。
結局、pytorchをwhlでインストールさせて、xformers、 flash attention 、stable fastをビルドとインストールしたらコンパイル出来たぽい
August 24, 2024 at 3:27 AM
結局、pytorchをwhlでインストールさせて、xformers、 flash attention 、stable fastをビルドとインストールしたらコンパイル出来たぽい
CUDA12.4対応のpytorchをソースからビルドするのに再挑戦中。
昨日はnightlyバージョンだと、intel MKLの部分が引っかかるのかビルド完了してもインストールできなかった。なので、今日はstable版試す。これでだめだったら、諦めてcondaに直インストールさせるしかないかな
昨日はnightlyバージョンだと、intel MKLの部分が引っかかるのかビルド完了してもインストールできなかった。なので、今日はstable版試す。これでだめだったら、諦めてcondaに直インストールさせるしかないかな
August 20, 2024 at 5:13 AM
CUDA12.4対応のpytorchをソースからビルドするのに再挑戦中。
昨日はnightlyバージョンだと、intel MKLの部分が引っかかるのかビルド完了してもインストールできなかった。なので、今日はstable版試す。これでだめだったら、諦めてcondaに直インストールさせるしかないかな
昨日はnightlyバージョンだと、intel MKLの部分が引っかかるのかビルド完了してもインストールできなかった。なので、今日はstable版試す。これでだめだったら、諦めてcondaに直インストールさせるしかないかな
CUDA12.4対応のpytorchをソースからビルドするのに失敗しまくるので困った。
多分、原因はintel MKLか、visual studioとかの環境変数がビルドする時に無効化してるのに影響してくるからかな？
とりあえず、同じ python3.11.9の環境でビルドしたnumpyとscipy、xformers、tritonをアンインストールして、再ビルドしてみるかな
多分、原因はintel MKLか、visual studioとかの環境変数がビルドする時に無効化してるのに影響してくるからかな？
とりあえず、同じ python3.11.9の環境でビルドしたnumpyとscipy、xformers、tritonをアンインストールして、再ビルドしてみるかな
August 19, 2024 at 7:04 AM
CUDA12.4対応のpytorchをソースからビルドするのに失敗しまくるので困った。
多分、原因はintel MKLか、visual studioとかの環境変数がビルドする時に無効化してるのに影響してくるからかな？
とりあえず、同じ python3.11.9の環境でビルドしたnumpyとscipy、xformers、tritonをアンインストールして、再ビルドしてみるかな
多分、原因はintel MKLか、visual studioとかの環境変数がビルドする時に無効化してるのに影響してくるからかな？
とりあえず、同じ python3.11.9の環境でビルドしたnumpyとscipy、xformers、tritonをアンインストールして、再ビルドしてみるかな
logicoolのM720Rというマウスを購入しました。マウスに8つのキーボードショートカットを割り当てることができるけど、こんなにも操作が楽になるなんて思わなかった。しかも、この子は3台もペアリングできるので、デスクトップ、ノートPC、タブレット間で同時に接続できる。優秀すぎる
July 12, 2024 at 6:59 AM
logicoolのM720Rというマウスを購入しました。マウスに8つのキーボードショートカットを割り当てることができるけど、こんなにも操作が楽になるなんて思わなかった。しかも、この子は3台もペアリングできるので、デスクトップ、ノートPC、タブレット間で同時に接続できる。優秀すぎる
自作PCと、ノートPCをLANケーブルで接続してaudiorelayを使って、ノートPC側から音声を出力させてみました。
音が途切れることもなくて良い感じ。
キーボードとマウスもmouse without bordersで繋げれたので、少しテーブル上がスッキリしたので、作業しやすい。
音が途切れることもなくて良い感じ。
キーボードとマウスもmouse without bordersで繋げれたので、少しテーブル上がスッキリしたので、作業しやすい。
June 27, 2024 at 3:58 AM
自作PCと、ノートPCをLANケーブルで接続してaudiorelayを使って、ノートPC側から音声を出力させてみました。
音が途切れることもなくて良い感じ。
キーボードとマウスもmouse without bordersで繋げれたので、少しテーブル上がスッキリしたので、作業しやすい。
音が途切れることもなくて良い感じ。
キーボードとマウスもmouse without bordersで繋げれたので、少しテーブル上がスッキリしたので、作業しやすい。
簿記２級合格からの１級の通信教材申込みして、教材届いたけど量に圧倒されてる
April 27, 2024 at 5:32 AM
簿記２級合格からの１級の通信教材申込みして、教材届いたけど量に圧倒されてる
将棋ウォーズの棋神ラーニングしてて、藤森先生にブッブーって言われてさすがに笑ってしまった
February 22, 2024 at 12:57 AM
将棋ウォーズの棋神ラーニングしてて、藤森先生にブッブーって言われてさすがに笑ってしまった
海岸を散歩してたら、子イルカが打ち上げられててビビった
湾内に子イルカ1頭だけ迷い込んで、打ち上げられることなんてあるのか
湾内に子イルカ1頭だけ迷い込んで、打ち上げられることなんてあるのか
February 20, 2024 at 12:41 AM
海岸を散歩してたら、子イルカが打ち上げられててビビった
湾内に子イルカ1頭だけ迷い込んで、打ち上げられることなんてあるのか
湾内に子イルカ1頭だけ迷い込んで、打ち上げられることなんてあるのか
葬送のフリーレンのアニメから入って、20話まで見た後に面白すぎてコミック全巻買ってしまった
本誌の方では、ザイン戻ってきてないの？
本誌の方では、ザイン戻ってきてないの？
February 13, 2024 at 8:05 AM
葬送のフリーレンのアニメから入って、20話まで見た後に面白すぎてコミック全巻買ってしまった
本誌の方では、ザイン戻ってきてないの？
本誌の方では、ザイン戻ってきてないの？
February 11, 2024 at 2:08 PM