服部励起
@srvhat09.bsky.social
個人事業主：主にAI系研究開発
旧）株式会社情報スペース 代表取締役
JSバックアップシリーズ等 設計＆開発＆運用＆保守等
特許２件権利化済
松尾研LLMコミュニティメンバー
https://twitter.com/srvhat09
旧）株式会社情報スペース 代表取締役
JSバックアップシリーズ等 設計＆開発＆運用＆保守等
特許２件権利化済
松尾研LLMコミュニティメンバー
https://twitter.com/srvhat09
年賀状デザインのダウンロードを考えていたが、Stable Diffusion 3.5で作成してみた。
水彩画風をリクエストしてもやや濃い感じしかできない点がやや残念。プロンプトでできるのか？
作った中でまぁまぁ人に見せれそうなのをアップしてみる。ｗ
水彩画風をリクエストしてもやや濃い感じしかできない点がやや残念。プロンプトでできるのか？
作った中でまぁまぁ人に見せれそうなのをアップしてみる。ｗ
December 30, 2024 at 2:31 AM
年賀状デザインのダウンロードを考えていたが、Stable Diffusion 3.5で作成してみた。
水彩画風をリクエストしてもやや濃い感じしかできない点がやや残念。プロンプトでできるのか？
作った中でまぁまぁ人に見せれそうなのをアップしてみる。ｗ
水彩画風をリクエストしてもやや濃い感じしかできない点がやや残念。プロンプトでできるのか？
作った中でまぁまぁ人に見せれそうなのをアップしてみる。ｗ
qwen2.5 coderがリリースされたとollamaのDiscord通知があったので、WSL2 Docker版ollamaに入れて実験。
とりあえず試験的に日本語で質問しながら実装サンプルを見ている。
coderはコードしか出来ないのかと思ったがちゃんと会話してくれる。
ラップトップでは2.52tok/s程度
サーバPC側に運用方向としてラップトップq4_kmをq8_0でダウンロード中。
同じリクエストでClaude 3.5 sonnetと比較したいが、流石にsonnetの方良いと勝手に思っている。
機密系を処理するなら、ローカルで動くqwen2.5は意味がある。
とりあえず試験的に日本語で質問しながら実装サンプルを見ている。
coderはコードしか出来ないのかと思ったがちゃんと会話してくれる。
ラップトップでは2.52tok/s程度
サーバPC側に運用方向としてラップトップq4_kmをq8_0でダウンロード中。
同じリクエストでClaude 3.5 sonnetと比較したいが、流石にsonnetの方良いと勝手に思っている。
機密系を処理するなら、ローカルで動くqwen2.5は意味がある。
November 12, 2024 at 2:36 AM
qwen2.5 coderがリリースされたとollamaのDiscord通知があったので、WSL2 Docker版ollamaに入れて実験。
とりあえず試験的に日本語で質問しながら実装サンプルを見ている。
coderはコードしか出来ないのかと思ったがちゃんと会話してくれる。
ラップトップでは2.52tok/s程度
サーバPC側に運用方向としてラップトップq4_kmをq8_0でダウンロード中。
同じリクエストでClaude 3.5 sonnetと比較したいが、流石にsonnetの方良いと勝手に思っている。
機密系を処理するなら、ローカルで動くqwen2.5は意味がある。
とりあえず試験的に日本語で質問しながら実装サンプルを見ている。
coderはコードしか出来ないのかと思ったがちゃんと会話してくれる。
ラップトップでは2.52tok/s程度
サーバPC側に運用方向としてラップトップq4_kmをq8_0でダウンロード中。
同じリクエストでClaude 3.5 sonnetと比較したいが、流石にsonnetの方良いと勝手に思っている。
機密系を処理するなら、ローカルで動くqwen2.5は意味がある。
着信履歴スナップショット。
Twitterにも投げていたら、Amazonから報告して欲しいメッセージがあったので即座に報告しました。
Twitterにも投げていたら、Amazonから報告して欲しいメッセージがあったので即座に報告しました。
October 19, 2024 at 12:41 PM
着信履歴スナップショット。
Twitterにも投げていたら、Amazonから報告して欲しいメッセージがあったので即座に報告しました。
Twitterにも投げていたら、Amazonから報告して欲しいメッセージがあったので即座に報告しました。
私の実家は電波の受信状況があまり良くない。
しかし、Pixel 8 Pro（Pixel 6も同じ）とXperia 1 IIとでは受信電波強度が異なる。
左（Pixel 8 Pro）は4本中2本。6.9Mbps
右（Xperi 1 II）は4本中3本。8.0Mbps
テザリングしても速度が異なっているのでアンテナ数は正しい感じがする。
要は、Xoeriaのアンテナかモデルの性能が高いってだけの話。
まぁ受信強度が高い地域はあまり関係ないんだけど、過疎地だと差が出る。
因みに同じキャリアでIIJmioで同一。
しかし、Pixel 8 Pro（Pixel 6も同じ）とXperia 1 IIとでは受信電波強度が異なる。
左（Pixel 8 Pro）は4本中2本。6.9Mbps
右（Xperi 1 II）は4本中3本。8.0Mbps
テザリングしても速度が異なっているのでアンテナ数は正しい感じがする。
要は、Xoeriaのアンテナかモデルの性能が高いってだけの話。
まぁ受信強度が高い地域はあまり関係ないんだけど、過疎地だと差が出る。
因みに同じキャリアでIIJmioで同一。
October 12, 2024 at 7:56 AM
私の実家は電波の受信状況があまり良くない。
しかし、Pixel 8 Pro（Pixel 6も同じ）とXperia 1 IIとでは受信電波強度が異なる。
左（Pixel 8 Pro）は4本中2本。6.9Mbps
右（Xperi 1 II）は4本中3本。8.0Mbps
テザリングしても速度が異なっているのでアンテナ数は正しい感じがする。
要は、Xoeriaのアンテナかモデルの性能が高いってだけの話。
まぁ受信強度が高い地域はあまり関係ないんだけど、過疎地だと差が出る。
因みに同じキャリアでIIJmioで同一。
しかし、Pixel 8 Pro（Pixel 6も同じ）とXperia 1 IIとでは受信電波強度が異なる。
左（Pixel 8 Pro）は4本中2本。6.9Mbps
右（Xperi 1 II）は4本中3本。8.0Mbps
テザリングしても速度が異なっているのでアンテナ数は正しい感じがする。
要は、Xoeriaのアンテナかモデルの性能が高いってだけの話。
まぁ受信強度が高い地域はあまり関係ないんだけど、過疎地だと差が出る。
因みに同じキャリアでIIJmioで同一。
政治とかの話を人としたくないので、ollama上のgemma 2 27B Q4とやってみた。
なかなか素晴らしい回答ですね。
やはりローカルPCで動くSLMはいいものですね。
非常に勉強になる。
なかなか素晴らしい回答ですね。
やはりローカルPCで動くSLMはいいものですね。
非常に勉強になる。
October 8, 2024 at 8:05 AM
政治とかの話を人としたくないので、ollama上のgemma 2 27B Q4とやってみた。
なかなか素晴らしい回答ですね。
やはりローカルPCで動くSLMはいいものですね。
非常に勉強になる。
なかなか素晴らしい回答ですね。
やはりローカルPCで動くSLMはいいものですね。
非常に勉強になる。
ご当地アイドルか何かミニライブをしていた。
September 15, 2024 at 8:02 AM
ご当地アイドルか何かミニライブをしていた。
Gemini 1.5 Flash 8BにJSON Schemaモードについて聞いてみたら、想定を超えた回答で素晴らしい。
（Gemini 1.5 FlashにJSON Schema Mode搭載とGoogle AI Studio開発リーダーのLogan KilpatrickがXで公開）
8Bでこれって・・・
gemmaもそうだけどGoogleがここに来て凄い勢い。
最高に知識が高い訳では無いけど、コスパを考えると素晴らしい。
JSON Schemaの意味がわからなかったので知りたかったが、分かるとビジネス系では素晴らしいですね。
Google凄いですね。
（Gemini 1.5 FlashにJSON Schema Mode搭載とGoogle AI Studio開発リーダーのLogan KilpatrickがXで公開）
8Bでこれって・・・
gemmaもそうだけどGoogleがここに来て凄い勢い。
最高に知識が高い訳では無いけど、コスパを考えると素晴らしい。
JSON Schemaの意味がわからなかったので知りたかったが、分かるとビジネス系では素晴らしいですね。
Google凄いですね。
August 31, 2024 at 3:16 AM
Gemini 1.5 Flash 8BにJSON Schemaモードについて聞いてみたら、想定を超えた回答で素晴らしい。
（Gemini 1.5 FlashにJSON Schema Mode搭載とGoogle AI Studio開発リーダーのLogan KilpatrickがXで公開）
8Bでこれって・・・
gemmaもそうだけどGoogleがここに来て凄い勢い。
最高に知識が高い訳では無いけど、コスパを考えると素晴らしい。
JSON Schemaの意味がわからなかったので知りたかったが、分かるとビジネス系では素晴らしいですね。
Google凄いですね。
（Gemini 1.5 FlashにJSON Schema Mode搭載とGoogle AI Studio開発リーダーのLogan KilpatrickがXで公開）
8Bでこれって・・・
gemmaもそうだけどGoogleがここに来て凄い勢い。
最高に知識が高い訳では無いけど、コスパを考えると素晴らしい。
JSON Schemaの意味がわからなかったので知りたかったが、分かるとビジネス系では素晴らしいですね。
Google凄いですね。
ollama(Ubuntu 22.04)でgemma 27b Q4を動かした。
アンダンテとアルデンテの違いが分かる唯一のローカルLLM。
遅いが頑張れば待てる。
tok/sが出ると良いのですが。
メモリ使用量が27b Q4で20GB本体で使う。
40GBに拡張しているZephyrus G15(2022製)
gemma 27Bってホーダチさんがカスタムしていたかなぁ・・・
アンダンテとアルデンテの違いが分かる唯一のローカルLLM。
遅いが頑張れば待てる。
tok/sが出ると良いのですが。
メモリ使用量が27b Q4で20GB本体で使う。
40GBに拡張しているZephyrus G15(2022製)
gemma 27Bってホーダチさんがカスタムしていたかなぁ・・・
August 2, 2024 at 8:20 AM
ollama(Ubuntu 22.04)でgemma 27b Q4を動かした。
アンダンテとアルデンテの違いが分かる唯一のローカルLLM。
遅いが頑張れば待てる。
tok/sが出ると良いのですが。
メモリ使用量が27b Q4で20GB本体で使う。
40GBに拡張しているZephyrus G15(2022製)
gemma 27Bってホーダチさんがカスタムしていたかなぁ・・・
アンダンテとアルデンテの違いが分かる唯一のローカルLLM。
遅いが頑張れば待てる。
tok/sが出ると良いのですが。
メモリ使用量が27b Q4で20GB本体で使う。
40GBに拡張しているZephyrus G15(2022製)
gemma 27Bってホーダチさんがカスタムしていたかなぁ・・・
豚の生姜焼きを間違えて豚のニンニク焼きにしてしまった。
最後まで気が付かないまま。
まぁ、味自体は問題なく美味い（ニンニクがちと効きすぎ）が、生姜焼きを作るつもりだったので、ショック。
写真は明日の作り置き分。
最後まで気が付かないまま。
まぁ、味自体は問題なく美味い（ニンニクがちと効きすぎ）が、生姜焼きを作るつもりだったので、ショック。
写真は明日の作り置き分。
July 27, 2024 at 10:49 AM
豚の生姜焼きを間違えて豚のニンニク焼きにしてしまった。
最後まで気が付かないまま。
まぁ、味自体は問題なく美味い（ニンニクがちと効きすぎ）が、生姜焼きを作るつもりだったので、ショック。
写真は明日の作り置き分。
最後まで気が付かないまま。
まぁ、味自体は問題なく美味い（ニンニクがちと効きすぎ）が、生姜焼きを作るつもりだったので、ショック。
写真は明日の作り置き分。
ぱぷりか炒めさん公開のMistral Large2 IQ2 XXSをLM Studioで実行してみた。
サブカルでかなりいい線で阿良々木暦を間違えていた。
量子化原因か分からないので、本家で実行するとちゃんと回答する。
0.39tok/sなのでやっと動く程度なのが辛いが、⌘R+よりも良い気がする。
雰囲気、ハルシネーションが少なめな気がする。
猫物語で聞いた最初が、複数あるから作者を言えって辺りは、LLMで初めての体験。
これは素晴らしい。123BでPython、Java、C、C++、JavaScript、Bash など 80 以上のコーディング言語をサポートとのこと。
サブカルでかなりいい線で阿良々木暦を間違えていた。
量子化原因か分からないので、本家で実行するとちゃんと回答する。
0.39tok/sなのでやっと動く程度なのが辛いが、⌘R+よりも良い気がする。
雰囲気、ハルシネーションが少なめな気がする。
猫物語で聞いた最初が、複数あるから作者を言えって辺りは、LLMで初めての体験。
これは素晴らしい。123BでPython、Java、C、C++、JavaScript、Bash など 80 以上のコーディング言語をサポートとのこと。
July 26, 2024 at 6:06 AM
ぱぷりか炒めさん公開のMistral Large2 IQ2 XXSをLM Studioで実行してみた。
サブカルでかなりいい線で阿良々木暦を間違えていた。
量子化原因か分からないので、本家で実行するとちゃんと回答する。
0.39tok/sなのでやっと動く程度なのが辛いが、⌘R+よりも良い気がする。
雰囲気、ハルシネーションが少なめな気がする。
猫物語で聞いた最初が、複数あるから作者を言えって辺りは、LLMで初めての体験。
これは素晴らしい。123BでPython、Java、C、C++、JavaScript、Bash など 80 以上のコーディング言語をサポートとのこと。
サブカルでかなりいい線で阿良々木暦を間違えていた。
量子化原因か分からないので、本家で実行するとちゃんと回答する。
0.39tok/sなのでやっと動く程度なのが辛いが、⌘R+よりも良い気がする。
雰囲気、ハルシネーションが少なめな気がする。
猫物語で聞いた最初が、複数あるから作者を言えって辺りは、LLMで初めての体験。
これは素晴らしい。123BでPython、Java、C、C++、JavaScript、Bash など 80 以上のコーディング言語をサポートとのこと。
色んなLLMにサガリの部位を聞いて正誤を纏めてみた。
結果は、Cluad3.5とGPT-4oのみ正解。
但し、Android Geminiアプリは正解した。Google検索も利用しているかも。
Cluad3やGPT-4tとかは未確認。Googleの学習データに無いようなので、Gemmaも当然駄目。Llama3単体は未調査だけど無理かも知れない。
ローカルは全てLM Studio。GoogleはAI Studio。GPT-4o、Cluad3.5 Sonnet共に課金版。
Android Geminiアプリでは「サガリの部位を教えて」と音声で聞いた。
結果は、Cluad3.5とGPT-4oのみ正解。
但し、Android Geminiアプリは正解した。Google検索も利用しているかも。
Cluad3やGPT-4tとかは未確認。Googleの学習データに無いようなので、Gemmaも当然駄目。Llama3単体は未調査だけど無理かも知れない。
ローカルは全てLM Studio。GoogleはAI Studio。GPT-4o、Cluad3.5 Sonnet共に課金版。
Android Geminiアプリでは「サガリの部位を教えて」と音声で聞いた。
July 18, 2024 at 2:56 PM
色んなLLMにサガリの部位を聞いて正誤を纏めてみた。
結果は、Cluad3.5とGPT-4oのみ正解。
但し、Android Geminiアプリは正解した。Google検索も利用しているかも。
Cluad3やGPT-4tとかは未確認。Googleの学習データに無いようなので、Gemmaも当然駄目。Llama3単体は未調査だけど無理かも知れない。
ローカルは全てLM Studio。GoogleはAI Studio。GPT-4o、Cluad3.5 Sonnet共に課金版。
Android Geminiアプリでは「サガリの部位を教えて」と音声で聞いた。
結果は、Cluad3.5とGPT-4oのみ正解。
但し、Android Geminiアプリは正解した。Google検索も利用しているかも。
Cluad3やGPT-4tとかは未確認。Googleの学習データに無いようなので、Gemmaも当然駄目。Llama3単体は未調査だけど無理かも知れない。
ローカルは全てLM Studio。GoogleはAI Studio。GPT-4o、Cluad3.5 Sonnet共に課金版。
Android Geminiアプリでは「サガリの部位を教えて」と音声で聞いた。
Google ColabからGemini 1.5 FlashにPDFを入れて解析を動かそうと実験。
結果は、v1betaのAPIであるためなのか、PDFを直接解析は出来ませんというエラー。
APIかPythonライブラリかは分かりませんが、時期尚早なのでしょう。残念。
結果は、v1betaのAPIであるためなのか、PDFを直接解析は出来ませんというエラー。
APIかPythonライブラリかは分かりませんが、時期尚早なのでしょう。残念。
June 12, 2024 at 6:00 AM
Google ColabからGemini 1.5 FlashにPDFを入れて解析を動かそうと実験。
結果は、v1betaのAPIであるためなのか、PDFを直接解析は出来ませんというエラー。
APIかPythonライブラリかは分かりませんが、時期尚早なのでしょう。残念。
結果は、v1betaのAPIであるためなのか、PDFを直接解析は出来ませんというエラー。
APIかPythonライブラリかは分かりませんが、時期尚早なのでしょう。残念。
pc.watch.impress.co.jp/docs/column/...
この記事の、笠原氏作成の図がいいですね。
learn.microsoft.com/ja-jp/window...
github.com/microsoft/Di...
DirectMLのサイト、Githubも公開されている。
この記事の、笠原氏作成の図がいいですね。
learn.microsoft.com/ja-jp/window...
github.com/microsoft/Di...
DirectMLのサイト、Githubも公開されている。
June 11, 2024 at 5:58 AM
pc.watch.impress.co.jp/docs/column/...
この記事の、笠原氏作成の図がいいですね。
learn.microsoft.com/ja-jp/window...
github.com/microsoft/Di...
DirectMLのサイト、Githubも公開されている。
この記事の、笠原氏作成の図がいいですね。
learn.microsoft.com/ja-jp/window...
github.com/microsoft/Di...
DirectMLのサイト、Githubも公開されている。
cohereサイトのPlaygroundでaya23を発見。
LMStudioで探すとあったので35Bを選択。
35BのIQ2_M GGUFをダウンロードし実行。
いつものように猫物語を聞いたが、猫の字が・・・だが、結構知っていることに驚いた。
1.77 tok/sなのでちょっと遅いが、使えるかも知れない。
35BなのでCommand Rと同じでaya23は23カ国語対応。Command Rは確か10カ国語。
語数が多いと知識が・・・とは思うが、こっちの方が良いかも知れない。
LMStudioで探すとあったので35Bを選択。
35BのIQ2_M GGUFをダウンロードし実行。
いつものように猫物語を聞いたが、猫の字が・・・だが、結構知っていることに驚いた。
1.77 tok/sなのでちょっと遅いが、使えるかも知れない。
35BなのでCommand Rと同じでaya23は23カ国語対応。Command Rは確か10カ国語。
語数が多いと知識が・・・とは思うが、こっちの方が良いかも知れない。
June 11, 2024 at 4:30 AM
cohereサイトのPlaygroundでaya23を発見。
LMStudioで探すとあったので35Bを選択。
35BのIQ2_M GGUFをダウンロードし実行。
いつものように猫物語を聞いたが、猫の字が・・・だが、結構知っていることに驚いた。
1.77 tok/sなのでちょっと遅いが、使えるかも知れない。
35BなのでCommand Rと同じでaya23は23カ国語対応。Command Rは確か10カ国語。
語数が多いと知識が・・・とは思うが、こっちの方が良いかも知れない。
LMStudioで探すとあったので35Bを選択。
35BのIQ2_M GGUFをダウンロードし実行。
いつものように猫物語を聞いたが、猫の字が・・・だが、結構知っていることに驚いた。
1.77 tok/sなのでちょっと遅いが、使えるかも知れない。
35BなのでCommand Rと同じでaya23は23カ国語対応。Command Rは確か10カ国語。
語数が多いと知識が・・・とは思うが、こっちの方が良いかも知れない。
Flash Latestで、SLMについての基準を聞いてみた結果。
最近、SLMって用語が出てきてしまい、2021年に0.3B前後の日本語Bertをファインチューニングして遊んでいた私にとっては隔世の感があるよね。
最近、SLMって用語が出てきてしまい、2021年に0.3B前後の日本語Bertをファインチューニングして遊んでいた私にとっては隔世の感があるよね。
May 23, 2024 at 1:39 AM
Flash Latestで、SLMについての基準を聞いてみた結果。
最近、SLMって用語が出てきてしまい、2021年に0.3B前後の日本語Bertをファインチューニングして遊んでいた私にとっては隔世の感があるよね。
最近、SLMって用語が出てきてしまい、2021年に0.3B前後の日本語Bertをファインチューニングして遊んでいた私にとっては隔世の感があるよね。
LG gram ＋view モバイルモニター 16MR70が届いた。
Ubuntu 22.04 by Zephyrus G15(2022)で右側に縦置きしてみた。
縦長資料を見る場合、こっちが便利だ。QoLが上がる。
USB-Cで電源供給と表示まで使えるので、接続はケーブル1本だし、データチェックなどは特に2画面は楽だ。
付属のカバーで縦置きや横書きも可能なのがまた良い。
ホストOSがUbuntu 22.04のUSB-Cで動くか不安ではあったが、無事問題が無かった。
JAPANNEXTはHDMI接続だったので悩んだが、動いて良かった。
Ubuntu 22.04 by Zephyrus G15(2022)で右側に縦置きしてみた。
縦長資料を見る場合、こっちが便利だ。QoLが上がる。
USB-Cで電源供給と表示まで使えるので、接続はケーブル1本だし、データチェックなどは特に2画面は楽だ。
付属のカバーで縦置きや横書きも可能なのがまた良い。
ホストOSがUbuntu 22.04のUSB-Cで動くか不安ではあったが、無事問題が無かった。
JAPANNEXTはHDMI接続だったので悩んだが、動いて良かった。
May 20, 2024 at 4:22 AM
LG gram ＋view モバイルモニター 16MR70が届いた。
Ubuntu 22.04 by Zephyrus G15(2022)で右側に縦置きしてみた。
縦長資料を見る場合、こっちが便利だ。QoLが上がる。
USB-Cで電源供給と表示まで使えるので、接続はケーブル1本だし、データチェックなどは特に2画面は楽だ。
付属のカバーで縦置きや横書きも可能なのがまた良い。
ホストOSがUbuntu 22.04のUSB-Cで動くか不安ではあったが、無事問題が無かった。
JAPANNEXTはHDMI接続だったので悩んだが、動いて良かった。
Ubuntu 22.04 by Zephyrus G15(2022)で右側に縦置きしてみた。
縦長資料を見る場合、こっちが便利だ。QoLが上がる。
USB-Cで電源供給と表示まで使えるので、接続はケーブル1本だし、データチェックなどは特に2画面は楽だ。
付属のカバーで縦置きや横書きも可能なのがまた良い。
ホストOSがUbuntu 22.04のUSB-Cで動くか不安ではあったが、無事問題が無かった。
JAPANNEXTはHDMI接続だったので悩んだが、動いて良かった。
LM StudioでLegion 5 Pro 64GBメモリ(RTX 4070 8GB,共有GPUメモリ31.6)で、Command R+ (104B) iq3 xssが動作。
使用メインメモリ：51.1GB
GPUメモリ：9.6GB
1.03tok/s iq2 xssが1.32tok/sなのでちょっと遅い程度。
質問内容でも変わるが。
Windows に共有GPUメモリが搭載（本体メモリから利用）されているので、多少GPUメモリが足りないってケースの場合は有効かも。
UbuntuネイティブよりもWindows上でWSL上でUbuntuで実行するのが良さそうかも。
使用メインメモリ：51.1GB
GPUメモリ：9.6GB
1.03tok/s iq2 xssが1.32tok/sなのでちょっと遅い程度。
質問内容でも変わるが。
Windows に共有GPUメモリが搭載（本体メモリから利用）されているので、多少GPUメモリが足りないってケースの場合は有効かも。
UbuntuネイティブよりもWindows上でWSL上でUbuntuで実行するのが良さそうかも。
May 7, 2024 at 9:08 AM
LM StudioでLegion 5 Pro 64GBメモリ(RTX 4070 8GB,共有GPUメモリ31.6)で、Command R+ (104B) iq3 xssが動作。
使用メインメモリ：51.1GB
GPUメモリ：9.6GB
1.03tok/s iq2 xssが1.32tok/sなのでちょっと遅い程度。
質問内容でも変わるが。
Windows に共有GPUメモリが搭載（本体メモリから利用）されているので、多少GPUメモリが足りないってケースの場合は有効かも。
UbuntuネイティブよりもWindows上でWSL上でUbuntuで実行するのが良さそうかも。
使用メインメモリ：51.1GB
GPUメモリ：9.6GB
1.03tok/s iq2 xssが1.32tok/sなのでちょっと遅い程度。
質問内容でも変わるが。
Windows に共有GPUメモリが搭載（本体メモリから利用）されているので、多少GPUメモリが足りないってケースの場合は有効かも。
UbuntuネイティブよりもWindows上でWSL上でUbuntuで実行するのが良さそうかも。
Legion 5 Proのメモリ64GBにしているが、RTX 4070のGPUメモリが8GB+本体メモリ31.6GBが追加されているように見える。
これって、39.6GBって認識できるのか？
気になったので、LM StudioでCommand R+のiq4をダウンロード中。
Command R+ iq2 xssでGPU 7.5GB利用されているので、上手く動くならメインメモリが96GBできると・・・
SODIMMにDDR5は48GB/枚が用意されている。
搭載できるとどこにも無いのだが、ワンチャンいけたらM4待ちは不要になりそうだ。ｗｗ
これって、39.6GBって認識できるのか？
気になったので、LM StudioでCommand R+のiq4をダウンロード中。
Command R+ iq2 xssでGPU 7.5GB利用されているので、上手く動くならメインメモリが96GBできると・・・
SODIMMにDDR5は48GB/枚が用意されている。
搭載できるとどこにも無いのだが、ワンチャンいけたらM4待ちは不要になりそうだ。ｗｗ
May 7, 2024 at 1:43 AM
Legion 5 Proのメモリ64GBにしているが、RTX 4070のGPUメモリが8GB+本体メモリ31.6GBが追加されているように見える。
これって、39.6GBって認識できるのか？
気になったので、LM StudioでCommand R+のiq4をダウンロード中。
Command R+ iq2 xssでGPU 7.5GB利用されているので、上手く動くならメインメモリが96GBできると・・・
SODIMMにDDR5は48GB/枚が用意されている。
搭載できるとどこにも無いのだが、ワンチャンいけたらM4待ちは不要になりそうだ。ｗｗ
これって、39.6GBって認識できるのか？
気になったので、LM StudioでCommand R+のiq4をダウンロード中。
Command R+ iq2 xssでGPU 7.5GB利用されているので、上手く動くならメインメモリが96GBできると・・・
SODIMMにDDR5は48GB/枚が用意されている。
搭載できるとどこにも無いのだが、ワンチャンいけたらM4待ちは不要になりそうだ。ｗｗ
とりあえず、torchtune がGoogle Colab L4で動き始めた。
今回は、torchtuneのQLoRAレシピをベースで実行。
量子化はtorch.quantizationを使うっぽいので、INT8がデフォルトっぽい。 8w, 4w, 4w-gptqが選べるらしいが指定方法は不明。
8da4wはtorch 2.3+で指定可能となっている。
8da4wの意味が int8 per token dynamic activation with int4 weight only per axis group quantization とのこと。
まだ学習中なので、動作するのかな？
今回は、torchtuneのQLoRAレシピをベースで実行。
量子化はtorch.quantizationを使うっぽいので、INT8がデフォルトっぽい。 8w, 4w, 4w-gptqが選べるらしいが指定方法は不明。
8da4wはtorch 2.3+で指定可能となっている。
8da4wの意味が int8 per token dynamic activation with int4 weight only per axis group quantization とのこと。
まだ学習中なので、動作するのかな？
May 5, 2024 at 8:44 AM
とりあえず、torchtune がGoogle Colab L4で動き始めた。
今回は、torchtuneのQLoRAレシピをベースで実行。
量子化はtorch.quantizationを使うっぽいので、INT8がデフォルトっぽい。 8w, 4w, 4w-gptqが選べるらしいが指定方法は不明。
8da4wはtorch 2.3+で指定可能となっている。
8da4wの意味が int8 per token dynamic activation with int4 weight only per axis group quantization とのこと。
まだ学習中なので、動作するのかな？
今回は、torchtuneのQLoRAレシピをベースで実行。
量子化はtorch.quantizationを使うっぽいので、INT8がデフォルトっぽい。 8w, 4w, 4w-gptqが選べるらしいが指定方法は不明。
8da4wはtorch 2.3+で指定可能となっている。
8da4wの意味が int8 per token dynamic activation with int4 weight only per axis group quantization とのこと。
まだ学習中なので、動作するのかな？
Phi-3 mini 4K q8を利用してみた。
どうも、英語で考えるようなので日本語で質問すると上手く翻訳が出来ないため、回答に失敗している。
「アンダンテとアルデンテ」は何か言語と勘違いしているが英語で質問するとおおよそ正しそうな回答までは持ってくる。URLリンクが壊れているのは愛嬌。
Markdownの順番入れ替えは、列の追加を行の追加と勘違いし勝手な数字を入れるし、ソートも間違っている。
どうも、英語で考えるようなので日本語で質問すると上手く翻訳が出来ないため、回答に失敗している。
「アンダンテとアルデンテ」は何か言語と勘違いしているが英語で質問するとおおよそ正しそうな回答までは持ってくる。URLリンクが壊れているのは愛嬌。
Markdownの順番入れ替えは、列の追加を行の追加と勘違いし勝手な数字を入れるし、ソートも間違っている。
April 28, 2024 at 8:43 AM
Phi-3 mini 4K q8を利用してみた。
どうも、英語で考えるようなので日本語で質問すると上手く翻訳が出来ないため、回答に失敗している。
「アンダンテとアルデンテ」は何か言語と勘違いしているが英語で質問するとおおよそ正しそうな回答までは持ってくる。URLリンクが壊れているのは愛嬌。
Markdownの順番入れ替えは、列の追加を行の追加と勘違いし勝手な数字を入れるし、ソートも間違っている。
どうも、英語で考えるようなので日本語で質問すると上手く翻訳が出来ないため、回答に失敗している。
「アンダンテとアルデンテ」は何か言語と勘違いしているが英語で質問するとおおよそ正しそうな回答までは持ってくる。URLリンクが壊れているのは愛嬌。
Markdownの順番入れ替えは、列の追加を行の追加と勘違いし勝手な数字を入れるし、ソートも間違っている。
Llama3 が凄い！ GPT4 Turboの次って話がいっぱい出ているんだけど、日本語でなくてもイマイチな部分もあるという話。
「アンダンテ」と「アルデンテ」を聞いたが、Llama3 8Bと70Bは同じ回答で、アルデンテをアレグロと勘違いしている。
だからどうしたって話では無いが、GPT4 Turboは当然としてOpus, Gemini 1.5 Pro, Command R+も間違わないで回答してくれる。
やはりもう少しパラメタ数が多くないと、トンチっぽい内容はダメなのかも知れない。
プロンプトの前後関係が無い状態なので、人間でも急に言われたら勘違いすることはあるしね。
「アンダンテ」と「アルデンテ」を聞いたが、Llama3 8Bと70Bは同じ回答で、アルデンテをアレグロと勘違いしている。
だからどうしたって話では無いが、GPT4 Turboは当然としてOpus, Gemini 1.5 Pro, Command R+も間違わないで回答してくれる。
やはりもう少しパラメタ数が多くないと、トンチっぽい内容はダメなのかも知れない。
プロンプトの前後関係が無い状態なので、人間でも急に言われたら勘違いすることはあるしね。
April 24, 2024 at 12:03 PM
Llama3 が凄い！ GPT4 Turboの次って話がいっぱい出ているんだけど、日本語でなくてもイマイチな部分もあるという話。
「アンダンテ」と「アルデンテ」を聞いたが、Llama3 8Bと70Bは同じ回答で、アルデンテをアレグロと勘違いしている。
だからどうしたって話では無いが、GPT4 Turboは当然としてOpus, Gemini 1.5 Pro, Command R+も間違わないで回答してくれる。
やはりもう少しパラメタ数が多くないと、トンチっぽい内容はダメなのかも知れない。
プロンプトの前後関係が無い状態なので、人間でも急に言われたら勘違いすることはあるしね。
「アンダンテ」と「アルデンテ」を聞いたが、Llama3 8Bと70Bは同じ回答で、アルデンテをアレグロと勘違いしている。
だからどうしたって話では無いが、GPT4 Turboは当然としてOpus, Gemini 1.5 Pro, Command R+も間違わないで回答してくれる。
やはりもう少しパラメタ数が多くないと、トンチっぽい内容はダメなのかも知れない。
プロンプトの前後関係が無い状態なので、人間でも急に言われたら勘違いすることはあるしね。
llama3 7BをLM Studioで実行してみた。
7Bではかなり優秀な気がする。ただ、日本語を理解するし日本語に翻訳できるのに、日本語での回答は頑なに無視する。
System Promptに入れようが、質問に入れようが。
まぁQ6なのでそうなっているのかもしれないので、断定は難しい。
7.6トークン/s出るので、そこそこ使える。
7Bではかなり優秀な気がする。ただ、日本語を理解するし日本語に翻訳できるのに、日本語での回答は頑なに無視する。
System Promptに入れようが、質問に入れようが。
まぁQ6なのでそうなっているのかもしれないので、断定は難しい。
7.6トークン/s出るので、そこそこ使える。
April 19, 2024 at 5:54 AM
llama3 7BをLM Studioで実行してみた。
7Bではかなり優秀な気がする。ただ、日本語を理解するし日本語に翻訳できるのに、日本語での回答は頑なに無視する。
System Promptに入れようが、質問に入れようが。
まぁQ6なのでそうなっているのかもしれないので、断定は難しい。
7.6トークン/s出るので、そこそこ使える。
7Bではかなり優秀な気がする。ただ、日本語を理解するし日本語に翻訳できるのに、日本語での回答は頑なに無視する。
System Promptに入れようが、質問に入れようが。
まぁQ6なのでそうなっているのかもしれないので、断定は難しい。
7.6トークン/s出るので、そこそこ使える。