Developer and student at icu : novel 4DGS systems,3DGS, and Temporally stable depth video, pushing the limits of VR/XR. 最近はローカルLLMも。おかげて暖かい足元にねこが一緒に寝てくれて毎日ハッピー
Tokyo
- Tweets 106
- Following 53
- Followers 2,725
- Likes 76
Pinned Tweet
品質はまだまだだけどフルスクラッチ・自作の商用利用可能な4DGSシステム出来てきた。3DGS連番のパラパラ漫画方式じゃないし、RTX4090レベルでトレーニング可能。
比較しやすいように試しによく使われてる4dvのcorgiデータでも試した。(自作の撮影の方では36台のXperiaを使ってる)
#4dgs
6
28
240
27,466
add a 2nd gpu for quantized Dspark (around 6GB) and you can get good enough speed for a local machine...
random coding task shown below :)
ということで地元のdeepseek-1017量子化モデルも作って測ってみた〜
エキスパートはQ3K+Q2Kに量子化。今回はramを少し増量して、5090+ram192GBに入るよう調整した。
結果は自作推論基盤でプレフィル約1100toks、デコード平均73.9toks、ピーク98toks
一般構成とは言えないけどまぁまぁな速度出るね…
2
12
1,341
ということで地元のdeepseek-1017量子化モデルも作って測ってみた〜
エキスパートはQ3K+Q2Kに量子化。今回はramを少し増量して、5090+ram192GBに入るよう調整した。
結果は自作推論基盤でプレフィル約1100toks、デコード平均73.9toks、ピーク98toks
一般構成とは言えないけどまぁまぁな速度出るね…
2
6
63
6,118
PentaCoxian retweeted
ローカルで動く「無料」の音声合成、
ここまで来ました🎧
制作中のゲーム『終電幻灯』の同じセリフを、1つずつ聞き比べ。
A：クラウドTTS（Gemini 3.8 Flash TTS）
B：自宅のRTX 3060（12GB）で動かした drama3-small
B はすべてローカル生成なので、API料金はゼロ。生成速度もほぼリアルタイムです。
演技の指示は、セリフに [laughs through tears] のように英語で書き添えるだけ。
一度作った声は保存して、何度でも使い回せます。
今回は各セリフを3テイクずつ生成し、音声認識で読み間違いのないテイクを選びました。
いちばん聴いてほしいのは、九条の泣き笑い「……っ、はは。とんだ手品だ」。
A と B、あなたはどっちの演技が好きですか？
使用モデル：drama3-small（Fish Audio Drama 3 のオープンウェイトを有志が軽量化したもの）
Built with Fish Audio 🐰
AIボイス聴き比べ
ElevenLabs v4 V.S. Gemini 3.8 Flash TTS
開発中の夜行列車ミステリーADV『終電幻灯』の一場面を、前半：ElevenLabs v4 （36秒まで）
後半：Gemini 3.8 Flash TTS（37秒から）
で収録しました。
台詞も演技指示も同じです。
あなたはどちらの演技が好きですか？🐰
Made with AI
3
12
148
8,903
I made a real-time translate for overseas listeners for @Hikari_07_jp live today!
watch the live and translate real-time from the links below!
subs: kome.pentacoxian.dev/
X live:
7
16
2,946
PentaCoxian retweeted
drama3-small、Fish Audio Drama 3を12GBのVRAMで動くようにしたモデルで、ローカルでこの声が出せるのは嬉しいですね！
参照音声からのボイスクローンも試してみましたが、声も良い感じによってくれます😊
ColabでローカルTTSを試せる『Local TTS on Google Colab』にも追加させていただいたので、手元にGPUがない方でもColabから試せます。ぜひ！
github.com/shinshin86/local-…
Fish Audio Drama 3（35B MoE TTS）を、12GB VRAMで動かせる日英共に自然な「drama3-small」を公開します！
元モデルはFP8で48GBクラス必須・ファイルも40GB前後なのに対し、こちらは 約9.7GBに圧縮。ピークVRAM約10.3GBで、RTX 4070クラスでも(たぶん)動きます。
ゼロショット音声クローン（3〜30秒参照）、[laughs][sighs]タグ、英語スタイル指示、日本語＋英語技術用語混在に対応。このモデル特有の文境界の沈黙ハマりも修正パッチ付きでかなり減っています。
RTX 4090で生成音声の約2.6倍速生成、5090で約3.2倍速。ストリーミングでも1.5倍以上。
HFで生成品質の確認も出来るので是非試してみてください！
#地元のLLM #LocalLLM #TTS #Drama3
Made with AI
1
12
77
5,499
Fish Audio Drama 3（35B MoE TTS）を、12GB VRAMで動かせる日英共に自然な「drama3-small」を公開します！
元モデルはFP8で48GBクラス必須・ファイルも40GB前後なのに対し、こちらは 約9.7GBに圧縮。ピークVRAM約10.3GBで、RTX 4070クラスでも(たぶん)動きます。
ゼロショット音声クローン（3〜30秒参照）、[laughs][sighs]タグ、英語スタイル指示、日本語＋英語技術用語混在に対応。このモデル特有の文境界の沈黙ハマりも修正パッチ付きでかなり減っています。
RTX 4090で生成音声の約2.6倍速生成、5090で約3.2倍速。ストリーミングでも1.5倍以上。
HFで生成品質の確認も出来るので是非試してみてください！
#地元のLLM #LocalLLM #TTS #Drama3
10
66
517
64,888
PytorchネイティブのComfyUIノードも出しました！
windowsの場合はwindows-tritonをご利用ください。vram6GBでも収まる(はず)。
github.com/pentaCoxian/Comfy…
3
8
999
Fish Audio Drama3ベースのTTS、Drama3-smallのcomfyUIノード出しました！CPUオフロードとストリーミングオプションを利用するとVRAM占有率4.5GBまでフットプリント小さく出来ます。ぜひ試して見てください〜
#Drama3
Fish Audio Drama 3（35B MoE TTS）を、12GB VRAMで動かせる日英共に自然な「drama3-small」を公開します！
元モデルはFP8で48GBクラス必須・ファイルも40GB前後なのに対し、こちらは 約9.7GBに圧縮。ピークVRAM約10.3GBで、RTX 4070クラスでも(たぶん)動きます。
ゼロショット音声クローン（3〜30秒参照）、[laughs][sighs]タグ、英語スタイル指示、日本語＋英語技術用語混在に対応。このモデル特有の文境界の沈黙ハマりも修正パッチ付きでかなり減っています。
RTX 4090で生成音声の約2.6倍速生成、5090で約3.2倍速。ストリーミングでも1.5倍以上。
HFで生成品質の確認も出来るので是非試してみてください！
#地元のLLM #LocalLLM #TTS #Drama3
2
12
67
4,356
精度面でも、エキスパートを約45%まで剪定＋speech imatrixのIQ3_XXS＋蒸留LoRAで、元の表現力をなるべく残しつつQ2レベルまでサイズを削っています。
ランタイムはaudio.cppパッチファイルを公開しています。
モデル：
huggingface.co/pentacoxian-d…
オリジナルデモSpace：
huggingface.co/spaces/fishau…
1
4
24
4,322
PentaCoxian retweeted
Step-5-Preview is now open weight, bringing a 1M-token context window to real-world agentic work. Its 600B sparse MoE architecture activates 27B parameters per token.
🤖 modelscope.ai/models/stepfun…
🏆 Strong open-model coding: Scores 49.0% on StepCodeBench, leading the open-weight models in the reported comparison across code generation, bug fixing, refactoring, and performance tuning.
📈 Built for professional work: Delivers strong results across software engineering, finance, and knowledge tasks, including 66.4 on FrontierFinance.
🧰 From research to deliverables: Coordinates large-scale web research, analyzes complex datasets, and produces finished reports, spreadsheets, websites, and other working artifacts.
🧠 Long-horizon agents: Supports a 1M-token context window, visual input, and workflows extending across thousands of interactions.
📜 Released under the StepFun Community License.
16
16
128
7,516
自作推論基盤だと220tok/s 5090で出てるよ！おいでよ自作推論基盤沼！(なおCPUがthredripper)
おぉん
Flash Next の言う通り、
・--expert-cache を auto → 7500（5090 環境に合わせてギリギリまで使う）
・STRATA_ADAPT_OVERLAP=1
・英語指示
で 125tok/s は出たわ
まぁ、デフォルト設定では最大限の力は出ませんわな🫤
切り分けてないけど、一番効いてるのは多分 expert cache だろうな
単純により多くの expart が載る
それでも 150tok/s は未だ遠いな
元ポストに詳細な前提条件が載ってたわけでもないし
深追いはやめておこうかな😓
（今回のマイクラは地形が無限に生成されるタイプでちょっと感動した。lighting が一部おかしいけど）
5
46
5,173
今作ってるdeepseek v4系のFlashモデル用strata的なサムシング、ハード要求少し高めでちょい遅いv4.1 flashか、性能若干低いけど多少動かしやすいv4 flash、どっちのが需要あるんだろ
0%
Deepseek v4 flash
0%
Deepseek v4.1 flash
0 votes • Final results
Not quite strata level yet, but... 👀
Currently testing DS v4.1 flash on 5090+128DDR5+fast nvme
v4 flash should be more forgiving for lower vram and ram setups, but still haven't decided on which model to target
1
1
16
2,323