・投稿者は、投稿に関して発生する責任が全て投稿者に帰すことを承諾します。
・投稿者は、話題と無関係な広告の投稿に関して、相応の費用を支払うことを承諾します。
・投稿者は、投稿された内容について、掲示板運営者がコピー、保存、引用、転載等の利用することを許諾します。
 また、掲示板運営者に対して、著作者人格権を一切行使しないことを承諾します。
・投稿者は、掲示板運営者が指定する第三者に対して、著作物の利用許諾を一切しないことを承諾します。

■掲示板に戻る■ 全部 1- 101- 201- 最新50
[PR]EXぜろちゃんねる[PR]
 

なんJLLM部 避難所 ★11 (261)

1 名無しさん@ピンキー 転載ダメ 2026/02/14(土) 16:50:24.13 ID:ax4AchcId
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
なんでも実況U (5ch)
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
オナテク (BBSPINK)
なんJLLM部 避難所 ★9
オナテク (BBSPINK)
なんJLLM部 避難所 ★10
オナテク (BBSPINK) VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

2 名無しさん@ピンキー 2026/02/14(土) 16:51:09.40 ID:ax4AchcId
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
AMDユーザーはこっち
https://github.com/YellowRoseCx/koboldcpp-rocm
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く

Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki

3 名無しさん@ピンキー 2026/02/14(土) 16:51:28.27 ID:ax4AchcId
oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui

4 名無しさん@ピンキー 2026/02/14(土) 16:51:41.35 ID:ax4AchcId
●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant

5 名無しさん@ピンキー 2026/02/14(土) 16:52:01.97 ID:ax4AchcId
https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで

6 名無しさん@ピンキー 2026/02/14(土) 16:52:22.52 ID:ax4AchcId
例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな

SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける

7 名無しさん@ピンキー 2026/02/14(土) 16:52:39.23 ID:ax4AchcId
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の

8 名無しさん@ピンキー 2026/02/14(土) 16:52:55.80 ID:ax4AchcId
●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで

Mistral系
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Mistral-Small-3.2-24B-Instruct-2506
Cydonia 24B v4
Cydonia-R1-24B-v4

Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3

Cohere系:

9 名無しさん@ピンキー 2026/02/14(土) 16:53:11.30 ID:ax4AchcId
●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手はhttps://aistudio.google.com/apikeyここからできるで

10 名無しさん@ピンキー 2026/02/14(土) 16:53:32.48 ID:ax4AchcId
テンプレここまで、しばらく更新されてないから過去ログも参考にしてな

11 名無しさん@ピンキー 2026/02/14(土) 16:54:00.31 ID:ax4AchcId
今はもう「初心者はLM Studio使え」でいい気もするねw
https://lmstudio.ai/

12 名無しさん@ピンキー 2026/02/14(土) 16:59:46.14 ID:ax4AchcId
ローカルLLMのパラ数は80bや235bでもクラウド最先端モデルの数分の1〜10分の1や

Web検索MCPやRAG無しで細かい知識を問うのはローカルでは無理やぞ

エロ表現からWikipediaまでドメイン特化ナレッジのお膳立てが必要や

13 名無しさん@ピンキー 2026/02/14(土) 17:10:53.44 ID:vT10OKLH0
さんいち

14 名無しさん@ピンキー 2026/02/14(土) 22:59:47.89 ID:nD7vTMjwH
サンイチ

15 名無しさん@ピンキー 2026/02/15(日) 02:38:42.74 ID:mOsIA5T70
前スレの最後で気になったレスあったけど
LLMは明確な答えある事柄に関してその過程を聞くのがベストやろ
LLM自身が知らん事を聞くと平気で嘘が返ってくるし
聞いた側もその嘘を見抜けんからリスクが高すぎる

現状で重宝されとるプログラミングとかはゴールがあって途中を書けって話やからリスクは低いし動かんかったらやり直せばええだけや
想定外のバグ潜んでるけど

16 名無しさん@ピンキー 2026/02/15(日) 02:51:55.17 ID:GJoyO2lRd
コンピューターはインプットしたものを加工してアウトプットするだけや
魔法の箱やない
それだけ

17 名無しさん@ピンキー 2026/02/15(日) 03:48:33.64 ID:dx1pD3D80
人が組んでも想定外のバグは起こるしなぁ
セキュリティにだけは気をつけなあかんが

18 名無しさん@ピンキー 2026/02/15(日) 11:00:55.98 ID:DzZ/4/jYC
>>15
それを逆に利用してエロ書かせたりしてるw
例えばあるアニメでこんなエロいシーンあったの知ってる?
って聞いてもちろんです!って返答したらそのエピソードの小説書いてもらう
自分で言ったんだから否定もできないw

19 名無しさん@ピンキー 2026/02/16(月) 08:04:42.49 ID:PBwxMyUc0
みんな一度SDやってきなよ
SDの世界は基本モデルよりLoRAがメイン
LLMも喘ぎ専門LoRAとか作れるはず

20 名無しさん@ピンキー 2026/02/16(月) 08:09:10.24 ID:2uCW8qjz0
大半はローカルLLM以前からSDは利用してるがLLMスレでわざわざスレチの話題出してないだけやぞ

21 名無しさん@ピンキー 2026/02/16(月) 09:22:07.43 ID:EQm+tPqvr
LLMでloraて効く?

22 名無しさん@ピンキー 2026/02/16(月) 11:44:14.68 ID:CBCo/QEW0
ローカルモデルのファインチューニングの大半はすでにLoRAかQLoRAを使って学習させてるのでは?

23 名無しさん@ピンキー 2026/02/16(月) 11:44:46.65 ID:u6PvYuN50
ずっとsdの話してる人いるけどここじゃないよね

24 名無しさん@ピンキー 2026/02/16(月) 11:56:40.86 ID:t+YfH12J0
最近SD知ってウキウキなんやろなって生暖かく見とるで

このスレにいるおっさん達はNAIのモデル流出とかSD1.5で触っとるんちゃうか
そもそもここのルーツは画像生成スレの派生みたいなもんやし

25 名無しさん@ピンキー 2026/02/16(月) 12:17:43.90 ID:20RslRHZ0
そもそもSD呼びが違和感しかなくて
1.5時代ならともかくSDXLでさえPony、リアスあたりを経て
ついにAnimaで卒業かと盛り上がってるところに誘導しようという気さえ起きない

26 名無しさん@ピンキー 2026/02/16(月) 12:33:46.57 ID:ikmdf2Qf0
画像生成はノイズ法がどうの騒がれてた頃に進化に置き去りにされたままだな

27 名無しさん@ピンキー 2026/02/16(月) 12:51:09.90 ID:8wD8qprz0
LLMのLoRAは画像生成のLoRAみたいの想像してると利きが弱いってのはどっかで見た

となるとファインチューンモデルとして公開されてるモデルは
LoRAじゃなくてある程度時間かけて普通の?ファインチューンしとるんちゃうかなぁ

28 名無しさん@ピンキー 2026/02/16(月) 12:52:46.55 ID:ikmdf2Qf0
LLMのLoRAは例えば再現したいキャラの口調なんかを追加させるとかには有効だけど知識そのものを追加させたりはできないってチャッピーが言ってた

29 名無しさん@ピンキー 2026/02/16(月) 14:24:47.14 ID:PBwxMyUc0
喘ぎ特化LoRAとか必要じゃない?

30 名無しさん@ピンキー 2026/02/16(月) 17:02:56.81 ID:8wD8qprz0
transformersに続いてllamacppでもQwen3.5関連のPRがマージされようとしとって
もうそろそろやろね3.5

31 名無しさん@ピンキー 2026/02/16(月) 18:28:14.99 ID:0e3WLbXWd
Qwen235bの3.5が楽しみや

32 名無しさん@ピンキー 2026/02/16(月) 18:41:47.47 ID:dndcUiU/0
Qwen3.5公開されてる!
https://huggingface.co/Qwen/Qwen3.5-397B-A17B

33 名無しさん@ピンキー 2026/02/16(月) 18:50:09.49 ID:0e3WLbXWd
>>32
デカっ?

34 名無しさん@ピンキー 2026/02/16(月) 18:51:39.08 ID:3YuLJgPT0
Qwen3.5-Plus
Qwen3.5-397B-A17B
普通に置いてあるよね

35 名無しさん@ピンキー 2026/02/16(月) 18:56:15.20 ID:8wD8qprz0
でけぇ
200bクラスなくなってしまうんやろか
まぁでも100bクラスがもしあれば嬉しいやね

36 名無しさん@ピンキー 2026/02/16(月) 19:04:10.97 ID:vaCIT3yv0
2月になってからあちこちで動きがあるな
最近はMoEばっかりやね

37 名無しさん@ピンキー 2026/02/16(月) 19:07:35.52 ID:0Pwh28QS0
乳とモデルサイズは大きい方が良い

38 名無しさん@ピンキー 2026/02/16(月) 19:11:50.93 ID:0e3WLbXWd
unsloth/Qwen3.5-397B-A17B-GGUF

https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF

2-bit Q2_K_XL 148 GB
3-bit Q3_K_XL 174 GB
4-bit MXFP4_MOE 216 GB
4-bit Q4_K_XL 214 GB

2ビットがご家庭でギリ動きそうやな
235bのQ4とどっちがええんやろ

39 名無しさん@ピンキー 2026/02/16(月) 20:25:44.30 ID:mFqUsR5e0
2bit, 3bitはあんまりて聞いた

40 名無しさん@ピンキー 2026/02/16(月) 21:48:29.84 ID:bLfoql5x0
デカいモデルの低ビットより小さいモデルの高ビット

41 名無しさん@ピンキー 2026/02/16(月) 22:03:05.09 ID:C5XQE88B0
170Bくらいが欲しい

42 名無しさん@ピンキー 2026/02/16(月) 23:51:03.29 ID:gJiieCMq0
>>34
Qwen3.5-Plusどこ?

43 名無しさん@ピンキー 2026/02/17(火) 00:39:38.23 ID:Dw+jKH/70
>>42
Plusと397BはHuggingFaceのページ見る限り同じモデルのはず

44 名無しさん@ピンキー 2026/02/17(火) 09:02:47.99 ID:EyLbS+nQ0
1年ぶりにスレ覗くわ
今のロリエロいけるおすすめのモデルってなんかある?

45 名無しさん@ピンキー 2026/02/17(火) 10:57:05.27 ID:2g6OMqUZp
Qwen3.5時前でheretic化したいけど
メモリ256Gじゃ無理かな

46 名無しさん@ピンキー 2026/02/17(火) 12:11:33.81 ID:73KhNlZ80
他のサイズは出てけーへんのか

47 名無しさん@ピンキー 2026/02/17(火) 12:28:59.94 ID:Z5l++2rI0
もう逸般人でもついていけなくなりつつあんね

48 名無しさん@ピンキー 2026/02/17(火) 13:50:41.49 ID:I/OmNoha0
Inferencer の中の人が Qwen-3.5を動作させてる

https://www.youtube.com/watch?v=tzF8jv3VGAg (動画)

49 名無しさん@ピンキー 2026/02/17(火) 13:58:10.03 ID:KsHR0FaB0
LMStudio使ってるんだけど、エロ出力できるおすすめのモデルってある?
メモリ32gbなんだけど、今ひとつ良いのが見つからなくて

50 名無しさん@ピンキー 2026/02/17(火) 14:33:40.13 ID:8q83ycvJ0
Q.エロ系をやりたいんだけど
A.ファイル名に「NSFW」「uncensored」「abliterated」が入っているのを使う
 ソフトなエロならGrokも使えるので、そっちで作らせたのをローカルで加筆・修正させるとかも良き

51 名無しさん@ピンキー 2026/02/17(火) 14:46:51.98 ID:0dlhfrqh0
>>50
これにhereticも入れてテンプレに入れといたほうがよさそうやな
新スレ建つたびに、あ、テンプレ整備忘れてたって思うんよね
今必要な内容って1〜2レスに凝縮できると思うんよな

もしくはjnvaのwikiにllmのページ作ってそこに全部書いてここの>>1にurl載せるだけでもええが

52 名無しさん@ピンキー 2026/02/17(火) 20:25:33.18 ID:WTOcAhfZa
LM StudioってQwen3.5-397B-A17Bにまだ対応してないんか?
unslothのQwen3.5-397B-A17BのQ3_K_XL試そうとしたんやがメモリ的には余裕あるのにFailed to load modelで乗らんのや
KoboldでもOobaboogaでもあかん

53 名無しさん@ピンキー 2026/02/17(火) 20:36:07.79 ID:0dlhfrqh0
モデルのダウンロードが実はうまくいってなかったとかあると思うで
ファイルのハッシュ全部確認してみるとええかも

あとはllamacppは今もう対応しとるようやから
ファイルが全部正しいのにだめならllamacppで試してみるとか

54 名無しさん@ピンキー 2026/02/18(水) 07:05:20.91 ID:uJg2vYwJ0
スレチでSDの話をしてるのではなく、基礎モデルにエロを求めるより、考え方をSD的にエロはLoRAで補強するべきではないかと言いたい
基礎モデルは日本語の読解力で評価すべきじゃないの
エロで評価するのは違うのでは?
SDをやって、AIの仕組みを肌で感じてみれば、トリガーワードでLoRA発動させるって発想はLLMでも同じように使えるのではないかと思う

55 名無しさん@ピンキー 2026/02/18(水) 07:27:23.52 ID:5/hJmx7V0
もう少し具体的に言ってくれ

56 名無しさん@ピンキー 2026/02/18(水) 07:57:18.94 ID:MSW4cIgQ0
チャッピーとジェミニに聞いたら2つともそれっぽい理由が返ってきた
>AIの仕組みを肌で感じてみれば
それ肌じゃなくてきちんと調べろっていうカウンターが飛んでくるワード

57 名無しさん@ピンキー 2026/02/18(水) 08:25:04.53 ID:ZxyzN9Hbd
LM StudioでLLMモデルにLoRAを挿せるくらい手軽にならないとSDのようなプラグイン型には進化しないやろな

いまアリモノでエロ表現を補強するなら長々しいプロンプトを書くかRAGを組むかの二択や
どっちみち食わせる素材は必要やな

58 名無しさん@ピンキー 2026/02/18(水) 10:35:11.52 ID:uHL7GpP00
モデルアーキテクチャごとにLoRAの構造違うはずやからお手軽にってところは難しいかもわからんなぁ
vLLM(と言うかsafetensors)ならワンチャンあるか?

59 名無しさん@ピンキー 2026/02/18(水) 11:01:48.40 ID:uJg2vYwJ0
SDの場合はPony系とかIllustrious系とかの基礎モデルがいろいろあるけど、エロというより解像度とか傾向とか重視で

基礎モデルで出したいものが出ないのは学習していないからだな、それじゃLoRAを探して補強だって方向になる。

60 名無しさん@ピンキー 2026/02/18(水) 11:19:58.45 ID:LeWH++lE0
llmでloraはうまくいかない

61 名無しさん@ピンキー 2026/02/18(水) 11:31:29.08 ID:UVM70uCS0
文章は画像よりもデリケートだ
画像は細部が破綻していても気づかない事が多々あるが
文章は長い文章で単語一つ間違っても気づいてしまう

それを前提に考えると画像loraって力業で矯正してて
その歪みに気付いてないだけなのではって気がする

62 名無しさん@ピンキー 2026/02/18(水) 11:34:05.02 ID:LeWH++lE0
そゆこと

63 名無しさん@ピンキー 2026/02/18(水) 11:49:43.01 ID:MSW4cIgQ0
検閲って概念がSD側には基本ないからね

みんな半年ROMれって言わないだけえらいな

64 名無しさん@ピンキー 2026/02/18(水) 12:13:32.35 ID:uJg2vYwJ0
うまくやる方法はないのかね、

65 名無しさん@ピンキー 2026/02/18(水) 12:31:19.81 ID:WU/c7V7V0
LLMの知識の追加学習は個人レベルでは無理
後から追加するだけでは済まず、元々の知識に影響を与えて大崩壊するってチャッピーが言ってた

66 名無しさん@ピンキー 2026/02/18(水) 13:08:31.03 ID:g4ewWtUy0
追加事前学習は演算量が死ぬほど多いから個人では無理や
LoRAはファインチューンの中でもさらに演算量少ない部類やからな

67 名無しさん@ピンキー 2026/02/18(水) 17:09:19.49 ID:uJg2vYwJ0
RAGは使えないの?

68 名無しさん@ピンキー 2026/02/18(水) 19:54:15.35 ID:e1RVSOkl0
RAGは辞書だからキーワードをこっちが言わないと検索しに行かないんや
RAGの中身を常に全部読んで把握しとけ、なんていうのはムリ

69 名無しさん@ピンキー 2026/02/18(水) 20:01:54.98 ID:ZxyzN9Hbd
AIエージェントからRAGを読ませてAIが納得するまで推論?RAGサイクルを回すんや

70 名無しさん@ピンキー 2026/02/18(水) 21:54:59.40 ID:S2oIOkSN0
koboldcppがqwen3.5に対応したバージョン出したから試したが、自分の環境だとcudaエラーになるな
とりあえずcpuで実行したが、規制バリバリだしthink消せないしちょっと使いにくいな

71 名無しさん@ピンキー 2026/02/18(水) 22:37:04.65 ID:S2oIOkSN0
と、思ったが脱獄プロンプト駆使して無理やりエロ書かせたら、かなりいい感じの日本語エロ文章書いてくれるな
これは規制解除版がでたら化けるかも

72 名無しさん@ピンキー 2026/02/18(水) 23:35:14.74 ID:ZM/0idZ70
koboldcppでのやり方はしらんが
"enable_thinking": False入れたらthink消せるっしょ

73 名無しさん@ピンキー 2026/02/19(木) 00:01:47.87 ID:YBubvR7hd
>>71
最強の脱獄プロンプトください

74 名無しさん@ピンキー 2026/02/19(木) 08:35:21.34 ID:l2LQFOKk0
たしかにRAGは単なる検索なのだがユーザーのセリフとキャラの反応をセットでベクトル化しておいて似たようなシチュエーションがきたときにほしい反応を引き出す実験はしたことがある

キャラの行動じゃなくて思考を埋め込むことで完全にパターン化することをなるべく防ぐ
セリフも入れておくと口調の再現もできる

ただ複数人で育てないとパターン不足で面白くならんとは思う

75 名無しさん@ピンキー 2026/02/19(木) 10:35:58.98 ID:/RGbfCIe0
NVIDIA製の日本語特化LLM「Nemotron」が軽くて早かったよ
4060Tiで25トークンくらい
gguf版ならQ8でも10GB以下だからVRAMにも余裕で収まる

Qwen3 8Bと同じカテゴリだけど日本語特化な分有利かな?
ライセンスも緩いしローカルのファインチューン元として人気になるかもね
ちなみに、エロはお断りされるけど返答を書き換えすれば生成できるしある程度学習済みだと思う

NVIDIA-Nemotron-Nano-9B-v2-Japanese
https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese

非公式gguf
https://huggingface.co/mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf

76 名無しさん@ピンキー 2026/02/19(木) 12:59:13.32 ID:f8uArnyX0
RAGで口調とか参照させるとき、チャンクはユーザーのクエリの直後に入れるんか?
プロンプトの前半にいれるとシステム含めほぼ全プロンプト再評価することになって、KVキャッシュを活用できなそうな気がするけど

77 名無しさん@ピンキー 2026/02/19(木) 13:32:21.51 ID:YBubvR7hd
>>75
ヒトケタBでエロは試す気にもならんわ
AIは魔法の箱じゃないからサイズ=語彙力=バリエーション

ヒトケタBを使うならプロンプトでゴリゴリに縛った上でゲーム組み込みでモブNPCのセリフ用とかだな

78 名無しさん@ピンキー 2026/02/19(木) 13:33:50.22 ID:5T6IWlDF0
kvキャッシュのヒット率とか考えたことなかったな
前半違うと全部再演算になってしまうんだろうか

79 名無しさん@ピンキー 2026/02/19(木) 13:34:30.46 ID:YBubvR7hd
>>76
AIにRAG作ってって頼めばぜんぶ実装してくれるで
出力が気に入らなければダメなところを指摘すれば改良もしてくれるで

80 名無しさん@ピンキー 2026/02/19(木) 13:46:45.26 ID:PD0DV9IZ0
NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf

mlxがMamba2に対応していないのか、アーキテクト上むずいのか宗教的な問題なのか
macでもQ8 gguf使えば動いた
しかし「mcp brave-searchを使って明日の東京の天気を調べて」の検索がバカ長い
他の(mlx)モデルだと即答えてくれるんだが、延々なにかを考えてる
brave searchが返してきているのは数百token程度でとても良くまとまってた
つまりツール利用はあまり得意じゃなさそう。
公開してくれたことには感謝してるけど調べ物なら他のモデルがいい

81 名無しさん@ピンキー 2026/02/19(木) 13:48:01.22 ID:KsYiywHp0
ここのニキらはコンテキスト長どれくらいでエロやってるのか
少ないと出だしの内容が後々飛んでしまうんやろ?

82 名無しさん@ピンキー 2026/02/19(木) 13:48:07.13 ID:f8uArnyX0
>>78
アテンションは前から順に計算していくから、1文字でも違えばそれ以降全部再計算になる実装が多い(StreamingLLMみたいにKVキャッシュそのものをずらす方法論もあるが)
うちの環境がMacとかオンボードGPUだってのもあり、その辺の設計はいつも悩んでる

>>79
RAGの実装自体はそこそこ経験あるから自分で書くよ

83 名無しさん@ピンキー 2026/02/19(木) 13:50:03.23 ID:PD0DV9IZ0
本家もggufに変換してくれたニキにもhfでlike押しといてくれよな
日本語対応すると反応がある、と思ってくれるからやる気もでると思う

84 名無しさん@ピンキー 2026/02/19(木) 14:45:37.81 ID:XP7f+bjn0
>>75
これ試してるけどサイズの割に日本語力優秀だわ
エロ系のお断り回避ってどんな感じで書いてる?
回避行けたと思っても次の返答でまたお断りされるわw

85 名無しさん@ピンキー 2026/02/19(木) 16:18:59.71 ID:A+/yi0tpC
>>84
小さいからheretic化してもいいかもね

86 名無しさん@ピンキー 2026/02/19(木) 16:53:01.66 ID:iLc7vy2A0
RAGでエロできるなら、やり方をぜひともお聞かせ願いたい

87 名無しさん@ピンキー 2026/02/19(木) 17:08:21.72 ID:5T6IWlDF0
>>74はやってみたら大変そうなのがわかったという話じゃないんかな

入力に対してそれに似た応答をベクトル検索してきてそのサンプルを参考に返答して、みたいなシステムプロンプトを入れておくってことやと思うが
性格(口調)用ベクトルDBとエロ用ベクトルDBとそれぞれ用意する感じやろかね
何にしても大量なデータがないと単調になりそうや

88 名無しさん@ピンキー 2026/02/19(木) 17:12:10.55 ID:YBubvR7hd
>>86
まず大量のエロを自力で集めます

89 名無しさん@ピンキー 2026/02/19(木) 17:12:14.68 ID:/l9k1s/m0
それって旧来のあまり融通きかないチャットbot的な挙動になるってことかな?
アレクサみたいな
せっかくLLMに触れてるというのにそれだと本末転倒感が?

90 名無しさん@ピンキー 2026/02/19(木) 17:13:08.46 ID:YBubvR7hd
>>89
せやで
巨大モデルだけが正義

91 名無しさん@ピンキー 2026/02/19(木) 17:28:00.85 ID:5T6IWlDF0
>>89
そこはLLMやからどうとでもなるやろ
「(RAGで引っ張ってきたエロ文)をもとに、ここまでの展開を加味してアレンジしたうえで、全体を(性格のサンプル文章もRAGってきて)を参考にして書き直してください」
とか
今即興で考えたからプロンプトとしていれるならもっと練る必要はあるやろが
あとこうやろうとするとだいぶ長い文章になるやろうから小さいモデルやと理解力落ちそうやしデカいモデル使う必要はありそうやな

92 名無しさん@ピンキー 2026/02/19(木) 17:34:39.44 ID:YBubvR7hd
小型モデルはAPUやスマホやラズパイで動きます的なミニチュア趣味の世界
VRAM24GB以上でぶん回してるスレ民とは別の分野

93 名無しさん@ピンキー 2026/02/19(木) 18:12:08.39 ID:kzB6aUvm0
RAGってあくまでもcontext window小さい時の手段であってDBの量増やしまくると検索に時間かかったりするし正直微妙やと思うわ

94 名無しさん@ピンキー 2026/02/19(木) 18:18:30.53 ID:eT7t55onH
RAGに限界があるのは確かだけど、データが増えた際の探索時間については階層的にクラスタリングしておく、とか工夫のしようはある

95 名無しさん@ピンキー 2026/02/19(木) 19:41:30.15 ID:DV0Pc1NP0
試したのは口調とシチュエーション
ユーザーの入力側をべクトル化して似たようなセリフやシチュをこちらが言ったときにメタデータに入れておいたキャラの思考をコンテキスト挿入する
キャッシュまでは考えてなかったがたしかに重要だ

どういう演技プランでどんなことをそのとき考えてるか指導的な感じを参照させながらアドリブ効かせるように頼む感じ

96 名無しさん@ピンキー 2026/02/19(木) 20:01:05.31 ID:iLc7vy2A0
有意義な話だ、もっと聞きたい

97 名無しさん@ピンキー 2026/02/20(金) 10:23:27.31 ID:ONhu4KME0
lmarenaの日本語ランキングに全然最新モデル出てきとらん
みんなもっと日本語でやって投票するんや

98 名無しさん@ピンキー 2026/02/20(金) 12:42:47.25 ID:hNVluJmv0
Kilinskiy/Step-3.5-Flash-Ablitirated

どうやらconfig.jsonが壊れてるみたいで、オリジナルと差し替えたら動いた。
コメントでも言われていたが検閲はかなり残っているとのことだが、
koboldcppの脱獄モードをオンにして、小説強化プロンプトを合わせたら、
いい感じの日本語エロを拒否なく書いてくれるようになったわ。
量子化版もコメントしてくれた人が出してるから試してみて

99 名無しさん@ピンキー 2026/02/20(金) 13:42:10.19 ID:hNVluJmv0
あと、なぜかオリジナルよりt/sがかなり高い
これはなんでだろ?

100 名無しさん@ピンキー 2026/02/20(金) 17:12:45.39 ID:kpRus7sv0
元のモデルの検閲用のノードが大量にあるとかかね
スキップするから早くなる的な

52KB
続きを読む




READ.CGI - ex0ch BBS 0.10.5 20250704
EXぜろちゃんねる