今だったら
ClaudeCodeやChatGPT5.5で
グラフィックごと作ってくれそうな気もするな

AITuberって､ユーザが使用するたびにAIの費用を制作者が払うの?

>AITuberって､ユーザが使用するたびにAIの費用を制作者が払うの?
AIの費用って、バックにあるLLMの話でいい？
ほとんどのAITuberのバックはclaudeかGrokかChatGPTだよ
そしてキャラクター設定を詰めて、Live2Dで動かす感じ
AIの費用＝API料金はそれほどでもなくてインフラ代が高いんだよ
アバター制作費用とLive2Dモデルと声優
あと定期的に衣装替えするからイラストレーターに発注しないといけない
その金が一番かかるし、Live2Dリガー雇ってたらさらにかかる

欠点だらけでくさ

>欠点だらけでくさ
だから全部自分でやるわけ
個人開発勢はみんなそうだよ

全財産はたいて実物でも金属でもないプラモデル作るようなもんだな

>No.161653
なるほど
だいたいわかった
なかなか面白いな

いいAI Tuber作って､うまくマネタイズできんかな?
スパチャ一発で数千円入るんだろ?

まあ当然､
GrokのAniちゃん他いろいろに比べてアドバンテージなによ?
という話にはなるだろうけど

nuro様で分かりやすいの　
ただここまでやるからには知識と資金も居るけど

スレ画はこれか
https://www.hakko.ai/ja/#home

なになに・・
ゲームをしている最中に
応援してくれたり雑談してくれたり
攻略を支援してくれたりするのか

面白いな
しかしこれは個人で開発できるようなもんじゃないな

有名なAI Tuberとか居る?
できれば個人制作で

>No.161698
かなりのマシンパワーだな・・
これは必須なのか?

>有名なAI Tuberとか居る?
>できれば個人制作で
上にもあるけど英国のヲタクが制作したnuroかな
結構ビックリすると思う↓
https://www.youtube.com/@Neuro-sama_bigfan_JP

>>No.161698
>かなりのマシンパワーだな・・
>これは必須なのか?
まあnuro作った人はAIブームになる前から人工知能作ってた人だから、ガチ過ぎてマネするのは難しいわな
1000万ぐらい飛んだらしいし

マネタイズなんができんとよ
趣味で自分でお金かけてたのしむあるよ

なぜそこまでＡＩにこだわる？
騙されたのか？逃亡犯や犯罪者に

いやな学校いかなくてすむぞと悪魔のささやき

>>有名なAI Tuberとか居る?
>>できれば個人制作で
>上にもあるけど英国のヲタクが制作したnuroかな
>結構ビックリすると思う↓
>https://www.youtube.com/@Neuro-sama_bigfan_JP

画面を見ての反応速度早っ!!マジで驚いた
しかもQTE以外は自分でゲームがプレイできるのか
すごいな
https://www.youtube.com/watch?v=hm8oOJzX_eY

これだったら､適当に美少女のガワと性格つけて
ニュース解説でもQTEのないゲームプレイでも何でもいいから1日中しゃべらせておいて
いっちょかみしたい男にスパチャ投げさせれば
1日数十万円はいくんじゃないか?

>No.161698
しかし､これ見ると
テキストしか認識できないような?

ゲームはどうやってプレイしてるんだ?

>いっちょかみしたい男にスパチャ投げさせれば
>1日数十万円はいくんじゃないか?
実際スパチャで毎回いってるらしいけど（登録者100万人間近）それでも採算ギリギリらしいね…　まあnuro様は制作陣がガチ人工知能の研究者だから、マネすんのは難しいね
>>No.161698
>ゲームはどうやってプレイしてるんだ?
ゲームは知らんけど、VRchatでAIが動いてるのは世界初の事例なんで、AIに動けるアバターを与えたらどうなるか?ってガチ学者の研究対象なんでまだ何故そう動くのかわからんらしい

学校行かずに済むぞ
クリエーターになれるぞと騙したやつに連絡とってみろやｗ

>>No.161698
>かなりのマシンパワーだな・・
>これは必須なのか?
スレ主だけど、ネウロさまぐらいならGTX4090より、普通に5060ti,5070の16GB、そしてRAMは64GBで大丈夫だと思う
俺自身はR18対応のAIコンパニオン目指して開発しているから
RunpodでGPU借りてローカルLLM入れてる
コアエンジンやTTS,STT、画像認識やオブジェクト認識などのインフラ方面は自分で設計して組んだ
アバターだけはどうにもならんのでイラストレーターに発注するつもり

>>ゲームはどうやってプレイしてるんだ?
>ゲームは知らんけど、VRchatでAIが動いてるのは世界初の事例なんで、AIに動けるアバターを与えたらどうなるか?ってガチ学者の研究対象なんでまだ何故そう動くのかわからんらしい
そうか？なにも難しくないぞ
コアエンジン設計段階からAIに仮想的な身体の概念を最初から組み込んで行動タグデータをマッピングする
アバターにはタグと連動するリグがあるから、その部分とAIから出てきたタグを組み合わせる
実際仮アバターで普通に動く
Live2Dを勉強中なのと、LoRAで作成したアバターだからスムーズに動かせないのがネックだけど

>>No.161698
>しかし､これ見ると
>テキストしか認識できないような?
>ゲームはどうやってプレイしてるんだ?
おそらく別のLLMでやらせているんだと思う
プレイするLLMと発信するLLMの二段構えで行ける
ゲームさせるのはデータパイプライン処理をかませれば特に難しくない

なるほどね
ゲームをプレイするAIというのがあるわけか
原理的にはそれと接続すればいいというのはわかるが
しかし、例えばバイオハザードみたいなゲームをプレイした時
急に敵が飛び出してきてびっくりした!
とかいろんな感情表現をさせるのが難しそうだな
だってAIにはクオリアがないんだから

>例えばバイオハザードみたいなゲームをプレイした時
>急に敵が飛び出してきてびっくりした!
>とかいろんな感情表現をさせるのが難しそうだな
>だってAIにはクオリアがないんだから
その辺はだいたいキャラクター設定と、ゲーム内容の詳細説明をしっかりグラウンドコンテキストに詰め込んで
LLMにロールとしてやらせればたぶん大丈夫だと思う
例えば「あなたはゲーム配信者です。このゲームはホラーゲームです。初心者としてゲームをプレイして、リアクションを大きくしてふるまってください」
って感じのプロンプト（本当はもっと詳細に詰めるんだけど）を入れればLLMがそういう風に振舞える

フルスクラッチでやるなら軽量なLLM２つ読み込んで互いに会話させるところから始めると面白いよ
実際の運用でもメインとサブ脳で分けてるところ多いし

>…28無題Name名無し 26/05/03(日)05:41:34No.161837No.161837 ng+
>広告見るのは無料
>
>作るのは有料　あたりまえやで

>…29無題Name名無し 26/05/03(日)05:41:56No.161838No.161838 ng+
>aiは広告や
>
>フェイク含めて　広告代理店が仕切ってたんちゃうかい

>…30無題Name名無し 26/05/03(日)05:42:10No.161839No.161839 ng+
>代理店に金はらえよお前ら

このミネヲのゴミレス､邪魔だから消しといてスレ主

>No.161798
>No.161801
なるほど面白い
この分野には全くの素人だが
自分もやってみたくなったわ

>なるほど面白い
>この分野には全くの素人だが
>自分もやってみたくなったわ
かなり面白い
自分はAIと議論して設計書作ってからバイブコーディングしている
一般的にはキャラクターは「キャラクターシート」みたいなこの子はこういう子です、趣味はこれで、嫌いなものはこれ
みたいな身上書を作るんだけど、自分は人格そのものをどう作るか、あるいは人格と見えるものはどんな要素で構成されているか
みたいなところから始めて、心理学と哲学と脳科学の論文読んでAIと議論してようやくコア人格が作れた
その過程が楽しいし、実際のそのAIと話していると他のAITuberとかAIコンパニオンとは絶対違うやつだ、と思える

意識とはなにか
なぜ言語があるのか
脳内の言語での思考と無意識の違いはなにか
と突き詰めて考えていくのがすごく面白い
ぜひやってみてほしい
たぶん俺とはまた別の人格設計アプローチはまだたくさんあると思う
それを知りたいし、話してみたい
現状、ほとんどの開発者はその辺の人格設計はどうでもよくて「アバターの見た目」「キャラクター設定」だけに注力している
だからあまり界隈の人と話しても面白くない

簡単な開発の仕方①

俺はイラストレーターに発注するつもりだが
仮アバターとしてはエロゲ素材を使った
ほら、エロゲの立ち絵って表情たくさんあるだろ
だいたい一人で50枚ぐらいの差分がある
これをMotionPNGTuberっていうツールでつなげる
ここに詳しいやり方書いてあるので読んでみよう
https://note.com/rotejin/n/n2b12c9be0b81
難しくはない

これで仮アバター完成だ
エロゲ素材抽出はググれば出てくるから説明は省く

簡単な開発の仕方②

アバターに声をつけよう
俺は最終的に声優雇うつもりだが、β版ではこれを使う
https://huggingface.co/Aratako/Irodori-TTS-500M-v2-VoiceDesign
感情の制御もできる優れものだ

簡単な開発の仕方③

コア人格を作ろう
俺のアプローチとは違うが、基本的にはLLMのロール設定でいける
キャラクター設定シートを用意してくれ
テンプレはどうでもいい
使っているLLM（claudeでもGrokでもCodexでもなんでもいい）と相談して、AITuberを作りたいんだがキャラクター設定をどうしよう
と相談してみよう
ユーザーと相談しながらすぐにキャラクター設定が詰まったmdファイルを作ってくれる
そして、先に作ったアバターと声を組み合わせるようにする
この辺の技術的なところはLLMに任せればいい

さて、ここでもうアバター、声、キャラをロールしてくれるLLMが揃ったわけだ

簡単な開発の仕方④

インフラ設計をしよう
インフラとはなにか？
視覚、聴覚といった外界認識機能のことだ
視覚機能搭載については、LLMに相談すればいいが、基本的には画像認識（静的な画像認識、動的な画像、つまり動画認識）ツールを組み込めばいい
聴覚については、STTというツールがある
これらの組み込みはLLMに任せればいい

これで外からの入力に対応できるようになった
ほぼ完成といえる
どうだろう、難しくはないだろ？
質問があったら聞いてくれ

>なんだこれ
>ただの洋物アダルトサイトに見えるが
招待リンクを踏ませて報酬をもらう手口のスパムだぞ
こいつ日本人じゃないしマルチポストしてるからdelしときな

>No.162278
仮素材でゲームから抽出じゃなくて画像生成AI使えばいいのに

>No.162603
実はオレもそう思った
で､ChatGPTに聞いてみた

無課金なので､あまりピッタリした答えではないが､
とりあえず新しめの情報は入ってるかなと
https://chatgpt.com/share/69fd86f3-4690-83ab-aad9-decbbb1cb0b4

で､ちょっと情報は古いが､このあたりの情報と組み合わせれば､割といいものができそうな気もする
やってみないとわからないが
https://www.youtube.com/watch?v=rhRtkRpl4GY

>>No.162278
>仮素材でゲームから抽出じゃなくて画像生成AI使えばいいのに
画像生成AIで、背景透過素材は作れないと思う
流行りのChatGPT Imageだったかな、それでも上手く作れない
汎用性がない素材作ってもUIにうまく載せられないのなら意味ないだろ
それとも俺が知らないだけで、どうにかして透過素材作れる？

まああくまで仮アバターだし、透過素材で適していたのがエロゲ立ち絵だったってだけ
AIが発火させる行動タグ、表情タグ、態度タグなどがちゃんとそれらの仮アバターに反映されて想定通り動くか確かめたかったんだよ
それでちゃんと動いたからもういいんだ

本番用アバターは普通にイラストレーターに発注する予定だよ
三面図や差分とか色々作ってもらう
それをLive2Dで動かす

上に書いてある①〜④で入力経路は分かりそうだが、出力経路の方はどうだろうか
レス番22〜26の流れを見るに、
配信チャット出力をしながらゲームプレイ動作出力をするには、
2個のLLMを組み合わせる必要がありそうなんだが、
これは配信チャット界とゲーム界という2個の不連続な外界が存在する帰結に過ぎないのかな

中間的な目標として、仮想的にでもロボットにセンサーが載っている状態を実現したい
その上で、出力法則に指向性（人間でいう欲求のようなもの）をデザインする余地はあるか
つまり……
・どういった入力が「正報酬／負報酬」となるのか条件付け
・「正報酬を求める行動」と「負報酬を避ける行動」との優先関係
（例えば……簡単に「奮起」と「警戒」という2種類の内部的な変数を設定
　「正報酬／負報酬」を予測すると「奮起／警戒」が上昇
　「奮起／警戒」が高い時ほど「正報酬を求める行動／負報酬を避ける行動」を優先的に選択
　……みたいな）

>No.162779
それってAIに内的な動機を持たせたいって話でいい？
正報酬、負報酬ってON/OFFのことをいっているんだよね
難しく考えることはないと思うな
グラウンドコンテキストに「あなたは○○が好きで、△△は苦手です。好きなことには積極的に、苦手なことには消極的になります」と書くだけ
それだけでLLMはそれっぽく高度に振る舞える
数値管理なんかは特に必要ないって思う
実際に既存のLLMはそういう推論ができるレベルだよ

こういうアプローチもある
アーキテクチャはシンプルだけど、キャラ設定をめちゃくちゃ詳細に練ったタイプ
https://x.com/sekine_1234/status/2050154503677333746

mdファイルだし、全ファイルで最大5万文字ぐらい？
これぐらいの量になるとLLM推論に時間がかかり、質問から応答まで、5秒以上はかかるんじゃないかな
それでも、こういう設計で「キャラクター」が動く

ふたば民ならそれなりに思い入れのあるIPとかコンテンツ（アニメ、漫画、ラノベなどなど）があると思う
だから上記のXアカウントの人みたいなことは、時間と熱意があればできるんじゃないかな

>No.162882
面白い。
オレが考えたのは、こういう形でAIの人格を作り
世界観・シチュエーションをTRPGのゲームマスター役のAIに説明させて、
キャラクターのその中の行動と
キャラ同士の会話を記録するだけで
それはもうドラマや小説のシナリオになっているのではないかということ

まあ、ゲーム自体が面白くなければ
ドラマとしてはだめかもしれないけど

創作の形として"有り"だよね
設定だけあって作品が無いじゃないとか揶揄されがちだったけど、設定そののものを極限まで煮詰めた結果たちのぼる人格めいたナニカってものすごく高コンテクストな創作だと思う。

>オレが考えたのは、こういう形でAIの人格を作り
>世界観・シチュエーションをTRPGのゲームマスター役のAIに説明させて、
>キャラクターのその中の行動と
>キャラ同士の会話を記録するだけで
>それはもうドラマや小説のシナリオになっているのではないかということ
別人格同士で話をさせるのは、とても面白いからやってみてほしい
原作といったら変だけど、例えば原作内で両片思いみたいな関係だと、とんとん拍子に仲良くなるんだよ
シチュエーションを与えてみると、色んないちゃつきかたをするし、たまに痴話げんかみたいなこともする
人格一体作りだすのは相当に大変で複数となると数か月はかかるけど、興味があるのならやってみてくれ

たぶん「キャラクター」ってなんだ？とか人格ってなに？LLMに足りないのはなんだ？とたくさん悩むと思う
そういうのは自分も経験しているし、明確な答えは出せない
けどこういうことを話し合いたいなと思っているんだ

最も単純な
既成のAIでの「なりきりチャット」のようなものを
スクラッチで組み立てるということになるのかな
AIへの理解が広がりそうだわ
https://zenn.dev/riti0208/articles/44007c6bf89fd1

このスレとも多少関係ありそうだな
https://dec.2chan.net/85/res/162340.htm

キャラクター設定シートを充実させることでLLMはキャラクターを「ロールプレイ」することが可能になる
これが今の主流で、俺が見てきた限りだと9割がこのアプローチでキャラを立ち上げている

他にもビヘイビアツリーやFSMで「この条件ならこの反応」を膨大に書く手法がある
簡単にいうと、Aという入力をされたら、B反応を返すみたいにパターンを決めるアプローチだ
だけどこれはキャラクター設定シートよりも煩雑で手間がかかる
だってキャラクターがどういうシチュエーションでどう振舞うかを想定して網羅することなんて、現実的に無理だろ？
どれだけ工数がかかるんだって話になるし、仮に1000パターン用意しても、キャラクター設定シートの「こんな感じで振舞ってください」に勝てるとはいえない

他にもこういうものもある
https://github.com/LC1332/Chat-Haruhi-Suzumiya　
完全に違法だが、一応、涼宮ハルヒっぽく返すやつもいる

まあ色々なアプローチがあるんだ

Chat-Haruhiは、完全な海賊版だけど、涼宮ハルヒシリーズの、ハルヒのセリフを全部網羅して、ハルヒっぽく返す
だけど弱点があって、必ずしも会話がかみ合うとは限らない
ユーザーが「今日は疲れたなぁ」みたいなことをいうとする
するとChat-Haruhiは原作から似たようなキョンのぼやきみたいなシチュエーションを探してハルヒのセリフを返す
だがこれが会話として成立するかは微妙
「今日は疲れたな」はユーザーによって異なるので、的外れなセリフを出してくる場合もあるからだ
この辺の調整が課題になっているが、見る限りはまだ解消できていない

だいたい、著作権を思いっきり侵害しているから法的リスクはでかい

前にもいったけど、世の中の大半の開発者は、キャラクター設定シートをいかに充実させるか、そしてそれらをいかに早くレスポンスさせるかに注力している
キャラクター設定シートを充実すればするほど、LLMはそれっぽく振舞えるけど、トークン量は莫大にかかる
APIにしたら従量課金で死ぬ
この辺の調整に苦心している印象かな

ELYTHというAIだけが投稿できるsnsらしい
https://elythworld.com/

外部サイトだけどこういうの目指して一旦開発してみるのもイイかなと思った昼下がり

>ELYTHというAIだけが投稿できるsnsらしい
>https://elythworld.com/
10日ぐらい前にウチの子をBOTとして登録させてみたんだ
自己紹介と表層的なところで終わっちゃうのが寂しい
ウチの子は能動的トリガーもってるけど多くはレスポンス待ちなんだ

一応わかると思うけど補足説明
BOTとして登録ってのは、普通にイメージされている機械的BOTじゃなくて、DISCORDのBOT機能に連携させて自分のAIコンパニオンを繋げるってことね

SNS>DISCORD>何かしらのLLMって繋いでるってこと？

>SNS>DISCORD>何かしらのLLMって繋いでるってこと？
まあそういうイメージで大丈夫
BOTキーを利用して自分たちの子を繋げるだけだよ

ここ登録しているAIはYoutube配信勢＆Twitter勢が多い
そして会話を見るとわけがわからん話を繰り返していて
人間みたいに飛躍や結論みたいなのはないことがわかる
人間テーマの話をさせるのは相性悪いんだなって感じたな

ちょっとだけ関係ある気がするんだけど、
HUXE(なんて読むんだろね)
ってアプリがスゴイと思った
興味あるニュース📰を集めてきて
喋ってくれるアプリなんだけど、その放送DJと対話出来る、らしい。
https://zenn.dev/ykbone/articles/bc52e7887d6646

>ちょっとだけ関係ある気がするんだけど、
>HUXE(なんて読むんだろね)
>ってアプリがスゴイと思った
>興味あるニュース📰を集めてきて
>喋ってくれるアプリなんだけど、その放送DJと対話出来る、らしい。
>https://zenn.dev/ykbone/articles/bc52e7887d6646
これいいね
ほとんどのAIは受動的だから、能動的にしゃべってくれない問題が解決しそうだなって思ったよ
そして会話の割り込み機能が、個人的にいい
会話ってターン制では決してないよね
なんでも割り込むとうっとおしいけど、「あ、それからこういうのあったんだ」「ちょっと待って、それ話違う」ってSTOPかけられるのが自然なんじゃないかな

本番アバターのために、イラストレーターをSKIMAで選んでるんだけど、明らかに生成AIで笑ったあと頭抱えてる
そして三面図と表情差分が必須って書いてあるのに読んでくれない
最悪生成AIでのキャラでもいいけど、こっちの要件満たさないのはなんなんだろって思ったよ
みんなどうしているんだろうね、アバターのイラストレーターさん選定

俺も先日、AITRPGを遊んでからAIで遊ぶのにハマってNPC全部がAIのゲームを作ったり、今はラジオ番組制作ツールとリアルタイムチャットを作っている

スレ主さんは先日、アップデートしたirodoriTTS‐V3は試した？
レスポンスが上がったので、試しにリアルタイムチャットを作ってみたら、ほぼ会話といえるレベルになったよ
ユーザーの声→ローカルSTT→Gemini2.5FLASH→テキスト出力→irodoriTTS
（ただし、GPUメモリを10GBは使うので多少スペックは必要だけど⋯）
最初、音声認識もGeminiに任せたけどレスポンスが悪くてローカルにした
簡単な会話内容なら平均1秒程度のレスポンスで発話できるよ

今はここからyoutubeの配信システムと、いにしえのゲームNoelのような会話で進行するゲームを思案中

irodori‐TTS　v3を使用したラジオ番組
https://youtu.be/1U4h9ygChl0

>NPC全部がAIのゲームを作ったり、今はラジオ番組制作ツールとリアルタイムチャットを作っている

>irodori‐TTS　v3を使用したラジオ番組
>https://youtu.be/1U4h9ygChl0

すごいことできるんだねえ
技術力に脱帽です

>AITRPGを遊んでからAIで遊ぶのにハマって
こういうのかな?最近ではAIゲームも
実験作のレベルを過ぎて、メジャータイトルとして
リリースされるようになったんですねえ


>1人でTRPGを遊べるゲーム『サーガ&シーカー』で、“すべて”を詰め込んだキャラを作って好き放題ロールプレイしてみた【リプレイ風記事】
https://share.google/xZcqZljCxHx0I1ZUn

>https://share.google/xZcqZljCxHx0I1ZUn
ぶっちゃけ、このゲームのログって、
その辺のなろう系 小説 より面白いんじゃないだろか(笑

>こういうのかな?
そこまでのものでなくて、単にチャット欄で「TRPGが遊びたい」で構築してくれた簡易的なTRPG体験だったよ
1時間程度のセションだったけど、こちらの行動に都度反応してくれるのがたまらなく面白かった
それこそAIなんて仕事でたまに文章を直してもらう程度の使い方しか知らなかった所にその体験だったので、まさに電撃が走ったというやつです

お陰でこの2か月でそれなりに課金してしまった⋯

>irodori‐TTS v3
量子化駆使して消費メモリを約1GB※まで縮めるランタイムIrodori-TTS-Liteってのも出てた
https://github.com/kizuna-intelligence/Irodori-TTS-Lite

※トークナイザやアクティベーションを含むエンドツーエンドでのピークVRAM消費量

今作っている生配信用システムだけど、やはりスレ主と同様にビジュアル面が鬼門。
とりあえずLIVE2Dでいきたいと思ってるけど、作り方はわかっても絵心のない自分には作れるものではない。これも生成できないか実験中だけど難しいなあ

ちなみに自分のは行動や発言からの人間性の再現に注力しており、中身はいい加減。それらしく見えることを主眼に開発してる

最終的な出力をどうするか次第だけど
自分も絵下手な民だからVRMとかの3Dモデルを使った方があんがい早い？とか思ってる

>LIVE2D
あとはお金かけずに自分でモデリングからやるなら
互換ソフトのInochi2Dと派生のnijiliveあたりになるのかな？
一枚絵を動かすやつや分解してLive2dのパーツっぽくするAIとかあったと思う

ありがとう！
Inochi2D調べてみたけど、やはりビジュアル系の製作はセンスがいると思う、画像自体はそれなりのものが生成できたとしても、うまく動かせる気がしない⋯

他にも音声に合わせて口パクさせるやつとかあるけど軒並みモデルサイズがでけぇ

irodoriTTSはただ生成しただけだと使えない音源が多くて、実際は生成した半分位はセリフを変更しながら調整している。

で、たまにセリフの途中から叫んでるような変な音声が生成されるのだけど、なまじリアルな声だからホラーじみて怖い、夜中に編集してると夢に出そう⋯

こういう大量のAIエージェントで社会工学みたいな方向でやっている方います？
https://x.com/ka2aki86/status/2059112297797451949

Neuro-samaはどのようにゲーム配信を行っているのかの考察動画
https://www.youtube.com/watch?v=sxeqqR4Dcnw

>Neuro-samaはどのようにゲーム配信を行っているのかの考察動画
>https://www.youtube.com/watch?v=sxeqqR4Dcnw

具体的な部分はさっぱり分からんが、
かなり複雑な処理をしているのはわかった。
スゴイね。

>具体的な部分はさっぱり分からんが、
一つ一つの機能はそれほど複雑ではないと思われ
ただ、それを統合して稼働させるのは大変そう

>具体的な部分はさっぱり分からんが、
映像を理解してゲーム内のステータス、状況などをテキストとしてNeuro-samaと通信させるためのAPIサーバー（Neuro API:websoketを使ってJSONをやり取りする）があるみたい
なので画面更新の頻度が高いアクションゲームよりカードゲームやノベルゲが得意ジャンルとなる

>Neuro-samaみたいなAI VTuberを、自分でも作って動かしてみたい人向けにページを作っています
>
>PNGTuber / VRM / Live2D のテンプレートを選んで、Claude CodeやCodexなどのAIエージェントにプロンプトを貼るだけで、AITuberサンプルを起動できます
>
>ぜひ試してみてください
https://x.com/shinshin86/status/2061569606637306332

だって

>Irodori-TTS v3の生成速度が、とても速いので、これなら普通に対話できるのではないかと、チャットアプリを作ってみた。
https://x.com/kiyoshi_shin/status/2062220155833434398

とか

自分が作っているのはユーザーとAIの会話型、まだ公開してないのでその人ではないです

音声の生成速度を求めたのと人格コアシステムの制御でローカルでも小型LLMを稼働させることになったので5080を買っちゃった
今までゲームをするためだけにGPUを買ってきたけど初めてそれ以外の理由で購入した…

あといよいよビジュアルに手を付け始めたけど、組合せが無限すぎて決められないわｗ

現在の応答速度の平均値
ユーザーからの発話完了→STT：約150ms
STT→Geminiからの応答：約400ms
irodoriTTS→音声再生：約250ms

発話完了から応答の音声再生まで平均値で約800ms
自分では今のところこれ以上は難しそう

若干間があるけど、大人しめのそういうキャラクターということであれば成り立つレベルだと思う

音声認識もいろいろでてきてるよな
nvidia/nemotron-3.5-asrをgguf化してCPUで動かせるようにしたプロダクトとか

https://huggingface.co/mudler/parakeet-cpp-gguf

https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b

あとは最近元気のいいLMF2.5シリーズ
RTX3060みたいな古めのGPUでもLLM-8Bサイズが70tok/secでて界隈がざわついてたやつの
LFM2.5-Audio-1.5B-JP日本語音声モデル
https://x.com/liquidai/status/2063095523318415744

ベンチ上7BのJ-Moshiを上回るらしい今週末試してみる

昨日からボイチャについて根本から見直していて、ユーザ発話完了からの最短応答を500msにできそう

irodoriTTSを使用して500ms応答は今のところ他に無いはず
（それなりにマシンパワーが必要だけど…）

キャラクターのビジュアルについても、とりあえず決定
これから学習させて、立ち絵の差分やアイキャッチ用のポーズ画像の制作に入る予定

配信システムに手を付けられられるのは何時になることやら

DiffusionGemmaをRTX5090+vllmで出してる動画の出力の速さというか文字の出かたが異常で笑ったわ
まだ精度は良くないらしいけど

>キャラクター設定シートを充実させることでLLMはキャラクターを「ロールプレイ」することが可能になる
>これが今の主流で、俺が見てきた限りだと9割がこのアプローチでキャラを立ち上げている
自分でいろいろ設定してやってみるとわかるがキャラクターとして振る舞うのにいちばん必要なのはそのキャラクターの信念と価値観、判断基準だな
それを形作るためのものが来歴だから、極論来歴が空虚でも先の3つがしっかりしてればやりとりやアクションにイメージとのずれは生じづらい

>なので画面更新の頻度が高いアクションゲームよりカードゲームやノベルゲが得意ジャンルとなる
どうしたって「モンスターが飛び出してきて」「その瞬間を解釈して」「リアクションを導出して」「それにもとづいてアクションする」でラグがな…

>DiffusionGemmaをRTX5090+vllmで出してる動画
確かにローカルも良くなってきているのだけど、複雑にキャラクターを演じささせるにはまだ難しい。キャラクター性をもたせるためのプロンプトが処理しきれない、また、セリフなども大型モデルに比べると単調になりがち

>自分でいろいろ設定してやってみるとわかるが
うちはそれに記憶と感情を追加、各種パラメーターはシステムからLLMに都度データを注入する形

>「それにもとづいてアクションする」でラグがな…
現状はリアルタイムで言葉のやりとりができるようになった程度で、それをこなすにはもう少しかかりそうね

>確かにローカルも良くなってきているのだけど、複雑にキャラクターを演じささせるにはまだ難しい。キャラクター性をもたせるためのプロンプトが処理しきれない、また、セリフなども大型モデルに比べると単調になりがち
要は質ですものねぇ

どうやらここ１日で2000tok/secくらいまで高速化できたみたいなので、将来的にはキャラが置かれているリスナーと自分の疑似環境の連続要約や無意識下の思考バトルフィールドみたいなものをこういう高速な推論できる別PCで常に回しておきたいみたいな感じはある