Ryzen AI Max+ 395 (メモリ128GB) で Qwen3-Coder-Next を vLLM で動かそうと、Gemini と共に一晩格闘した記録です。AIの自信満々な誤誘導 (FP8非対応) に振り回され、パンが焼き上がるのを待ちながら深夜にソースコードを改変し、最終的に見えてきた「1.2ト…

NVLINK Bridgeで接続した2台のRTX6000 GPUをFalcon 4205 を介して2台の1Uサーバから接続して LLM + RAG を動作させる実験です。

ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介します。

「ディスアグリゲーテッドコンピューティング」関連のYouTube講演を時系列に紹介するgithubプロジェクトを作りました。 本稿では、RAG技術で上述のCDI Infoプロジェクトの情報をローカルLLMの知識として与え、「ディスアグリゲーテッドコンピューティング」…