Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (10)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (9)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (8)」の内容を踏まえた続編です。

ローカルの llama.cpp と kubernetes-mcp-server を MCP でつなぎ、LLM に Kubernetes を操作させてみました。yaml 生成は速く簡単な例題はこなすものの、試行錯誤が多く、常識的なセキュリティ判断もまだ甘い——ローカル MCP の現在地を率直に記録します。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (7)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (6)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (5)」の内容を踏まえた続編です。

Ryzen AI Max+ 395 (メモリ128GB) で Qwen3-Coder-Next を vLLM で動かそうと、Gemini と共に一晩格闘した記録です。AIの自信満々な誤誘導 (FP8非対応) に振り回され、パンが焼き上がるのを待ちながら深夜にソースコードを改変し、最終的に見えてきた「1.2ト…

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (4)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (3)」の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の『vLLMとRDMAで構築するローカルLLMクラスタ (2)』の内容を踏まえた続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 本記事は「vLLMとRDMAで構築するローカルLLMクラスタ (1)」の続編です。

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。

NVLINK Bridgeで接続した2台のRTX6000 GPUをFalcon 4205 を介して2台の1Uサーバから接続して LLM + RAG を動作させる実験です。

ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介します。