2026-01-01から1年間の記事一覧

vLLMとRDMAで構築するローカルLLMクラスタ (5):Open-WebUIによるRAG基盤構築とAMD GPUの活用

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (4)」の内容を踏まえた続編です。