ローカルLLM
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (6)」の内容を踏まえた続編です。
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (5)」の内容を踏まえた続編です。
Ryzen AI Max+ 395 (メモリ128GB) で Qwen3-Coder-Next を vLLM で動かそうと、Gemini と共に一晩格闘した記録です。AIの自信満々な誤誘導 (FP8非対応) に振り回され、パンが焼き上がるのを待ちながら深夜にソースコードを改変し、最終的に見えてきた「1.2ト…
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (4)」の内容を踏まえた続編です。
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の「vLLMとRDMAで構築するローカルLLMクラスタ (3)」の内容を踏まえた続編です。
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の『vLLMとRDMAで構築するローカルLLMクラスタ (2)』の内容を踏まえた続編です。
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 本記事は「vLLMとRDMAで構築するローカルLLMクラスタ (1)」の続編です。
Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。
