vLLMとRDMAで構築するローカルLLMクラスタ (3):4ノード分散推論の実装とスケーラビリティ検証

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 前回の『vLLMとRDMAで構築するローカルLLMクラスタ (2)』の内容を踏まえた続編です。

新Linuxカーネル解読室 - Workqueue

遅延処理の仕組みである Workqueue (WQ) を、現在のWQの特徴であるConcurrency Management導入前後の実装を比較しながら紐解きます。

vLLMとRDMAで構築するローカルLLMクラスタ (2):VRAMの壁を突破する分散実行のアプローチ

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。 本記事は「vLLMとRDMAで構築するローカルLLMクラスタ (1)」の続編です。

vLLMとRDMAで構築するローカルLLMクラスタ (1):安価なGPU選定と25GbEネットワークの基礎

Linux PC と RDMA ネットワークで vLLM スケールアウト構成を構築し、コストパフォーマンス重視のローカルLLM実行環境を提案・検証します。

新Linuxカーネル解読室 - タスクスケジューラ (その3)

カーネルv6.8のタスクスケジューラ解説シリーズの第3弾です。前回で解説したFAIRスケジューリングクラスとEEVDFアルゴリズムに続き、残るスケジューリングクラスであるRTおよびDEADLINEの仕組みと実装を深掘りします。

新Linuxカーネル解読室落穂拾い (2)

Linuxのコードを読むと、つい細部に気を取られて本質から外れてしまうことがあります。本ブログでは「これは何だろう?」と思う部分について、深追いせず理解できる情報を提供し、コード読解の負担を軽減することを目指します。

詳解 ROS2 エグゼキューター (Executor) - 4 -

最終回となる本記事では、過去の記事では触れられなかったエグゼキューターのより高度な概念と詳細について解説します。特に、本記事のEventsExecutorに関する内容はActionの章と関連が深いため、順番に読むことを推奨します。

新Linuxカーネル解読室落穂拾い (1)

Linuxコード解析の初心者向けシリーズがスタート! 本シリーズでは、Linuxにテーマを絞り、これからコード解析に挑戦したい方に向けて"入口"となる情報をお届けします。 筆者の視点から、「ちょっと気になるポイント」や「今さら聞けない基礎知識」をやさし…

詳解 ROS2 エグゼキューター (Executor) - 3 -

3回目となる本記事では、前回までの記事で触れられなかったエグゼキューターに関する少し高度な概念や細かい内容について紹介していきます。

詳解 ROS2 エグゼキューター (Executor) - 2 -

2回目となる本記事では、`rclcpp::Executor`の実装を追っていきながら、スケジューリングメカニズムやエンティティの管理方法について紹介していきます。