ブログ

Raspberry Piクラスタにおける軽量LLMのKubernetes Pod化と推論

目的: 本稿では、3台のRaspberry Piを用いて高可用性(HA)構成のKubernetesクラスタを構築し、その上で軽量LLMであるPhi-3 Miniの動作検証を行うことを目的とします。初期段階として、単一のR […]