大規模言語モデル

IoT / ロボティクス

Raspberry Piクラスタにおける軽量LLMのKubernetes Pod化と推論

目的:本稿では、3台のRaspberry Piを用いて高可用性(HA)構成のKubernetesクラスタを構築し、その上で軽量LLMであるPhi-3 Miniの動作検証を行うことを目的とします。初期段階として、単一のRaspberry Pi...