マルチエージェント問題を解く手法として強化学習が用いられている。その手法の多くは状態及び行動空間を離散的であると仮定している。一方、ロボットの制御などの現実的な問題では状態及び行動空間共に連続であるため、従来の手法を適用することは困難である。本稿では従来手法を拡張し、連続空間における問題に適用可能な強化学習手法を提案する。困難の原因である評価関数の表現を、関数近似器を用いることで解決する。よって本拡張は強化学習と関数近似器を組み合わせることと言える。本研究では強化学習のアルゴリズムとしてQ学習を、関数近似器として正規化ガウス関数ネットワークを用いる。提案した手法を連続空間内のマルチエージェント追跡問題に適用する。実験の結果、本手法の有効性が示される。