強化学習を用いたエージェント設計が進歩を遂げており，より効率的かつ柔軟に強化学習をコントロールする手法が求められている．そこで，古典的な意思決定モデルであるステートマシンとディープニューラルネットワーク（DNN) 強化学習の組み合わせを検証する．各ステートは一つのDNN を持ち学習を実行する．学習中，遷移によってステートの切り替えが発生した場合，ノンアクティブになったステートに対応するDNN の学習は一旦停止されるが，再びアクティブになった場合に学習が再開される．アクティブになったステートのDNN がキャラクターを制御する．DNN 付きステートは，記号主義的に定義されたステートとコネクショニズムのニューラルネットがセットになっており，より柔軟な制御を持つキャラクターAI を作成できる．本研究は，Unity3D の環境でステートマシンを構築し，強化学習をコントロールしながらキャラクターAI にゲーム内で戦闘する方法を学習させた．多数のDNN を並行して学習させたモデルを1 つのDNN で学習させたモデルを比較し，本手法全体の性能を評価する．
Agent design by using reinforcement learning has been making progress, and there is a requirement for more efficient and flexible methods to control reinforcement learning. We examine the combination of a classical decision-making model, the state machine, and deep neural network (DNN) reinforcement learning. Each state has a DNN and performs learning. During learning, when a state switch occurs due to a transition, the learning of the DNN corresponding to the inactive state is stopped, but resumes when the state becomes active again. The DNN of the activated state controls the character, and the DNN state consists of symbolically defined states and connectionism neural nets. It allows the creation of character AI with more flexible control. In this study, a state machine is built in the Unity3D environment and a character AI is trained to learn how to fight in a game while the state machine controls reinforcement learning. We evaluate the overall performance of our method by comparing two models: the one is trained with many DNNs, and the other is trained with a single DNN.