昨年度までは，リカレントニューラルネットワーク(RNN)における代表的なネットワーク構造であるLSTMを中心に，その内部にどのような形で構文などの非線形な構造が学習されているかについて，探求をおこなってきた．一方で本年度は，LSTMだけではなく，Transformer を視野に入れ，どのように文の構造が表現されるのかについて，探求を行った．Transformer は，任意の二つの離れた位置にある単語に対して，その信号の関係を計算（主にアテンションと呼ばれる機構）するレイヤーを積み重ねた構造をしているため，LSTMよりも直接的に，構文木が内部で表現されていることが知られている一方，理論的な観点からは，RNNのほうが表現できる言語クラスが大きいことが知られている．実際に，ある特殊な言語クラスに属する人工言語からサンプルした文の集合を訓練データとして学習したときに，RNNとTransformer では，どのような性質上の違いがあるのかについての実験を計画している．