本研究では，通常のスナップ写真から全天球画像を生成する課題を研究対象とした。全天球画像とは，カメラの全方向を同時に撮影して得られる画像のことで，仮想現実感(VR)や拡張現実感(AR)のコンテンツを作成する際に利用される。全天球画像の活用は徐々に増えつつあるが，通常のカメラで撮影されるスナップ写真に比べると，まだ限られた用途にしか活用されていない。本研究では手軽に撮影できるスナップ写真から全天球画像を生成する手法を確立することを目的とした。
本年度は、(1)任意のカメラ方向で撮影した単一画像から全天球画像の生成、(2)複数画像を利用した全天球画像生成、(3)全天球画像の歪を考慮した画像生成、(4)静止した風景を撮影した動画から全天球画像の生成、(5)ネットワーク構造の検討の5点について検討を行った。(1)において、従来の手法では、入力のスナップ写真のカメラ方向が水平方向に制限されていたが、任意のカメラ方向のスナップ写真を入力として利用できる手法を提案した。(2)では、入力として単一のスナップ写真だけではなく、複数の写真を利用する方法を検討し、実際にスマートフォンのフロントカメラとリアカメラの画像を入力として全天球画像を生成する手法を提案した。(3)において、全天球画像の上部と下部に存在する歪を明示的に補正するために、通常利用される正距円筒図法ではなく、Cube Map図法で表現する手法を提案した。(4)ではカメラを回転させながら撮影した動画から全天球画像を生成する手法を検討した。(5)では、全天球画像生成モデルのネットワーク構造として2通りの手法を検討した。1つは階層型構造の手法で低解像度からはじめて徐々に高解像度の画像を生成する手法であり、もう１つはMLPMixerという画像中の離れた場所にも情報を伝搬することのできるネットワーク構造を利用した手法を提案した。