近年、ハイパーテキストなどのように、複数メディアを統合的に扱うシステムの利用が盛んになり、これに関する興味深い研究も数多く行われている。人間は、このように混在するメディアを相補的に用いることによって、よりわかりやすく相手に知識や自分の意図を伝えることができる。このようなメカニズムを計算機上で実現するためには、複数のメディアの持つ大量の情報やその相互関係を整理し、各々のメディアが持つ情報を自動的に統合したり変換したりすることが必要である。本稿では、このようにメディアを統合的に理解する方法の一つとして、概念図が持つ図形情報と説明文の言語情報を統合し、記述された各概念に対し、より具体的な意味や関係付けを行う方法を提案する。これにより、種々のメディア間の関係を有機的に利用することができる枠組みの構築を目指す。