機械翻訳器の日常会話翻訳に対する性能を評価する試みについて紹介する．前もって日本語に機械翻訳された英語の対話文完成問題を被験者が解き，その得点を用いて翻訳器の外的な評価を行った．300 名超の被験者を集めた大規模な調査により，評価対象とした翻訳器のうち一つが 「人間が文脈を考慮せずに行った翻訳」 と同等の性能を有することが明らかになった．本発表では，この調査の内容及び結果を詳述するに加え，一般的に用いられる内的な評価 （自動・手動） との比較結果を紹介する．また，人間の対話理解において重大な障害をもたらす翻訳誤りとそうでない誤りを分類し，定量的に分析した結果を報告する．