研究ブログ

大学の授業でチャットGPTをどう扱うかについての覚え書き

1 はじめに

前回このブログを使ったのは3年前のちょうどこの時期のようです。コロナ禍で少し遅れてオンラインで授業が始まって、授業準備をしているときにコロナ関連の情報をまとめておこうと思って書いた記事でした。で、その後3年がたち、コロナ禍は一応区切りを迎えているわけですが、新学期の授業を始めるにあたっていろいろ考えなければならないという意味ではそのときと同じような状況が(もちろんいろんな意味で位置づけは違うのですが)再び…。

ということで、チャットGPTの話です。すでによく知られているようにこのアプリが登場したのは昨年11月、時期的には2022年度後期にすでに広まっていた可能性はあったし、実際アメリカの大学では一足早くレポートでの利用なんかが問題になったりしましたが、実質的にはこの4月から始まる2023年度が、日本の大学にとってチャットGPT元年ということになるのだと思います。

具体的な話に入る前にこの文章の書き手について少し補足しておくと、僕は大阪の大学の経済学部に所属する社会学の教員で、AIやその教育への応用は専門分野ではありません。ただ専門であるヘイトスピーチや人種差別の問題からの派生としてネット空間のガバナンスの問題やAIと差別の問題には関心をもってきたので、今回の件にもそれなりに早くから注目はしていました。

さてその上でチャットGPTですが、さしあたり大学におけるというところに話を限定すると、3月後半以降、いくつかの大学で方針が出されました(新運記事でもいろいろ報じられていますが、このあたりは東京大の吉田塁さんのページがもっとも包括的に情報をまとめているのではないかと思います)。この中では一番早く出した上智大が一番厳しく、東大は(副学長の個人名で出されたという文書の特性もあるとは思いますが)かなり柔軟な感じで、東北大は学生向けにはそれなりに厳しいことを言いつつ、教員向けの文書はかなり現実的に書かれている印象です。

とはいえ逆に言えばこうした方針を出している大学は数としては少数派で(教員向けメールや学内限定の文書などで告知している大学もあると思うので、実際に見えているよりは多いと思うのですが)、多くの大学教員は、それぞれが担当する授業の中で方針を示していくということになるわけです(とはいえ大学としての方針が出された場合も、最終的に具体的な運用方法を決めるのは教員ですから、そこはあまり違いがないとも言えます)。

いずれにしても、どういう立場をとるにせよ今後はどの大学教員もチャットGPTを前提に授業をやっていかなければいけないわけで、これからここで書きたいのは、2023年4月時点で大学の授業でチャットGPTをどう扱ったらいいのかという問題についての情報共有と試論です。当然「すでにやったこと」の共有ではなく、これまでの授業経験からおそらくこんな感じになるだろうという話なので、半年後にはいろいろ修正撤回しているかもしれないし、あるいは3年後には前提の状況自体が変わっているかもしれません。またあくまでも文系の一般的な授業が想定されているので、Python のコードを書かせるときにチャットGPTがどう役立つかとか(めっちゃ役立つ感じですが)、そういう話は考えていません。なお想定読者はおもに同業者(文系の大学教員)ですが、僕の授業とってる学生の人とかが読んでも授業の舞台裏的なものが見えるという意味で面白いかもと思います(もちろん他業種の人も)。

2 一般的な質問に対する回答のレベルの高さ

さて、大学での授業にかかわるところでのチャットGPTの特性をとりあえず一言で言うなら、「一般的な質問に対する回答のびっくりするほどのうまさと、事実関係を含む質問に対する回答のめちゃくちゃさのギャップ」ということになると思います。このあたりはこの1カ月ほどでだいぶ共有されてきた感がありますが、要は前者から入った人はそのレベルの高さに驚き、後者から入った人はそのレベルの低さに驚くというのが、基本的な反応のパターンだったわけです。

たとえばこんな質問をしてみるとどうでしょうか。「AIの進歩が社会に与える影響を、とくにマイナス面に焦点をあてて5つ挙げた上で、それぞれのマイナス面の解決のためにどのようなことが必要か考えてください」。以下はその答え。ちなみにモデルは有料のGTP-4を使っていますが、無料版のGTP-3.5でもこのへんのことはとくに変わりません。

----------

AIの進歩が社会に与えるマイナス面として、以下の5つが考えられます。

・雇用の喪失
・プライバシー侵害
・偏ったアルゴリズムによる差別
・AI技術の悪用
・人間のスキルやコミュニケーション能力の低下

それぞれの問題に対する解決策は以下の通りです。

◆雇用の喪失に対する解決策
・AIによって消える職種に対して、新たな職業訓練や再教育プログラムを提供し、雇用の機会を創出する。
・ベーシックインカムの導入や労働時間の短縮など、社会保障制度の見直しを検討する。
◆プライバシー侵害に対する解決策
・個人情報保護法やプライバシーに関する法律を強化し、遵守を徹底させる。
・AI技術開発者に対して、個人情報を適切に扱うためのエシカルガイドラインを提供する。
◆偏ったアルゴリズムによる差別に対する解決策
・AI開発者に対して、多様なデータを用いて公平性を重視したアルゴリズム設計を促す。
・AIの決定過程を透明化し、監視・評価する仕組みを構築する。
◆AI技術の悪用に対する解決策
・AI技術の輸出入や開発に関する国際規制や協定を策定する。
・セキュリティ対策の強化や悪用防止のための技術開発を推進する。
◆人間のスキルやコミュニケーション能力の低下に対する解決策
・教育カリキュラムにおいて、人間としての基本的なスキルやコミュニケーション能力の向上に焦点を当てる。
・社会全体で、人間とAIの共存に重点を置いたディスカッションを促進し、人間性を大切にする価値観を共有する。

----------

授業でディスカッションとかを取り入れている教員はすぐにわかると思うのですが、資料配って考えさせてグループで討論させて、最後クラス全体でまとめるとこんな感じになるみたいなことを、一瞬で出力しちゃうわけですね(ちなみに先ほどの「問い」は僕が普段学生向けに出している課題のフォーマットで書いています)。ディスカッションの最大の効果の一つは視野を広げるということで、一人で考えているとなかなか見えてこない全体の構図が、個人、グループ、クラスと枠を広げていくことで見えるようになっていくわけですが、こうしたプロセスの結果を難なく再現してしまう点については、チャットGPTはかなり強力なツールです。

なので、もし期末レポートで上のような文章があった場合、これまでなら一人でこんなに包括的に考えられて偉いな…という話になったかもしれないところ、今後はこれってチャットGPTにやらせたんじゃ…と考えざるをえなくなり、しかしコピペと違ってそれを確実に判定するすべはないわけです。またもし同じ質問をしたら常に同じ回答が返ってくるというならまだいいのですが、実際には同じ質問をしてもその都度回答が変わるし、質問自体に修正を加えればもちろんさらに回答が変わるので、「チャットGPTの答えはこうだからこれ以外」みたいなこともできません。

3 事実関係を含む質問に対する回答のレベルの低さ

これに対して、事実関係を含む質問に対する回答は、びっくりするくらいめちゃくちゃです。もちろんテーマによるところもあるとは思うのですが、固有名詞がからむことについてはときどき嘘が混じるとかそういうレベルではなく、ほぼ嘘しか言いません。

ということで次はこの質問。「AIの進歩が社会に与える影響を、とくにマイナス面に焦点をあてて考える上で、日本語で読める重要な本を10冊挙げてください」。以下が答えです。

----------

AIの進歩に関するマイナス面に焦点を当てた日本語の書籍として、以下の10冊が挙げられます。

『人工知能はなぜ人間を超えるのか』 - 河森正治
『AI vs. 教科書が読めない子どもたち』 - 阿部祥二
『ディープラーニング革命』 - 中島宏之
『人工知能の未来 ジョブズ・ゲートズ・ホーキングが懸念するAIの脅威とは何か』 - 松田礼一郎
『AIリスク - 人工知能時代の経済と倫理』 - 安田洋祐
『働き方改革のウソ - 人工知能は仕事を奪わない』 - 瀬尾光一
『データ主権論 - AI時代の個人情報保護と犯罪対策』 - 藤原直哉
『暗黒知能 ~ AIの衝撃と脅威』 - ジェームズ・ブリッジュウォーター
『AI時代の法と倫理』 - 真鍋陽
『アルゴリズムの暴力 - 人工知能が生み出す不平等と差別』 - ジェームズ・ブラウン

これらの書籍は、AIの進歩がもたらす雇用の喪失、プライバシー侵害、偏ったアルゴリズムによる差別、AI技術の悪用、人間のスキルやコミュニケーション能力の低下といったマイナス面について、多角的な視点から議論を展開しています。各著者によって提唱される解決策も異なり、読者による理解を深める手助けとなるでしょう。

----------

1冊目のはたぶん松尾豊さんの『人工知能は人間を超えるか』と言いたかったんでしょうね。著者がなぜマクロスの人になったのはもちろん不明(笑)。2冊目の『AI vs. 教科書が読めない子どもたち』は実在するのですが、著者は新井紀子さんです。3冊目はいかにもフェイクっぽいですが実在する本で、でもやはり著者が違います。4冊目以降はすべてフェイクで、最後のジェームズ・ブラウン(なぜw)の本とかあったらぜひ読みたいですが、残念ながら実在しません。

とまあ一事が万事こういう調子で、人の経歴とか映画のあらすじとかも含めて固有名詞が入った瞬間にこのAIは本当にアホになるのですが、にもかかわらず一見賢そうな雰囲気は変わらないので(苦笑)、たんなる間違いを越えてわりとサイコ感が強いというか、最初ここから入るとたぶんこのAIが言うことは何も信じられなくなると思います。ちなみに日本語文献だからそうなんじゃないかと思う人もいると思うのですが、さっきの質問を「英語で読める論文」とかにしても基本は同じです。また少し前に Microsoft が 検索エンジン Bing にチャットGPTを搭載したことが話題になりましたが、そちらは検索結果と一緒に回答が表示されるので少しマシになるものの、回答に窮するとフェイクを連発するという基本的な傾向は変わりません。今後はある程度改善されていくのかもと思わなくもないですが、とはいえおそらくこのへんは生成系AIの特性なので、実際にはチャットGPTをインターフェイスにして文献検索用のAIを別途動かすという形になるまでは(おそらくそんなに時間をおかずにそうなるでしょうが)、状況は変わらないだろうと思います。

なお関連して、チャットGPTは実は要約もあまり得意ではありません。何となく上のようなフェイク連発は前提とするデータベースの問題なのかなと思ってしまうところもあるわけですが、実際にはこれは「ある言葉の後にもっとも来そうな言葉をつなげる」という生成系AIの特性によるところが大きく、要約のようにはっきり前提となる文章を与えた場合でも、出力されるのは「その文書をもとにしたそれっぽい短い文章」でしかないです。なので、とくに固有名詞が入り組んだ新聞記事とかを要約させると平気で嘘を書きますし、ある程度一般的な文章でも「まあものすごく間違っているわけではないが…」というレベルにとどまります。

4 チャットGPTの登場をふまえた具体的な授業の工夫

さて、以上で状況はだいたい共有できたと思うのですが、ではどうしたらいいのか。とりあえず(1)チャットGPTを使わせない方向性、(2)チャットGPTを積極的に使わせる方向性、(3)悪用はダメだがよい使い方は推奨するという方向性、の3つに分けて考えてみます。

(1)チャットGPTを使わせない方向性

僕は長期的には(2)と(3)のあいだくらいの方向性で考えていますが、さしあたりの対応としては、この(1)のやり方も使っていくことになると思います。チャットGPTの排除のためだけに不毛な課題を出すのは論外ですが、同時に、たとえチャットGPTができることでも一通りのことは自分でやっておく必要があるという意味で、(2)(3)の方向性を中心に据えたとしても(1)がまったく不要になることはないでしょう。

じゃあ具体的にはどういうやり方があるのかということですが、もっとも単純なのは、課題の前提となる資料を与えることです。先ほどの「AIの社会的影響」であれば、一般的にこれを課題やレポートで書かせた場合には、確かにチャットAIの回答はそれなりのものになるでしょう。しかし「資料を読んで、それをふまえて…」という課題であれば、資料にあるものであればその旨書かなければいけないし(書かずにあたかも自分が考えたことのように書くのは「剽窃」です)、それができなければ課題の条件を満たしていないことになります。またこちらがより重要なのですが、こうした前提は先行研究をふまえて自分が何を新たに付け加えられるのかという、アカデミックな作法の基本を学ぶプロセスでもあります。チャットGPTの包括的に論点を網羅する能力は確かにすごいけれども、それをそのまま引き写しても「大学の」レポートにはならないわけです。

関連して、とくに期末レポートのように長い文章を書かせる場合、文献を参照した場合はその都度細かく出典を挙げさせる、というのもありうる工夫だと思います。最近は多くの大学で初年次ゼミ的な場でレポートの書き方を教えており、そこで文献挙示や出典明記のやり方も示すわけですが、これを採点の際にどこまで厳密に見るかという点では、けっこう判断が分かれていたのではないかと思います。しかしチャットGPTの登場によって、「それっぽいこと」を出典を示さずに書き、「それっぽい文献リスト」を後ろに付ける、ということは一瞬でできるわけです(まあ後者は一瞬でバレますが)。そのときに、むしろきちんと出典に気を配って書かれたものをきちんと評価する、ということがそうした悪用を防ぐ効果を持つとしたら、これを利用しない手はないでしょう。

なお課題に「必ず具体的な事例を挙げて」などの言葉を入れて、チャットGPT的な一般論では答えられないようにするというのもの一つの工夫だと思います。もちろんチャットGPTから無理に事実関係を聞き出す形で使う学生はいるかもしれませんが、仮にそうしたとしても、それは先ほど挙げた文献リストのようにある程度前提知識があればすぐにわかるようなフェイクになるので。とはいえもちろんグレーな事例が出てきて判断に迷うというのはあると思うので、一つ上に書いた出典明記と組み合わせて使うとより確実性が高まる感じでしょうか。

(2)チャットGPTを積極的に使わせる方向性

この方向性はまだ十分に考えられていないというか、実際には今後授業をやりながら考えていく部分だと思っていますが、とりあえず今の段階で考えていることはこんな感じです。

まず一つは、チャットGPTに先ほどの「AIの社会的影響」のような抽象的な質問をし、その結果を明記させた上で、その先を考えさせるという方向性です。要は先行研究に対してやるべきことをチャットGPTの結果をふまえてやるということなのですが、これまで学生のレポートを見ていてもこの「乗り越え」の部分は習得がなかなか難しく、頑張って本や論文を読んでも(というか頑張って本や論文を読んだからこそ)その紹介より先に行けないということが多いのですね。その点チャットGPTの出力は一瞬ですから、その先を考えることに集中するという意味では、悪くないやり方なのではないかと思います。

また似たような方法として、チャットGPTに事実関係を含む質問をし、その結果を明記させたうえで自分で調べて正しい資料を作成させる、ということも可能だとは思います。が、先ほど見たように現時点でのチャットGPTのいい加減さはわりと限度を超えているので、こういう形で使うことにすら向かないという感じです。今後他のアプリと連携したりしてもう少しまともに使えるようになったら、ありうるやり方になるかもしれませんが。

最後に、教員は商売柄わりと「問い」を考えることが多く、実際僕も先ほどの「AIの社会的影響」みたいな問いはそれこそテーマを与えられると自動的に出力される感じなのですが(苦笑)、学生自身に「問い」を考えさせるということは、これはこれでなかなか難しいんですよね。自分の授業だと、普段はこちらで問いを示してそれに答えてもらう形の課題を出し、最後のレポートの準備のときにそれをふまえて学生自身が問いを立てる練習をさせるのですが、普段からもっと「問い」を考える練習もさせたほうがいいんじゃないかなあとよく思ったりしていました。

そのとき、学生が問いを考え、その答えをチャットGPTに生成させてくださいというような課題があれば、これはけっこう役立つんじゃないかと思うんですね。学生がうまく問いを立てられない場合の多くは問いがあいまいだったり抽象的すぎたりするのですが、そういう問いだとチャットGPTはうまく答えてくれないわけです。逆に言えば、チャットGPTが的確に答えてくれるような問いというのは、学生自身がレポートの問いとして立てた場合も、よい問いに近づいている可能性が高い。もちろんチャットGPTは自然言語で動くとは言えあくまでもAIで、そこに最適化する形でプロトコルを考えると結果として社会科学の問いからは離れていきますが、一つの利用法としてはこういうこともあるのではないかと思っています。

(3)悪用はダメだがよい使い方は推奨するという方向性

最後に折衷的な方向性で、実際には上の2つと別の話というよりは両方を混ぜたような話になると思いますが、おそらくしばらくはこれが一番現実的ということになる気がします。

ここまでの話からも大よそわかると思うのですが、大学の授業におけるチャットGPTの問題というのは、大きく分けて(a)学生がチャットGPTの優れた面を利用してやるべきことをやらずに済ませてしまう、(b)学生がチャットGPTのダメな面を利用してダメなレポートを書いてしまう、という2つがあります。チャットGPT禁止論というのは基本的にこの両方をふまえて出てきていると思うのですが、しかしすでに触れたように、現実問題として学生がチャットGPTを使ったかどうかは確実な形ではわかりません。

ただ上記2つのうち、(b)のダメな面については、チャットGPTを使ったかどうかとは無関係にダメだという判断が可能です。具体的には、レポートの採点基準として事前に「事実関係に明らかなフェイクと思われるものが複数見られる場合には大幅に減点する」などとしておき、それがチャットGPTによるものであろうが学生自身がチャットGPTのようなでっち上げをしたのであろうが関係なく、そうした答案を低く評価するわけです。もちろんそれは禁止論で言われるようなコピペやカンニングと同等の扱いにはならないわけですが、チャットGPTに全面的に書かせたような悪質なものは、上のような採点基準でかなりの程度対応可能だと思います。

では(a)のほうはどうかということですが、これも実際には「出典のない一般論を複数の段落にわたってダラダラ書くようなものは減点の対象とする」といった採点基準をあらかじめ示しておけば、ある程度まで同様の結果が期待できます。もちろんこれまでも当然減点の対象だったであろうフェイクとは異なり、一般論の羅列というのはこれまで基本的には「よくも悪くもない」という扱いだったと思います。その意味では一定の方針転換にはなるかもしれませんが、とはいえ出典のない一般論をダラダラ書くというのはこれまでも「褒められたこと」ではないはずで、その意味では事前に基準さえ示せば十分に合理的な話だと思われます。

一方折衷案においては、問題なのはあくまでもチャットGPTの「悪用」であって、正しい使い方をすることはむしろよいことだということをきちんと伝えることも大事です。その場合には、よい使い方をした場合にはむしろ評価の対象にもなりうるという前提で、使った場合はきちんと報告させる、ということが重要になってくると思います。

具体的には、チャットGPTを出典の一つとして扱う、というのが一番わかりやすいでしょう。チャットGPTは使ってよいが、使った場合はその出典としてそこで用いたプロンプトおよび出力結果を注で示す。もちろん積み重なればかなりの字数になりますから、字数指定をする場合はあらかじめ注は字数外だと明示しておく必要がありますが、逆に言えばそれさえ明示しておけば、チャットGPTからの引き写しで字数を稼ぐこともできません。注に書かせればその先を自分で考えたかどうかも確認できますし、何より学生自身がそこに意識的になるはずです。また教員としても「なるほどこういうふうに使ったのか」と感心するケースも出てくるだろうし、これは少なくとも教員も含めてみんながチャットGPT「初心者」である今後しばらくのあいだは、有益な点が多いと思います。

とはいえもちろん、本当は使ったのに出典に書かないという学生はいると思います。ただその場合には、フェイクや一般論の連発であれば先ほどの基準に従って粛々と低い点数をつければいいだけなので、そこまで大きな問題にはならないでしょう。むしろ逆にチャットGPTに事実関係を聞くといった間違った使い方をした上でそれに気づかず出典に書いてしまう学生もいそうですが、その場合はフェイクの根拠がはっきりするだけです。あとありうるのはダラダラ基準に引っかからない程度に一般論を借用するというような話ですが、その程度であれば(多少楽をしたことにはなるにせよ)大勢には影響はないと思われます。

5 おわりに

ということで長くなりましたが、最初に書いたように今回の話はまだやっていない教育経験について推測してまとめるということなので、今後はやりながら適宜修正していくということになると思います。その意味でも、この1カ月だけでも相当めまぐるしく動いた生成系AIの動きについては、引き続き追っていきたいです。もちろん授業に関連してというのもあるのですが、冒頭に書いたAIと差別、あるいはネット空間のガバナンスという観点からも、この件は相当のインパクトを持つ話になると思うので。

実際、これまでの「AIと社会」系の議論の中心はあくまでもプライバシーやプロファイリングの問題で、そこではAIは基本的に管理者側のツールでした。が、今回の生成系AIは初めてわかりやすくユーザー側のツールとして登場している点で、社会的な広がりがまったく違います。すでに言われているように、おそらくそれほど遠くない将来にチャットGPT(的なもの)がすべてのPCおよびスマホに搭載され、現在のGUIやタッチパネルに代わる新たなインターフェイスとして、生活と仕事のほぼすべてにかかわるようになるのだろうと思います。そしてそのこと自体は生活も仕事も便利にする方向にも機能しますし、実際このブログ自体はその方向に(大学の授業限定にせよ)ある程度乗る方向で書かれてもいるわけですが、とはいえそうやってこの生成系AIの社会的影響力が強まれば、その必然的な結果としてその副作用も大きくなるわけです。

その意味で、実際の自分自身の授業での利用がどういう形になるにせよ、授業でもチャットGPTの道具的な部分だけに触れて終わるということはないだろうと思います。実際すでにイタリアを先頭にEUは今回の動きにかなり警戒心をもって臨んていますし、本家のアメリカも(表面的なポーズという面も強いにせよ)野放しにはできないというスタンスを表明しています。日本はオープンAIのCEOであるサム・アルトマンの来日でわりとはしゃいだ感じになっていましたが、大きな方向性としてはそこから外れることはないでしょう。ただし重要なことは、「ほら世界はこんな感じなんだからチャットGPTなんて乗るほうがバカなんだよ」みたいな話ではなく、むしろ影響力が大きいからこそ規制という話も出てきているし、そして規制という話もこうした方向性をゼロにするという話ではないということです。こうした大きな流れをふまえつつ、同時に目の前の課題として新しいツールをどう使うかを考える。その意味では、今回のことで求められていることは、学生にとっても教員にとっても、大きな意味では同じということになるんだろうなと思っています。