研究生のチョです。今年度から研究生として山田研究室に入りました。よろしくお願いします。研究テーマは学習ログによる成績推定、成績に応じた学習支援を考えております。

今回の英語文献ゼミで読んだ論文とその感想について紹介します。

論文タイトル：ChatGPT improves creative problem-solving performance in university students: An experimental study

論文誌: Computers & Education

巻数: Volume 215, 105031

出版年: 2024

著者名: Marek Urban, Filip Děchtěrenko, Jiří Lukavský, Veronika Hrabalová, Filip Svacha, Cyril Brom, Kamila Urban

この論文を紹介する前に、まずHHAIRとは何かを理解する必要があります。HHAIR（Hybrid Human-AI Regulation）は、（Molenaar, 2022）によって提唱された概念です。この概念の核心は、自己調整学習（SRL）に基づいています。HHAIRは、人工知能と人間の知能を組み合わせたハイブリッドシステムであり、学習者の自己調整学習（SRL）を支援することを目的としています。この概念は、人間の調整を批判的に評価し、人工知能を用いて人間のSRLを強化することでこれを実現し、学習中の弱いところを克服し、学習者のSRLスキルを向上させることを目指しています。

（HHAIRの定義について論文のリンクはこちらになります、ご興味がございましたら、ぜひ読んでください。https://www.sciencedirect.com/science/article/pii/S2666920X2200025X ）

以下は、論文の内容の概要となります。

大学生は、定義が曖昧な問題（ill-defined problem-solving tasks）解決するために、ChatGPTのような生成型人工知能ツールを頻繁に使用しています。しかし、ChatGPTで定義が曖昧な問題解決パフォーマンスに与える影響についての実験的な証拠はまだ不足しています。本研究では、ChatGPTで定義が曖昧な問題解決タスクに与える影響を探り、ChatGPTの使用が自己効力感および解決策の質、精緻度、独創性を顕著に向上させることを示しています。この論文では、HHAIR理論の影響について議論し、効果的な調整を行うためには、学生が人工知能ツールを使用する際に、ChatGPTの助けを借りた問題解決の認知された難易度ではなく、有効なメタ認知的手がかりに焦点を当てるべきであることを指摘しています。

定義が曖昧な問題解決タスクとは、論文作成、ケーススタディ分析、意思決定のジレンマ、工学設計の問題、複雑な科学実験などを指しています。これらのタスクは、STEM教育に広く応用されており、その根本的な目標は創造力と革新能力を養うこととしています。定義が曖昧な問題の解決は、学際的な知識の移転と革新能力を促進し、批判的思考を養うのに有用です。

本研究の目的は、ChatGPTの使用が実際の問題解決パフォーマンス（すなわち解決策の質、精緻度、独創性）にどのように影響するかを探ることとしています。また、HHAIR理論を参考にして、生成型人工知能を効果的に使用するために必要な五つの要素（タスクの動機付け、メタ認知的監視の精度、メタ認知的監視の手がかり、タスクの興味、タスクの難易度の認知、心理的努力の投入）を調査します。

ChatGPTは大量のパラメータを持ち、信頼できるように見えるが必ずしも正確でない回答を生成する問題があることが指摘されています。また、自己効力感とメタ認知的経験は、タスクの結果に影響を与える相互に絡み合った要因です。高い自己効力感はタスクのパフォーマンスを向上させることができますが、過度に高い自己効力感は自己能力への過信につながり、タスクの遂行動機を弱める可能性があると指摘しています。

実験方法

対照群は68名の大学生、実験群は77名の参加者で構成され、それぞれChatGPTを使用しない（対照群）／使用する（実験群）に割り当て。比較しています. 実験タスクは基礎テストと複雑な問題解決があり、実験群はChatGPTを使用してタスクを行いました。本研究では、タスク解決の質、精緻度、独創性、自己効力感、タスクへの興味、難易度、及び精神的労力を測定しました。実験結果は、ChatGPTの使用が解決策の質と自己効力感を顕著に向上させることを示しました。実験全体の所要時間は、対照群が26分、実験群が36分と著者らは実験しています。

結果

結果は、ChatGPTの使用が解決策の質、精緻度、独創性を顕著に向上させ、タスクの自己効力感を強化することを示しましたが、自己評価の絶対的な正確性には顕著な影響を与えませんでした。実験群の参加者は、一般的に自分の解答の質と独創性を過大評価し、タスク解決がより容易であり、必要な精神的労力が少ないと感じたと報告しています。認知されたChatGPTの有用性とパフォーマンスの過大評価には中程度の関連がありました。以前のChatGPTの使用経験はタスクの難易度と負の関連があり、経験が多いほどタスク解決が容易になることが示しています。本研究は、ChatGPTが発散的思考を強化し、多くの可能な解決策を提示することで、学生が新しい概念の組み合わせを開発するのを支援することを明らかにしました。しかし、ChatGPTを使用する参加者は、自己評価において有効なヒューリスティック手がかりを使用することが難しいことも著者らは示しています。

以下は私がこの論文を選択した理由と感想となります。

現在、大学でChatGPTのような生成AIを利用して学習を支援する学生が増加しています。しかし、生成AIが学生の学習にどのような影響を与えるかを評価することが課題となっています。私の研究は個別最適化学習（Adaptive Learning）に焦点を当てており、人工知能は個別最適化学習を支援する重要な手段です。この論文は、人工知能の有効性を評価するためのいくつかのアイデアを与えてくれました。ただ、HHAIRがSRL（自己調整学習）理論に基づいて構築されているため、自分の行動をモニタリングするためのダッシュボードを使用していますが、今回論文の実験では自己モニタリングの手段が提供されていません。このあたりの理論的整合性が見えない点があると感じました。AIを利用する際には自分自身をモニタリングすることが非常に重要だと思いますので、このあたりは自分が研究をするときも基本となる理論の妥当性などを踏まえて、進めたいと思います。