皆さん、こんにちは。研究生のチョです。
先日の英語文献ゼミで読んだ論文とその感想について紹介します。
論文タイトル： VizChat: Enhancing Learning Analytics Dashboards with Contextualised Explanations using Multimodal Generative AI Chatbots
論文誌：Artificial Intelligence in Education
出版年：2024
著者名：Lixiang Yan, Linxuan Zhao, Vanessa Echeverria, Yueqiao Jin, Riordan Alfredo, Xinyu Li, Dragan Gaševi’c & Roberto Martinez-Maldonado
以下は、論文の内容の概要となります。
概要
技術の発展に伴い、教育データの活用がますます深まっています。これらのデータを可視化するダッシュボードは、ラーニングアナリティクスダッシュボード（LAD）と呼ばれています。LADは、学生が自分の学習状況をモニターし、自主的な学習を促進するだけでなく、教師にとっても学生の学習状況を把握する機能を持っています。しかし、マルチモーダルによるラーニングアナリティクスと教育データマイニングの進展により、テキスト、音声、画像、動画などの多様で複雑なデータの収集が進んでいます。これらのデータは形式や特性が大きく異なるため、それぞれに適した方法で可視化しなければなりません。その結果、これらのデータをシンプルで理解しやすい形で統一的に可視化することが難しくなっています。
可視化が複雑になると、学習者や教育者に対する認知負担が高くなることが懸念されます。特に、図やグラフの理解が苦手な人にとっては、LADの実用性が低下する可能性があります。そこで、これらの人に対して、どのような支援を提供できるかが課題となっています。この研究では「VizChat」というソフトウェアを開発しました。このソフトウェアは、複雑なLADについて、テキストを生成して説明し、図やグラフの理解が苦手な教員や学習者がLADの内容を理解向上することを支援します。
そこで本研究におけるリサーチクエッションは次のとおりに設定されました。
1.このソフトウェアは、読者にとってどのような内容を提示するのが適切ですか？
2.視覚データ（LAD）とテキストデータを同時に処理するにはどのような技術が必要ですか？
問題1に対して、著者らは「データストーリーテリング」という方法を提案しています。データストーリーテリングとは、複雑なデータや分析に基づいて魅力的な物語を構築し、自分の伝えたい内容を特定の受け手に効果的に伝える概念です。この方法を用いることで、テキストと可視化を組み合わせてLADを使用する人々に適切なサポートを提供し、LAD全体の理解を深めることができるとしています。
問題2に対して、複雑なマルチモーダルデータを処理して適切なデータストーリーテリングを生成するために、自然言語処理（ここではGPT-4Vのようなマルチモーダルデータを扱える大規模言語モデル）が解決策となります。これらのモデルは、カスタマイズ可能で事前に定義された学習内容に基づいて、正確で文脈に合った説明を提供し、それが情報豊富で学習内容に関連していることを保証するとしています。大規模言語モデルが誤った情報を生成する問題に対して、本研究ではRAG（Retrieval-Augmented Generation）技術を用いて解決しています。RAGは、生成型AIモデルに情報検索能力を付加する技術です。これにより、モデルはユーザーの質問に答える際に指定された一連の文書を参照し、自身の大量の学習データからの情報を補強します。専用のデータベースを設定することで、誤った生成を防止します。
システムデザイン
VizChatのプロトタイプは、Chrome拡張機能として、WebベースのLAD上に構築されており、スクリーンショットのキャプチャやユーザーとのチャット機能を備えています。
Data base：すべての関連コンテキスト情報を含む知識データベースを作成することは、生成AIが学習者や教育者に誤解を与える可能性のある幻想や不適切な説明を提供するリスクを最小限に抑えるために極めて重要です。
LADの管理者や教育者は、コースやタスクの説明など、LAに関連するドキュメントをアップロードできます。
Case study
本研究のCase study「学部看護教育における臨床シミュレーションユニットの設計」では、VizChatがLADでどのように活用されるかを実際に示しています。3つの対話例を通じて、VizChatが学生の可視化データの理解と振り返りをどのように支援するかを説明しています。
VizChatはユーザーの質問を記憶し、具体的な解答を提供します。また、複数の可視化ツールを統合して、データの収集と分析プロセスを説明することができます。これらの例は、学生がLADを使用する際に直面した困難から選ばれ、VizChatの潜在能力を示しています。
正式な評価ではないものの、VizChatがオープンソースで提供されているため、さらなる研究が容易になっています。実際の使用では、VizChatはChromeの拡張機能としてLADのインターフェース上に表示され、学生の振り返りをサポートします。LADシステムは学部看護教育の臨床シミュレーションで使用されており、タイムライン、優先順位チャート、病棟マップ、ソーシャルネットワーク図などの可視化ツールを通じて、学生が実際の応用における複雑な可視化情報を理解するのを支援しています。
感想と問題
全体として、このVizChatは大規模言語モデルとRAGを活用してLADを支援するソフトウェアであり、多くの興味深い機能を提供しています。この論文は、現在のLADにおける視覚的に認識しにくい問題に言及し、それがLADの実際の有用性に影響を与えると指摘していますが、これは非常に重要な点だと感じました。
これは私の研究にも関連しており、この論文で言及されている制約のいくつかの問題は、私自身の研究でも直面する可能性が高いです。例えば、ChatGPT-4のような有料モデルのコスト問題や、RAGデータベースを提供する際にテキストの質が非常に重要であるという点などです。したがって、私はこの論文を選びました。
この論文では、このソフトウェアに対する評価や実験が行われておらず、アイデアは素晴らしいものの、多くの疑問が残ると思います。
まず、原文の中に図やグラフの理解が苦手な対象は可視化リテラシーが低い人と呼ばれています。しかし「可視化リテラシー」とは何か、その定義がどのようになされているのかという点です。これは非常に重要な問題だと感じています。利用者の可視化リテラシーを正確に判断できなければ、その後の機能を正確に推薦することが難しくなります。私自身の研究でも、どのようなLADを推薦することが利用者にとって最適なのか、という疑問があります。もし誤って可視化リテラシーの高い教師や学生に対して不適切な推薦を行ってしまうと、このソフトウェアがかえって彼らの判断を妨げる可能性があります。したがって、その前にこれらの提示を必要としない人々をフィルタリングする仕組みを設計する必要があると感じます。しかし、これを実際の教育現場で実現するのはかなり難しいと思います。彼らはフィルタリングを経て初めて使用できることになり、多くの利用者がこのソフトウェアの使用を諦めてしまうかもしれません。
生成AIの話から、大まかにRAGについて述べましたが、より具体的なRAGのデータベースをどのように作成するのか知りたいです。また、このデータベースに使用するデータの質をどのように確保するのか、その選定基準は何かも気になります。これは明確な基準が必要であり、そうでなければ大規模言語モデルの生成内容に関する問題を根本的に解決できず、また不正確な内容が生成される可能性があります。
最後に、この論文の中ではGPTの使用についてのみ話していますが、たとえばLLaMAのような他のローカルなオープンソースモデルとの比較ことがありません。このような比較も必要があると思います、著者らが限界として挙げている大規模言語モデルのコスト問題は依然として残ったままです。
