テキスト注釈用の ChatGPT

Chat GPT は紛れもなく大きな反響を呼びました。 コンテンツを作成するだけでなく、コンテンツを分析することもできます。

この研究グループは、訓練を受けた人間のアノテーター、Amazon Mechanical Turk のクラウドソーシング アノテーター、または ChatGPT のいずれかによって一連のツイートを分析しました。

分析では、関連性、事前定義されたトピックの検出、スタンス検出、一般フレーム検出、および複数ポリシー フレーム検出 (14 クラス) に従ってツイートが分類されました。

Chat GPT は、テキスト分類の精度において Mechanical Turk のクラウドソーシング ワーカーを上回り、ChatGPT のインターコーダ合意もクラウド ワーカーや訓練を受けたアノテーターの合意を上回りました。

上記論文では、ソーステキスト（ツイート）に対して行われる分類を「注釈」と呼んでいます。 ただし、学生のアノテーター (Perusall や Hypothes.is など) と協力する教育者は、学生にソース テキストを分析させることになり、作成された注釈の本体が、分析の対象となるさらに別のソース テキストになります。

それはどうやって分析できるのでしょうか？ クラスの規模が小さい場合は、おそらく 1 人の講師が生徒の注釈出力を手動で分析することがまだ可能です。 クラスのサイズが大きい場合は、注釈出力の自動評価の役割が存在する可能性があります。

ChatGPT は与えられたあらゆるテキストを分析できるため、学生が作成した一連の注釈も分析できます。 以前は研究者によって手動で分析されていた学生アノテーター側の知識構築 (KC) アクティビティは、近い将来、ChatGPT または別の LLM によって自動化される可能性があります。

自動分析はすでに Perusall プラットフォームに組み込まれています。

ChatGPT やその他の機械学習アルゴリズムなどの自動テキスト分析プラットフォームは、将来、精度と洗練さに関して互いに競争することになります。 また、テキストをカテゴリに分類したり、テキストの特定の部分に品質スコアを割り当てたりする場合、2 人の人間のプログラマーが常に互いに一致するとは限らないことにも留意する必要があります。 学生は人間の判断に間違いがないなどと考えるべきではありません。

ChatGPT は、学生が説明を作成したり証拠を議論したりするコースのチャット フォーラムで学生の会話の要約を作成するために使用されています。 これは、共同的なオンライン注釈やコース ディスカッション フォーラムと同様のテキスト出力になる可能性があります。

ChatGPT は、共同オンライン学習環境からの学生のチャットを正確に要約しましたが、学生による誇張やその他の特異な出力によって混乱する可能性があります。 著者らは、自動化されたディスカッション出力の概要を見ることで、教師がイライラしたり混乱した生徒にもっと集中できるようになる可能性があると示唆しています。これは役に立ちます。