用于文本注释的 ChatGPT

Chat GPT 已经引起了不可否认的轰动。 除了生产内容，它还可以分析内容。

该研究小组有一组推文，由训练有素的人工注释者、亚马逊Mechanical Turk 群众外包（“众包”）的注释者或 ChatGPT 进行分析。

分析根据以下内容对推文进行分类：相关性、预定义主题检测、姿态检测、通用框架检测和多策略框架检测（14 类）。

Chat GPT 在文本分类的准确性方面优于 Mechanical Turk 的众包工作者，ChatGPT 的编码器协议也超过了众包工作者和训练有素的注释者。

在上述论文中，对源文本（推文）进行的分类称为“注释”。 然而，与学生注释者（例如 Perusall 或 hypothes.is）合作的教育工作者将让学生分析源文本，然后生成的注释正文将成为另一个源文本以供可能的分析。

那怎么分析呢？ 如果班级规模很小，也许一名教师手动分析学生注释输出仍然是可以管理的。 如果班级规模很大，也许可以对注释输出进行一些自动评估。

由于 ChatGPT 可以分析给定的任何文本，它还可以分析学生制作的大量注释。 学生注释者的知识构建 (KC) 活动，以前由研究人员手动分析，很可能在不久的将来通过 ChatGPT 或其他 LLM 实现自动化。 自动分析已经内置到 Perusall 平台中。

自动文本分析平台，如 ChatGPT 或其他机器学习算法，未来将在准确性和复杂性方面相互竞争。 还应该记住，在将文本分类为一个类别或为给定的文本段落分配质量分数时，两个人类编码员并不总是认同对方的做法！ 学生不应该假设人类的判断是绝对可靠的。

ChatGPT 已被用于在课程聊天论坛中生成学生对话的摘要，学生可以在论坛中生成解释和讨论证据。 这可能是类似于协作在线注释或课程讨论论坛的文本输出。

ChatGPT 准确地总结了协作在线学习环境中的学生聊天，但它可能会被学生的夸张或其他异类的输出弄糊涂。 作者建议，查看自动讨论输出摘要可能会让教师更多地关注沮丧或困惑的学生——这是一种有用的帮助。