目录:
- 引言
- Educators 使用 AI 写作检测功能的发现
- AI 检测功能的更新
- AI 检测的误报问题
- 介绍和结论句的分析变更
- 教师对于AI生成的写作的不确定性
- 解决AI滥用的教育资源
- 结论
- 参考资源
引言
在本文中,将探讨Educators使用turnitin的新AI写作检测功能的发现以及平台根据用户反馈对该功能进行的升级。研究表明,一部分学生提交的论文中存在着大量AI生成的文本。为了减少误报问题,turnitin对AI检测功能进行了一些调整,并提供了解决AI滥用的教育资源。本文将对这些发现和解决方案进行详细介绍。
Educators 使用 AI 写作检测功能的发现
根据Educators在前六周对turnitin平台进行的研究,发现有3.5%的论文提交包含超过80%的AI生成文本,而不到十分之一的论文提交包含至少20%的AI生成文本。这些发现表明,许多学生在他们的论文中使用了大量的AI生成文本。在一篇博客文章中,turnitin的首席产品经理Annie chachitelli对这些发现进行了解释,并详细介绍了对AI检测功能的一些调整。
AI 检测功能的更新
为了减少误报问题,turnitin对AI检测功能进行了一些更新。现在,当分数低于20%时,会在分数下方添加一个星号,并在分数小于20%时,在指示分数或被认为是AI生成文本的百分比旁边显示一个星号。从迄今为止的论文分析结果来看,当检测器找到的文档中AI生成的文本少于20%时,误报问题更多。星号表示该分数的可靠性较低。此外,为了提高准确性,将AI检测器所需的最小字数从150提高到300。turnitin发现,随着文本长度的增加,准确性也得到了提高。由于我们更希望关注长篇写作,所以我们可能会根据模型的持续评估,随着时间的推移调整这一最低字数要求。
AI 检测的误报问题
turnitin的分析发现,在一份文件的前几个句子或最后几个句子中,误报问题更为常见。这些句子很多时候是文档的引言或结论。为了减少误报问题,turnitin对这些特定句子的检测方法进行了更改。教师和管理员在反馈中反映,他们最关注的是AI写作检测的误报问题。根据这一反馈,turnitin更新了对于文档级别和句子级别误报率的讨论方式。对于包含超过20% AI生成文本的文档,turnitin的文档误报率不到1%,这一结果已通过对800,000篇GPT之前写作样本的新分析得到验证。换句话说,每100篇由人工写作的文档中,只有一篇被错误标记为AI生成的文本。然而,即使1%的误报率很低,每个误报的文档背后都代表着一个付出真实努力的学生,我们无法完全消除误报问题。因此,重要的是教师利用AI分数与学生展开有意义和有影响力的对话。
介绍和结论句的分析变更
在教师的反馈中,一个重要发现是他们对于发现AI生成的写作后应采取的行动感到不确定。为帮助教师应对AI滥用问题并与学生一起解决,turnitin已在其网站上发布了一系列免费资源。同时,turnitin对于介绍和结论句的分析也进行了一些变更。根据分析结果,AI写作误报率在句子级别上略高于4%。turnitin发现,当文档中同时存在人工和AI生成的文本,特别是在人工和AI生成内容之间的过渡部分,误报问题更为常见。对于误报句子的位置进一步研究是非常有必要的,并且这方面的研究已经在进行中。
教师对于AI生成的写作的不确定性
教师在使用AI写作检测功能时,通常会感到对于发现AI生成的写作后应采取的行动感到不确定。turnitin理解到,作为一个教育社区,我们处于未知领域之中。为帮助教师处理AI滥用问题并与学生一起解决,turnitin发布了一些免费的教育资源。这些资源旨在帮助教师处理AI滥用问题,并引发与学生之间有关此问题的有意义和有影响力的对话。教师可以在turnitin的网站上阅读完整的博客文章,并获取更多相关信息。
解决AI滥用的教育资源
为了帮助教师处理AI滥用问题,turnitin已发布许多免费资源。教师可以在turnitin的网站上找到这些资源,并利用它们来应对发现AI生成写作情况时所面临的问题。这些资源包括指南、提示和建议,可以帮助教师与学生进行有意义和有影响力的对话,并解决AI滥用问题。
结论
本文探讨了Educators使用turnitin的新AI写作检测功能的发现。通过对大量论文提交的分析,我们发现许多学生在他们的论文中使用了大量的AI生成文本。为了降低误报问题,turnitin对AI检测功能进行了一些调整,并提供了解决AI滥用的教育资源。教师可以利用这些资源与学生进行有意义和有影响力的对话,解决AI滥用问题。
参考资源