Un detector de IA generativa ampliamente utilizado no produce falsos positivos
DOI:
https://doi.org/10.51698/aloma.2024.42.2.31-43Palabras clave:
Inteligencia Artificial Generativa, Modelos de Lenguaje a Gran Escala (LLM), ChatGPT, Engaño, TurnitinResumen
La amplia disponibilidad de IA generativa basada en Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) ha proporcionado a los estudiantes y otros los medios para hacer trampa fácilmente en trabajos escritos – es decir, los estudiantes pueden usar IA para generar texto y luego presentar ese trabajo como propio. Se han desarrollado una variedad de soluciones técnicas para detectar este tipo de engaño. Sin embargo, existe preocupación sobre los peligros de identificar falsamente las respuestas de estudiantes reales como generadas por IA. Aquí evaluamos un detector de IA Generativa que viene como una opción con Turnitin, una plataforma de detección de plagio ampliamente utilizada por muchas universidades. Comparamos 160 respuestas escritas por estudiantes en una tarea de clase con 160 respuestas generadas por ChatGPT instruido para completar la misma tarea. Las respuestas de ChatGPT fueron generadas por 16 indicaciones diferentes diseñadas para imitar aquellas que podrían ser dadas por individuos que buscan hacer trampa en una tarea. Las puntuaciones para las respuestas generadas por IA fueron significativamente más altas que las puntuaciones para las respuestas generadas por humanos, que fueron todas cero. Claramente, está a punto de desarrollarse una carrera armamentística entre la tecnología que facilita el engaño y la tecnología que lo detecta. Sin embargo, los hallazgos actuales demuestran que al menos es posible implementar soluciones técnicas en este contexto. Mirando hacia el futuro, a medida que varios métodos de IA se conviertan en herramientas legítimas y se integren en casi todos los aspectos de la vida diaria, es poco probable que las soluciones puramente técnicas sean suficientes. En su lugar, las directrices que rodean la integridad académica tendrán que adaptarse a nuevas conceptualizaciones del dominio académico y la producción creativa.
Descargas
Citas
Akram, A. (2023). An Empirical Study of AI Generated Text Detection Tools. arXiv preprint arXiv:2310.01423. https://doi.org/10.48550/arXiv.2310.01423
Corizzo, R., & Leal-Arenas S. (2023). One-Class Learning for AI-Generated Essay Detection. Applied Sciences, 13:7901. https://doi.org/10.3390/app13137901
Elkhatat, A. M., Elsaid, K., & Almeer, S. (2023). Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text. International Journal for Education Integrity, 19, 17. https://doi.org/10.1007/s40979-023-00140-5
Extance A. (2023). ChatGPT has entered the classroom: how LLMs could transform education. Nature, 623(7987), 474–477. https://doi.org/10.1038/d41586-023-03507-3
Ghosal, S. S., Chakraborty, S., Geiping, J., Huang, F., Manocha, D., & Bedi, A. S. (2023). Towards possibilities & impossibilities of ai-generated text detection: A survey. arXiv preprint arXiv:2310.15264. https://doi.org/10.48550/arXiv.2310.15264
Holmes, W., & Miao, F. (2023). Guidance for generative AI in education and research. Paris, France: UNESCO Publishing.
Hosseini, M., Gao, C. A., Liebovitz, D. M., Carvalho, A. M., Ahmad, F. S., Luo, Y., et al. (2023) An exploratory survey about using ChatGPT in education, healthcare, and research. PLoS ONE, 18: e0292216. https://doi.org/10.1371/journal.pone.0292216
McCroskey, J. (2024, March 28). Who Wrote That? Evaluating Tools to Detect AI-Generated Text. https://foundation.mozilla.org/en/blog/who-wrote-that-evaluating-tools-to-detect-ai-generated-text/
Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., & Finn, C. (2023, July). Detectgpt: Zero-shot machine-generated text detection using probability curvature. Proceedings of the 40th International Conference on Machine Learning, 202, 24950-24962. https://doi.org/10.48550/arXiv.2301.11305
OpenAI (2022, November 30) Introducing ChatGPT. https://openai.com/blog/chatgpt
OpenAI (n.d.) What are tokens and how to count them? https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
Peng, X., Zhou, Y., He, B., Sun, L., & Sun, Y. (2023) Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 10406–10419. Association for Computational Linguistics. https://doi.org/10.48550/arXiv.2402.00412
Tan, C. W. (2023). Large Language Model-Driven Classroom Flipping: Empowering Student-Centric Peer Questioning with Flipped Interaction. arXiv preprint. Retrieved from arXiv. https://doi.org/10.48550/arXiv.2311.14708
Turnitin. (n.d.). AI Writing Detection. https://www.turnitin.com/products/features/ai-writing-detection/
Villasenor J. (2023, February 10). How ChatGPT Can Improve Education, Not Threaten it. [EB/OL] [2023-05-14]. Scientific American. Available online at: https://www.scientficamerican.com/article/how-chatgpt-can~improve-education-not-threaten-it/
Walters, W. (2023). The Effectiveness of Software Designed to Detect AI-Generated Writing: A Comparison of 16 AI Text Detectors. Open Information Science, 7(1), 20220158. https://doi.org/10.1515/opis-2022-0158
Wang, P., Li, L., Ren, K., Jiang, B., Zhang, D., & Qiu, X. (2023). SeqXGPT: Sentence-Level AI-Generated Text Detection. arXiv preprint arXiv:2310.08903. https://doi.org/10.48550/arXiv.2310.08903
Wang, S., Xu, T., Li, H., Zhang, C., Liang, J., Tang, J., Yu, P. S., & Wen, Q. (2024). Large Language Models for Education: A Survey and Outlook. arXiv preprint. Retrieved from arXiv. https://doi.org/10.48550/arXiv.2403.18105
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2024 Samuel David Gosling, Kate Ybarra, Sara K. Angulo
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
A partir del número 39(1) 2021, los autores y autoras conservan sus derechos y conceden a la revista el derecho de primera publicación de la obra, registrada bajo una licencia de reconocimiento de Creative Commons Attribution-Noncommercial-ShareAlike (by-nc-sa). Se les anima a los autores que hagan la máxima difusión de su artículo, por ejemplo publicarlo en línea y se les propone que lo hagan (por ejemplo, en repositorios institucionales o en su página web) antes y durante el proceso de envío, porque puede producir buenos resultados y hacer que la obra publicada reciba más citas.
