Publication:
Machine vs Machine: Large Language Models (LLMs) in Applied Machine Learning High-Stakes Open-Book Exams

Simple item page
dc.contributor.authorQuille, Keith
dc.contributor.authorAlattyanyi, Csanad
dc.contributor.authorBecker, Brett A.
dc.contributor.authorFaherty, Róisín
dc.contributor.authorGordon, Damian
dc.contributor.authorHarte, Miriam
dc.contributor.authorHensman, Svetlana
dc.contributor.authorHofmann, Markus
dc.contributor.authorJiménez García, Jorge
dc.contributor.authorKuznetsov, Anthony
dc.contributor.authorMarais, Conrad
dc.contributor.authorNolan, Keith
dc.contributor.authorNicolai, Cianan
dc.contributor.authorO’Leary, Ciarán
dc.contributor.authorZero, Andrzej
dc.date.accessioned2024-09-12T13:23:43Z
dc.date.available2024-09-12T13:23:43Z
dc.date.issued2024-05-30
dc.description.abstractThere is a significant gap in Computing Education Research (CER) concerning the impact of Large Language Models (LLMs) in advanced stages of degree programmes. This study aims to address this gap by investigating the effectiveness of LLMs in answering exam questions within an applied machine learning final-year undergraduate course. The research examines the performance of LLMs in responding to a range of exam questions, including proctored closed-book and open-book questions spanning various levels of Bloom’s Taxonomy. Question formats encompassed open-ended, tabular data-based, and figure-based inquiries. To achieve this aim, the study has the following objectives: Comparative Analysis: To compare LLM-generated exam answers with actual student submissions to assess LLM performance. Detector Evaluation: To evaluate the efficacy of LLM detectors by directly inputting LLM-generated responses into these detectors. Additionally, assess detector performance on tampered LLM outputs designed to conceal their AI-generated origin. The research methodology used for this paper incorporates a staff-student partnership model involving eight academic staff and six students. Students play integral roles in shaping the project’s direction, particularly in areas unfamiliar to academic staff, such as specific tools to avoid LLM detection. This study contributes to the understanding of LLMs' role in advanced education settings, with implications for future curriculum design and assessment methodologies.es
dc.description.abstractExiste un importante vacío en la Investigación de Educación en Computación (CER) sobre el impacto de Modelos de Lenguaje de Gran Escala (LLM) en etapas avanzadas de estudios de grado. Este artículo trata de cubrir este vacío investigando la efectividad de las LLM respondiendo preguntas de examen de Aprendizaje Automático Aplicado en último curso de Grado. El estudio examina el desempeño de las LLM al responder a una variedad de preguntas de examen, que incluyen modelos de examen diseñados con y sin apuntes, a varios niveles de la Taxonomía de Bloom. Los formatos de pregunta incluyen de respuesta abierta, basadas en tablas, o en figuras. Para conseguir esta meta, este estudio tiene los siguientes objetivos: Análisis Comparativo: Comparar respuestas generadas por LLM y por estudiantes para juzgar el desempeño de las LLM. Evaluación de Detectores: Evaluar la eficacia de diferentes detectores de LLM. Además, juzgar la eficacia de los detectores sobre texto alterado por alumnos con el objetivo de engañar a los detectores. El método investigador de este artículo incorpora una relación entre seis alumnos y ocho profesores. Los estudiantes juegan un rol integral para determinar la dirección del proyecto, en especial en áreas poco conocidas para el profesorado, como el uso de herramientas de detección de LLM. Este estudio contribuye a entender el rol de las LLM en el ámbito de la educación universitaria, con implicaciones para el diseño de futuros curriculums y técnicas de evaluación.es
dc.formatapplication/pdfes
dc.format.extent28es
dc.identifier.citationRED: revista de educación a distancia, N. 78, V. 24, 2024es
dc.identifier.doihttp://dx.doi.org/10.6018/red.603001
dc.identifier.issn1578-7680
dc.identifier.urihttp://hdl.handle.net/10201/143924
dc.languageenges
dc.publisherUniversidad de Murcia, Servicio de Publicacioneses
dc.relationSin financiación externa a la Universidades
dc.rightsinfo:eu-repo/semantics/openAccesses
dc.rightsAttribution-NonCommercial-NoDerivatives 4.0 Internacional*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/*
dc.subjectApplied Machine Learninges
dc.subjectAIes
dc.subjectLLMses
dc.subjectChatGPTes
dc.subjectTransformerses
dc.subjectDetectiones
dc.subjectPerformancees
dc.subjectAprendizaje Automático Aplicadoes
dc.subjectIAes
dc.subjectLLMes
dc.subjectChatGPTes
dc.subjectTransformerses
dc.subjectDetecciónes
dc.subjectRendimientoes
dc.subject.otherCDU::3 - Ciencias sociales::37 - Educación. Enseñanza. Formación. Tiempo librees
dc.titleMachine vs Machine: Large Language Models (LLMs) in Applied Machine Learning High-Stakes Open-Book Examses
dc.title.alternativeMáquina contra Máquina: Modelos de Lenguaje de Gran Escala (LLM) en Exámenes de Alto Riesgo de Aprendizaje Automático Aplicado con apunteses
dc.typeinfo:eu-repo/semantics/articlees
dspace.entity.typePublicationes
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
603001-Quille_et_al.pdf
Size:
1002.25 KB
Format:
Adobe Portable Document Format
Description:
Download
License bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
license.txt
Size:
2.26 KB
Format:
Item-specific license agreed upon to submission
Description:
Download
Collections
Revista de educación a distancia 2024, N. 78