Browsing by Subject "ChatGPT"
Now showing 1 - 14 of 14
Results Per Page
Sort Options
- PublicationOpen AccessA ChatGPT Prompt for Writing Case-Based Multiple-ChoiceQuestions(Universidad de Murcia. Servicio de publicaciones, 2023) Selim Kiyak, Yavuzhe significant challenge faced by medical schools is the effortful process of writing a highquantity of high-quality case-based multiple-choice questions (MCQs) to assess the higher-orderskills of medical students. The demand for a high volume of MCQs in education has led to thedevelopment of Automatic Item Generation (AIG), specifically template-based AIG, whichinvolves creating cognitive and item models by subject matter experts to generate hundreds ofMCQs at once using software. It demonstrated significant success in various languages and evenbeing incorporated into national medical licensure exams. However, this method still heavilydepends on the efforts of subject matter experts. This paper introduces a detailed ChatGPT promptfor quickly generating case-based MCQs and provides important research questions for futureexploration into ChatGPT's potential in generating items, signaling the beginning of the artificialintelligence era in medical education, encouraging health professions education researchers todelve deeper into its potential.
- PublicationOpen AccessA Prompt for Generating Script Concordance Test UsingChatGPT, Claude, and Llama Large Language ModelChatbots(Universidad de Murcia. Servicio de publicaciones, 2024) Kıyak, Yavuz Selim; Emekli, EmreMedical education always evolves to incorporate more tools for specific needs in assessing clinicalreasoning skills. Among these tools, Script Concordance Test (SCT) has a particular importancedue to its focus on assessing decision-making in uncertain clinical situations. However,development of SCT items is effortful. Artificial intelligence tools, such as large language models,offer significant benefits. These models are already used for generating multiple-choice questions,and their use in generating SCTs offers great promise. However, this requires well-designedprompts to generate SCTs. This article proposes a generic prompt for the ChatGPT-4, Claude 3,Llama 3, and ChatGPT-4o large language model chatbots to generate SCTs, which can be tailoredto various fields of medicine and different stages of medical education. It can help to streamlinethe development process of SCTs. Initial findings are promising, and there is a need for generatingSCTs using large language models and conducting research to assess the quality of SCTs
- PublicationOpen AccessAI (anthropological inquiry) on AI (artificial intelligence)(Universidad de Murcia, Servicio de Publicaciones, 2024-05-30) Bekerman, ZviA short reflection of personal engagement with and an exploration of the unforeseen intersections between traditional educational paradigms and the disruptive force of AI. The reflection is not just about discovering a technological tool; it is about encountering a new form of activity, one that could potentially redefine the contours of education and learning. A reflection which brought me to realize that my interaction with ChatGPT, marked by an initial enchantment followed by a phase of critical scrutiny, mirrored the very human process of knowledge acquisition and validation. ChatGPT, with all its capabilities and limitations, was in a sense, as 'human' as any of my colleagues or myself. The process of engaging with, questioning, and validating the information it provided was not a testament to its shortcomings, but rather an affirmation of the critical, discerning approach that underpins scholarly work. In recognizing this, I found a renewed appreciation for the nuanced and complex interplay between human intelligence (from latin legere "choose, pick out, read, collect, gather") and artificial intelligence in the pursuit of knowledge.
- PublicationRestrictedChatGPT as cognitive mediator: tracing pausing, revision, and efficiency in L2 digital writing(2026-01-27) Garcés Manzanera, Aitor; McBride, Sophie; Didáctica de la Lengua y la Literatura; Facultad de Educación
- PublicationOpen AccessChatGPT: el dilema sobre la autoría de las actividades evaluables en educación universitaria(Servicio de Publicaciones. Universidad de Murcia, 2024) Consuegra Fernández, Marta; Sanz Aznar, Javier; Burguera Serra, Joan G.; Caballero Molina, Juan J.La irrupción de ChatGPT plantea nuevos desafíos en el ámbito educativo. Entre ellos, destaca el debate abierto en torno a las consecuencias -potencialmente negativas- que los usos de la herra-mienta pueden generar en los procesos de aprendizaje y evaluación del alumnado d. El siguiente trabajo explora tanto el grado de conocimiento y percepción sobre ChatGPT del profesorado universitario, como la capacidad para distinguir trabajos de autoría humana de otros originados por la inteligencia artificial. Para ello, 51 docentes de la Universidad de Barcelona, de áreas de conocimiento asociadas a la comunicación y la filología, tuvieron acceso a los textos resultantes de una actividad académica real, a partir de versiones redactadas por los propios alumnos, y de otras generadas ad hoc a través de ChatGPT. Los resultados revelaron un porcentaje de acierto en la asignación de autoría del 31 %, un valor que evidencia un nuevo obstáculo en los procesos de enseñanza, aprendizaje y evaluación en la educación superior. Paralelamente, se observó que tendían a otorgar una valoración más positiva a las muestras elaboradas por ChatGPT frente a aquellas redactadas por el alumnado. Finalmente, el artículo recoge una serie de propuestas para anticipar el impacto que podría tener un uso deshonesto de la inteligencia artificial en la adquisición de competencias y habilidades del alumnado universitario.
- PublicationOpen AccessComparison of Automatic Item Generation Methods in the Assessment of Clinical Reasoning Skills(Universidad de Murcia. Servicio de publicaciones, 2025) Emekli, Emre; Karahan, Betül Nalan; DepartamentosThe use of automatic item generation (AIG) methods offers potential for assessingclinical reasoning (CR) skills in medical education, a critical skill combining intuitive andanalytical thinking. In preclinical education, these skills are commonly evaluated through writtenexams and case-based multiple-choice questions (MCQs), which are widely used due to the highnumber of students, ease of standardization, and quick evaluation. This research generated CR-focused questions for medical exams using two primary AIG methods: template-based and non-template-based (using AI tools like ChatGPT for a flexible approach). A total of 18 questions wereproduced on ordering radiologic investigations for abdominal emergencies, alongside faculty-developed questions used in medical exams for comparison. Experienced radiologists evaluatedthe questions based on clarity, clinical relevance, and effectiveness in measuring CR skills. Resultsshowed that ChatGPT-generated questions measured CR skills with an 84.52% success rate,faculty-developed questions with 82.14%, and template-based questions with 78.57%, indicatingthat both AIG methods are effective in CR assessment, with ChatGPT performing slightly better.Both AIG methods received high ratings for clarity and clinical suitability, showing promise inproducing effective CR-assessing questions comparable to, and in some cases surpassing, faculty-developed questions. While template-based AIG is effective, it requires more time and effort,suggesting that both methods may offer time-saving potential in exam preparation for educators.
- PublicationOpen AccessEl creativo invisible: inteligencia artificial y creación publicitaria(Universidad Miguel Hernández de Elche, 2023-07-31) Fernández Rincón, Antonio Raúl; ComunicaciónLa aplicación de la inteligencia artificial a la industria publicitaria está experimentando un notable crecimiento. Aunque el uso de grandes volúmenes de datos ya venía experimentándose en publicidad para su aplicación en la fase de investigación y compra de espacios de difusión, el reto que ahora se plantea está relacionado con la posibilidad e incorporar la IA a las fases de creación y producción publicitaria. El objetivo de este trabajo es avanzar en el conocimiento o estado del arte del fenómeno y poner en evidencia mediante un diseño descriptivo algunos de los ejemplos de aplicación que podrían trazar los vectores de actuación en el futuro, del binomio Inteligencia Artificial y Creatividad Publicitaria. Las conclusiones de este trabajo tratan de expresar por una parte la escasez de trabajos que abordan el fenómeno desde una perspectiva científica y por otra parte que la aplicación de la IA a la fase de ideación publicitaria parece limitada a la prestación de una asistencia creativa más que al desarrollo de un trabajo independiente y al margen de la intervención humana. En definitiva, podríamos afirmar que la aplicación de la IA a la creatividad publicitaria se limita aún a lo anecdótico.
- PublicationOpen Access¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022?Implicaciones de la inteligencia artificial en la educaciónmédica en España(Universidad de Murcia. Servicio de Publicaciones, 2023) Carrasco, Juan Pablo; García, Eva; Sánchez, Domingo A.; Porter, Estrella; Puente, L De La; Navarro, Joaquín; Cerame del Campo, ÁlvaroLa inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisistransversal y descriptivo en el que se ha introducido en dicho modelo las 210 preguntasdel examen MIR convocado en 2022 y realizado en enero de 2023. ChatGPT ha sido capazde responder de manera acertada un 51,4% de las preguntas, lo que suponeaproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendríaun 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada,pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades.El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo delos resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Estetipo de modelos suponen una oportunidad para el aprendizaje (análisis de razonamiento,generación de debates, etc.) de los estudiantes de medicina y los residentes, pero tambiénsupone un riesgo en muchos sentidos, especialmente en cuanto a la veracidad, ética yseguridad de la información. Es fundamental formar a los futuros especialistas en la nuevarealidad de la inteligencia artificial para que sean capaces de utilizarlas y obtenerbeneficios de manera razonada y segura
- PublicationOpen AccessGonzález-Alcaide, Gregorio. (2024). 1 d.C. (después de ChatGPT): Inteligencia artificial generativa en la educación superior. Valencia: PUV, 226 pags. ISBN: 978-84-1118-425-0(Servicio de Publicaciones, Universidad de Murcia, 2025) Bolaños-Pizarro Máxima; Sin departamento asociadoLa reseña analiza el libro 1 d.C. (después de ChatGPT): Inteligencia artificial generativa en la educación superior (2024), de Gregorio González Alcaide, publicado por la Universitat de València, que examina el impacto de la inteligencia artificial generativa (IAG), especialmente ChatGPT, en la educación universitaria. Máxima Bolaños-Pizarro destaca que la obra responde a las inquietudes del ámbito académico tras la aparición de estas herramientas, proponiendo un uso consciente, ético y responsable por parte de docentes y estudiantes. Estructurado en cinco capítulos, el manual aborda sucesivamente el marco teórico e institucional, la integración de la IAG en la práctica docente, las implicaciones éticas, su influencia en la investigación y una unidad didáctica dirigida al profesorado. La autora concluye que el libro subraya la necesidad de una alfabetización en inteligencia artificial generativa entre los profesionales de la Información y Documentación, fomentando la transparencia, la ética y la integridad académica en esta nueva etapa de la educación superior
- PublicationOpen AccessLa Inteligencia Artificial y su impacto en la alfabetización académica: una revisión sistemática(Universidad de Murcia. Servicio de Publicaciones, 2024) Baldrich, Kevin; Domínguez-Oller, Juana Celia; García-Roca, AnastasioLa Inteligencia Artificial Generativa está obligando a realizar profundos cambios académicos y educativos. En este trabajo, se pretende analizar estudios empíricos publicados acerca de esta herramienta para comprobar sus tendencias, enfoques y metodologías en el ámbito educativo y académico. Para la consecución de este objetivo, se ha empleado una metodología de carácter sistematizado siguiendo las directrices establecidas en la declaración PRISMA 2020 y el marco de trabajo Fra-mework ReSiste-CHS. La búsqueda de es-tudios se realizó en las bases de datos Web of Science y Scopus mediante un proceso de ecuación basado en Framework FDC. Tras el proceso de búsqueda, identifica-ción, selección, elegibilidad e inclusión se obtuvo un corpus muestral conformado por 15 estudios. Estos han sido categoriza-dos a través de un proceso inductivo por el programa Rayyan.ai. En este sentido, el análisis ha girado en torno a los objetivos, el enfoque metodológico y los resultados alcanzados. Los hallazgos muestran líneas de investigación que giran alrededor de la creación de estándares éticos, la precisión de la información ofrecida, la colaboración eficaz entre educadores y desarrolla-dores. Además, se subraya la importancia de realizar modificaciones periódicas en las tácticas empleadas para asegurar la eficacia de la Inteligencia Artificial, en el que se pone especial énfasis en abordar y mejorar las estrategias para mitigar cualquier forma de distorsión o parcialidad en la información gestionada por estas tecnologías
- PublicationOpen AccessIs ChatGPT helpful for graduate students in acquiring knowledge about digital storytelling and reducing their cognitive load? An experiment(Universidad de Murcia, Servicio de Publicaciones, 2024-05-30) Avello Martínez, Raidell; Gajderowicz, Tomasz; Gómez Rodríguez, Víctor G.This study examines the impact of ChatGPT on narrative scriptwriting abilities and cognitive load in a sample of 41 master's students enrolled in a Digital Narratives course. Using a randomized experimental design, participants were divided into two groups: an experimental group (n = 20) that interacted with ChatGPT and a control group (n = 21) that did not. Our methods involved pre- and post-tests to assess changes in digital storytelling skills and cognitive load, as defined by intrinsic, extraneous, and germane load measures. The results indicated no significant improvement in digital storytelling skills for the experimental group compared to the control group, suggesting that the use of ChatGPT does not markedly enhance narrative writing abilities in the short term. However, a significant reduction in germane cognitive load was observed among the experimental group, pointing to ChatGPT's potential to facilitate the learning process by reducing the mental effort required for task integration and application. The study underscores the complexity of integrating AI into learning environments and highlights the need for strategic AI implementation tailored to specific educational objectives. It also points to the importance of longitudinal research to fully understand the long-term effects of AI on learning and cognitive development.
- PublicationOpen AccessMachine vs Machine: Large Language Models (LLMs) in Applied Machine Learning High-Stakes Open-Book Exams(Universidad de Murcia, Servicio de Publicaciones, 2024-05-30) Quille, Keith; Alattyanyi, Csanad; Becker, Brett A.; Faherty, Róisín; Gordon, Damian; Harte, Miriam; Hensman, Svetlana; Hofmann, Markus; Jiménez García, Jorge; Kuznetsov, Anthony; Marais, Conrad; Nolan, Keith; Nicolai, Cianan; O’Leary, Ciarán; Zero, AndrzejThere is a significant gap in Computing Education Research (CER) concerning the impact of Large Language Models (LLMs) in advanced stages of degree programmes. This study aims to address this gap by investigating the effectiveness of LLMs in answering exam questions within an applied machine learning final-year undergraduate course. The research examines the performance of LLMs in responding to a range of exam questions, including proctored closed-book and open-book questions spanning various levels of Bloom’s Taxonomy. Question formats encompassed open-ended, tabular data-based, and figure-based inquiries. To achieve this aim, the study has the following objectives: Comparative Analysis: To compare LLM-generated exam answers with actual student submissions to assess LLM performance. Detector Evaluation: To evaluate the efficacy of LLM detectors by directly inputting LLM-generated responses into these detectors. Additionally, assess detector performance on tampered LLM outputs designed to conceal their AI-generated origin. The research methodology used for this paper incorporates a staff-student partnership model involving eight academic staff and six students. Students play integral roles in shaping the project’s direction, particularly in areas unfamiliar to academic staff, such as specific tools to avoid LLM detection. This study contributes to the understanding of LLMs' role in advanced education settings, with implications for future curriculum design and assessment methodologies.
- PublicationOpen AccessPresentación del número especial “IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa”(Universidad de Murcia, Servicio de Publicaciones, 2024-05-30) Guárdia Ortiz, Lourdes; Bekerman, Zvi; Zapata Ros, MiguelEn julio de 2023, ante el auge de los LLM (Large Langauge Models), RED convocó este número especial sobre IA generativa y Educación, donde se prestase especial atención a sus consecuencias para el aprendizaje inteligente y la evaluación educativa. Se quería dar espacio a contribuciones que incluyesen investigación relacionada con estos temas. Y también a experiencias sobre el aprendizaje inteligente y evaluación formativa en contextos ChatGPT. Hoy, un año después, publicamos este número, con estas preguntas de carácter general ¿la IA tiene el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes? el pensamiento creativo y la resolución de problemas son fundamentales en entornos modernos y muy complejos ¿Esta IA podría ayudar a los alumnos a enfrentarse a esos problemas? También había otras cuestiones que podían ser planteadas como dudas de sus beneficios que se podrían resumir en ¿Cuáles son los impactos que se producirán cuando la IA generativa comience a servir como un socio activo en acciones sociales, creativas e intelectuales sostenidas, no sólo puntuales o como repuesta a preguntas aisladas? Ahora esos impactos en las prácticas que puedan existir son desconocidos. La otra intención era que, para abordar estas preguntas y en general la necesidad de un despliegue efectivo de los sistemas de IA en la educación, es preciso hacerlo desde un punto de vista teórico, más allá de los resultados que, sobre las interrogantes señaladas, nos proporcione la investigación empírica. Y que no guíe y dirija en nuevas encrucijadas, tanto en la investigación como la práctica. Ese marco teórico, suponíamos entonces, nos proporcionará los asideros y las andaderas para garantizar que los principios, los valores y las construcciones confiables configuren el uso de la IA en la educación. En las conclusiones vemos en qué escasa medida estas expectativas se han cumplido. Como consecuencia, lo que veíamos como una necesidad en esta convocatoria: la importancia crítica de la teoría en el diseño, desarrollo y despliegue de la IA en la educación se ve necesaria ahora más que nunca, pero igualmente desasistidos. En esa perspectiva, nos seguimos planteando de forma crítica la relevancia y la continuidad de las teorías de aprendizaje ya existentes cuando la IA se constituya como una realidad en las aulas. También reiteramos, por incumplida, la llamada a considerar nuevos marcos, modelos y formas de pensar. Nos referimos a aquellos que incluyen la presencia de agentes no humanos, que dudamos en llamar una nueva tecnología, porque se parece más a un socio activo que a una tecnología simple, como sucedía hasta ahora. Ese planteamiento, siguiendo con las primeras conclusiones de insuficiencia en la respuesta, es precisamente lo que nos hace insistir en una serie de preguntas importantes para un futuro, precisamente sobre la revisión de las teorías de aprendizaje basadas en las configuraciones existentes. Y en investigar cuáles serían en este caso sus alternativas. Pero más allá de esas conclusiones generales el número especial ofrece, tras una extensa y exhaustiva difusión en su convocatoria la constancia de una escasa investigación empírica de casos prácticos en la aplicación de la IA generativa en educación. No obstante, del centenar largo de contribuciones recibidas se han seleccionado siete en la revisión editorial previa. El resto se ha descartado por no ajustarse a las normas o no ser el tipo de contribuciones solicitadas (destacan entre ellas, por su alto número, las revisiones de la literatura per se y los self report studies). Y de esas siete han pasado la revisión editorial seis, que se describen al final. La principal aportación de ese reducido número de contribuciones ha sido no solo la constatación de este nivel de investigación y práctica, sino sobre todo las interesantísimas aportaciones de estos seis artículos y del ensayo de uno de los autores invitados. Reclamamos su atención sobre esos artículos y los resultados claros y las evidencias obtenidas sobre el uso concreto de la IA generativa en entornos específicos. Resultados de inevitable uso por las escuelas, las universidades y los profesores en esos entornos o en otros a los que se puedan transferir.
- PublicationOpen AccessUsing Large Language Models to Generate Script Concordance Test in Medical Education: ChatGPT and Claude(Universidad de Murcia. Servicio de publicaciones, 2025) Kıyak, Yavuz Selim; Emekli, Emre; DepartamentosUsing Large Language Models to Generate Script Concordance Test in Medical Education: ChatGPT and ClaudeYavuz Selim Kıyak1 *, Emre Emekli21Department of Medical Education and Informatics, Gazi University Faculty of Medicine, Ankara, Turkiye; yskiyak@gazi.edu.tr, 0000-0002-5026-32342Department of Radiology, Faculty of Medicine, Eskişehir Osmangazi University, Eskişehir, Turkiye; 0000-0001-5989-1897* Correspondence: yskiyak@gazi.edu.trReceived: 4/11/24; Accepted: 2/12/24; Published: 3/12/24AbstractWe aimed to determine the quality of AI-generated (ChatGPT-4 and Claude 3) Script ConcordanceTest (SCT) items through an expert panel.We generated SCT items on abdominal radiology usinga complex prompt in large language model (LLM) chatbots (ChatGPT-4 and Claude 3 (Sonnet) inApril 2024) and evaluated the items’ quality through an expert panel of 16 radiologists. Expertpanel, which was blind to the origin of the items provided without modifications, independentlyanswered each item and assessed them using 12 quality indicators. Data analysis includeddescriptive statistics, bar charts to compare responses against accepted forms, and a heatmap toshow performance in terms of the quality indicators. SCT items generated by chatbots assessclinical reasoning rather than only factual recall (ChatGPT: 92.50%, Claude: 85.00%). The heatmapindicated that the items were generally acceptable, with most responses favorable across qualityindicators (ChatGPT: 71.77%, Claude: 64.23%). The comparison of the bar charts with acceptableand unacceptable forms revealed that 73.33% and 53.33% of the questions in the items can beconsidered acceptable, respectively, for ChatGPT and Claude. The use of LLMs to generate SCTitems can be helpful for medical educators by reducing the required time and effort. Although theprompt provides a good starting point, it remains crucial to review and revise AI-generated SCTitems before educational use. The prompt and the custom GPT, “Script Concordance TestGenerator”, available at https://chatgpt.com/g/g-RlzW5xdc1-script-concordance-test-generator,can streamline SCT item development.