Según un estudio reciente publicado en la revista de acceso abierto PLOS Digital Health, ChatGPT demostró la capacidad de alcanzar o alcanzar el 60 % de aprobación en el Examen de Licencias Médicas de los Estados Unidos (USMLE). El estudio, realizado por Tiffany Kung, Victor Tseng y sus colegas de AnsibleHealth, encontró que las respuestas de ChatGPT son consistentes, tienen sentido interno y, a menudo, contienen información relevante. Los resultados de este estudio sugieren que ChatGPT tiene el potencial de tener un impacto significativo en el campo de la medicina y la atención médica.
El software de inteligencia artificial pudo obtener calificaciones aprobatorias para el examen, que generalmente requiere años de capacitación médica.
ChatGPT de OpenAI puede alcanzar aproximadamente el 60 % de aprobación del Examen de Licencias Médicas de los Estados Unidos (USMLE), con respuestas que tienen un sentido interno consistente y contienen información frecuente. Esto es según un estudio de Tiffany Kung, Victor Tseng y sus colegas de AnsibleHealth, que se publicó el 9 de febrero de 2023 en la revista de acceso abierto. PLOS de salud digital.
ChatGPT es un nuevo sistema de inteligencia artificial (IA), conocido como modelo de lenguaje grande (LLM), diseñado para generar una escritura similar a la humana mediante la predicción de secuencias de palabras próximas. A diferencia de la mayoría de los chatbots, ChatGPT no puede buscar en Internet. En su lugar, genera texto usando relaciones de palabras predichas por sus procesos internos.
Kung y sus colegas probaron el desempeño de ChatGPT en el USMLE, una serie de tres exámenes altamente estandarizados y regulados (Pasos 1, 2CK y 3) requeridos para obtener la licencia médica en los Estados Unidos. Realizado por estudiantes de medicina y médicos en formación, el USMLE evalúa el conocimiento que abarca la mayoría de las disciplinas médicas, desde la bioquímica hasta el razonamiento diagnóstico y la bioética.
Después de revisar para eliminar las preguntas basadas en imágenes, los autores probaron el software en 350 de las 376 preguntas públicas disponibles a partir del lanzamiento del USMLE de junio de 2022.
Después de eliminar las respuestas indeterminadas, ChatGPT obtuvo una puntuación de entre 52,4 % y 75,0 % en los tres exámenes USMLE. La nota de aprobación cada año es de alrededor del 60%. ChatGPT también demostró una concordancia del 94,6 % en todas sus respuestas y produjo al menos una idea significativa (algo que era novedoso, no obvio y clínicamente válido) para el 88,9 % de sus respuestas. En particular, ChatGPT superó a PubMedGPT, un modelo de pares capacitado exclusivamente en literatura biomédica, que obtuvo un 50,8 % en un conjunto de datos más antiguo de preguntas de estilo USMLE.
Aunque el tamaño relativamente pequeño de las entradas limitó la profundidad y el alcance de los análisis, los autores señalan que sus resultados brindan información sobre el potencial de ChatGPT para mejorar la educación médica y, eventualmente, la práctica clínica. Por ejemplo, agregan, los médicos de AnsibleHealth ya están usando ChatGPT para reescribir informes ricos en jerga para que sea más fácil de entender para los pacientes.
“Lograr la calificación aprobatoria para este examen experto notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración clínica de la IA”, afirman los autores.
La autora, la Dra. Tiffany Kung, agregó que el papel de ChatGPT en esta investigación fue más allá del tema del estudio: “ChatGPT contribuyó significativamente a la redacción de [our] manuscrito… Interactuamos con ChatGPT como un colega, pidiéndole que sintetizara, simplificara y ofreciera contrapuntos a los borradores en curso… Todos los coautores apreciaron la contribución de ChatGPT.
Referencia: “Rendimiento de ChatGPT en USMLE: potencial para la educación médica asistida por IA usando modelos de lenguaje extenso” por Tiffany H. Kung, Morgan Cheatham, Arielle Medenilla, Czarina Silos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Díaz-Candido, James Maningo y Victor Tseng, 9 de febrero de 2023, PLOS de salud digital.
DOI: 10.1371/journal.pdig.0000198
Como prueba, le pedimos a ChatGPT que resuma este artículo. Estos son los resultados sin editar:
Un estudio realizado por Tiffany Kung, Victor Tseng y sus colegas en AnsibleHealth mostró que ChatGPT de OpenAI puede alcanzar el nivel de aprobación del 60 % en el Examen de Licencias Médicas de los Estados Unidos (USMLE). ChatGPT es un modelo de lenguaje de inteligencia artificial que genera texto al predecir secuencias de palabras, pero no tiene la capacidad de buscar en Internet. Los investigadores probaron el rendimiento de ChatGPT en 350 de las 376 preguntas públicas en el lanzamiento del USMLE de junio de 2022 y descubrieron que obtuvo una puntuación de entre 52,4 % y 75,0 % en los tres exámenes. El estudio mostró que ChatGPT produjo al menos una información significativa para el 88,9% de sus respuestas y superó a PubMedGPT, un modelo entrenado únicamente en literatura biomédica. Los autores creen que ChatGPT tiene el potencial de mejorar la educación médica y posiblemente la práctica clínica.
