El chatbot con IA tuvo un rendimiento “sorprendente” en términos de precisión e integridad en comparación con los oftalmólogos
22 de febrero de 2024
1 minuto de lectura
Toma principal:
- El programa de chat LLM obtuvo una puntuación de precisión de 506,2, mientras que los especialistas en glaucoma obtuvieron una puntuación de 403,4.
- El chatbot obtuvo una puntuación de 235,3 en precisión, mientras que los especialistas en retina obtuvieron una puntuación de 216,1.
Según una nueva investigación publicada en 2019, un modelo de chat de lenguaje grande igualó e incluso superó a los oftalmólogos capacitados en becas en el diagnóstico y tratamiento preciso de afecciones de la retina y el glaucoma. Oftalmología Gamma.
“Los resultados son cruciales porque resaltan el potencial de la inteligencia artificial como herramienta de apoyo en el diagnóstico médico”. Andy S. Huang, MD, Le dijo a Healio un médico residente de New York Eye and Ear Infirmary en Mount Sinai. “Si la IA puede ayudar de manera efectiva o incluso alinear a los profesionales, podría revolucionar o cambiar fundamentalmente la prestación de atención médica actual, brindando apoyo en el proceso de toma de decisiones”.
En un estudio transversal comparativo, Huang y sus colegas reclutaron a 15 participantes de entre 31 y 67 años, incluidos 12 médicos tratantes y tres aprendices de alto nivel, para comparar la precisión del diagnóstico y el tratamiento de las respuestas generadas por la IA con la de los oftalmólogos capacitados.
Los participantes y el GPT-4 (OpenAI), un modelo lingüístico grande (LLM), respondieron preguntas clínicas y proporcionaron evaluaciones de gestión de casos para 20 casos de glaucoma y afecciones retinianas no específicas atendidos en clínicas afiliadas a Mount Sinai. Los investigadores utilizaron una escala Likert para calificar la precisión y la integridad de estas respuestas.
Según los resultados, el chatbot LLM obtuvo una precisión promedio combinada de clasificación de casos de preguntas de 506,2 y una clasificación de integridad promedio de 528,3, mientras que los especialistas en glaucoma obtuvieron una puntuación de 403,4 y 398,7, respectivamente (s <.001). En comparación con los especialistas en retina, que obtuvieron 216,1 puntos por precisión y 208,7 puntos por integridad, el chatbot obtuvo 235,3 y 258,3 puntos.
Utilizando la prueba de comparación por pares de Dunn, los investigadores informaron que los alumnos y especialistas calificaron mejor el chatbot en términos de precisión e integridad que sus colegas oftalmólogos.
“El rendimiento de GPT-4 en este estudio fue absolutamente asombroso”, dijo Huang a Healio. “Fue fantástico ver que ChatGPT no sólo puede ayudar, sino que en algunos casos puede igualar o superar la experiencia de profesionales experimentados en oftalmología”.
Continuó: “Si bien queremos proceder con extrema precaución y necesitaremos pruebas rigurosas adicionales, el siguiente paso será integrar de manera responsable y ética esta tecnología para mejorar la atención al paciente”.
Se derrumba
Divulgaciones: Huang ofrece becas de la Fundación de Antiguos Alumnos de Oftalmología y Otología de Manhattan. Consulte el estudio para conocer las divulgaciones financieras relevantes de los otros autores.
“Defensor de la Web. Geek de la comida galardonado. Incapaz de escribir con guantes de boxeo puestos. Apasionado jugador”.