#17. MedHELM: Avaliando LLMs para Tarefas Médicas
No se pudo agregar al carrito
Add to Cart failed.
Error al Agregar a Lista de Deseos.
Error al eliminar de la lista de deseos.
Error al añadir a tu biblioteca
Error al seguir el podcast
Error al dejar de seguir el podcast
#17. MedHELM: Avaliando LLMs para Tarefas Médicas
-
Narrado por:
-
De:
Acerca de esta escucha
O estudo MedHELM apresenta uma estrutura de avaliação abrangente para Grandes Modelos de Linguagem (LLMs) em tarefas médicas, indo além dos testes de licenciamento tradicionais. Ele introduz uma taxonomia validada por clínicos com 5 categorias, 22 subcategorias e 121 tarefas, juntamente com um conjunto de 35 benchmarks, incluindo 18 novos. A avaliação de nove LLMs de ponta revelou que modelos de raciocínio, como DeepSeek R1 e o3-mini, demonstram desempenho superior, embora Claude 3.5 Sonnet ofereça um equilíbrio de custo-benefício. O sistema de "júri de LLMs" proposto demonstrou maior concordância com avaliações clínicas do que métodos automatizados convencionais. Essas descobertas destacam a importância de avaliações focadas em tarefas do mundo real para a implementação segura de LLMs na saúde.