#17. MedHELM: Avaliando LLMs para Tarefas Médicas
カートのアイテムが多すぎます
カートに追加できませんでした。
ウィッシュリストに追加できませんでした。
ほしい物リストの削除に失敗しました。
ポッドキャストのフォローに失敗しました
ポッドキャストのフォロー解除に失敗しました
#17. MedHELM: Avaliando LLMs para Tarefas Médicas
-
ナレーター：
-
著者：
このコンテンツについて
O estudo MedHELM apresenta uma estrutura de avaliação abrangente para Grandes Modelos de Linguagem (LLMs) em tarefas médicas, indo além dos testes de licenciamento tradicionais. Ele introduz uma taxonomia validada por clínicos com 5 categorias, 22 subcategorias e 121 tarefas, juntamente com um conjunto de 35 benchmarks, incluindo 18 novos. A avaliação de nove LLMs de ponta revelou que modelos de raciocínio, como DeepSeek R1 e o3-mini, demonstram desempenho superior, embora Claude 3.5 Sonnet ofereça um equilíbrio de custo-benefício. O sistema de "júri de LLMs" proposto demonstrou maior concordância com avaliações clínicas do que métodos automatizados convencionais. Essas descobertas destacam a importância de avaliações focadas em tarefas do mundo real para a implementação segura de LLMs na saúde.