Model Graders: usando LLMs para avaliar LLMs (e os 3 erros que invalidam o seu eval)

Petiscando · Jun 27, 2026

LLM-as-judge é o atalho que todo time de IA usa pra escalar evals. Mas tem três armadilhas que silenciosamente invalidam o pipeline: self-preference, position e verbosity bias, e calibração ausente. Cobrimos os três padrões de prompt para grader (rubric, reference, pairwise) e como blindar contra cada erro com mitigação concreta.