Uma pergunta recorrente que sempre me fazem nas aulas é o que significa “temperatura” em um LLM e como ela funciona. Bem, vamos direto ao ponto.
A temperatura é um parâmetro que controla o grau de aleatoriedade na geração de texto. Tecnicamente, a cada passo o modelo calcula logits (valores brutos) para todos os tokens possíveis com base no contexto. Esses logits são divididos pela temperatura (T) antes da aplicação do softmax. Isso altera o formato da distribuição de probabilidades a partir da qual o próximo token será amostrado.
Quando T < 1 (por exemplo, 0–0,3), a distribuição fica mais concentrada e os tokens mais prováveis se tornam ainda mais dominantes. O comportamento tende a ser mais previsível e conservador. Quando T ≈ 0,7, há um equilíbrio entre coerência e diversidade. E quando T > 1, a distribuição se torna mais “achatada” e os tokens menos prováveis ganham peso relativo, aumentando diversidade, mas também a variabilidade e o risco de incoerência.
Importante lembrar que a temperatura não altera os pesos do modelo, nem o cálculo interno do forward pass. Ela atua apenas na etapa de amostragem. Ou seja, não muda o “conhecimento” do modelo, mas influencia qual caminho será seguido no espaço de probabilidades. Em gerações longas, essa escolha inicial pode levar a trajetórias diferentes, não porque o modelo raciocina diferente internamente, mas porque a sequência escolhida condiciona os próximos passos.
Em termos clássicos de teoria de decisão, trata-se de um ajuste entre exploitation (seguir a opção mais provável) e exploration (permitir alternativas menos prováveis).
Na prática, temperaturas baixas tendem a reduzir variância e aumentar estabilidade em tarefas analíticas (código, explicações técnicas). Já temperaturas mais altas ampliam diversidade em tarefas criativas. Contudo, “alucinação” não depende apenas da temperatura, mas envolve também qualidade do prompt, contexto, alinhamento do modelo e outros mecanismos de amostragem.
E aqui entra outro ponto relevante. A temperatura interage com top-k e top-p (nucleus sampling). Um top-p restritivo pode limitar diversidade mesmo com temperatura alta. Da mesma forma, temperatura baixa não garante determinismo absoluto se houver amostragem estocástica ativa. Reprodutibilidade total exige decodificação determinística (por exemplo, greedy).
Em resumo, temperatura é um controle estatístico sobre a forma da distribuição de saída. Ela não torna o modelo mais inteligente ou menos inteligente. Apenas define quão conservadora ou exploratória será a geração dentro do espaço de probabilidades aprendido durante o treinamento.
