📚 Módulo 9: Gerenciamento de Recursos e Problemas Comuns

9.1 Otimização de Memória em Ambientes Limitados (Colab)

Mesmo com QLoRA, é possível o esgotamento de memória no Colab. Estratégias:

a) Reduzir per_device_train_batch_size

Comece com 1 ou 2. Compense com gradient_accumulation_steps.

b) Reduzir max_seq_length

Reduza de 512 para 256 ou 384 se o conteúdo permitir.

c) Usar torch.compile (experimental)

model = torch.compile(model)

Pode acelerar o treinamento e reduzir a memória, mas nem sempre é estável.

d) Limpar Cache CUDA

torch.cuda.empty_cache()

Útil após carregar o modelo ou entre experimentos.

9.2 Erros Comuns e Soluções

Erro: CUDA out of memory

• Reduza o tamanho do lote.
• Aumente gradient_accumulation_steps.
• Reduza max_seq_length.
• Reinicie o ambiente de execução do Colab e recarregue tudo.

Erro: Some weights of the model checkpoint ... were not used

Normal se carregado com trust_remote_code=True ou usando PEFT. Não é crítico.

Erro: ValueError: Attempting to unscale FP16 gradients.

Use optim="adamw_bnb_8bit" ou optim="paged_adamw_8bit" em TrainingArguments.

Aviso: The model is not in eval mode

Ignorar. Trainer lida com o modo automaticamente.