Quando alinhar um modelo de imagem o torna pior em ortografia

Peça a um gerador de imagens "a fachada de uma padaria com uma placa pintada à mão que diz 'ABERTO'" e muitos modelos acertarão a iluminação quente, as sobremesas na vitrine e o tijolo desgastado. Então você olha para a placa. Ela diz "ABERTTO". Ou as letras se desfazem em algo que não é exatamente nenhum alfabeto.

Isso não é uma falha aleatória. Um artigo publicado esta semana, "Manifold Drift in Flow Preference Optimization", argumenta que é o resultado previsível de um erro específico e corrigível na forma como esses modelos são ajustados para corresponder às preferências humanas. A correção que eles propõem, chamada ThermoDPO, melhora a precisão do OCR em imagens geradas em 47,5% em um modelo de referência. Para um site que vive e morre pela capacidade das máquinas de ler texto, isso vale a pena ser analisado.

KINCAID'S HAMBURGERS: A cidade diz que o letreiro precisa ser removido ou a popular lanchonete enfrentará multas diárias — por Robert W. Howington via flickr, BY-SA 2.0.

O que o flow matching realmente faz

Deixe a matemática de lado por um momento e pense no processo de treinamento da seguinte forma: um modelo de flow matching aprende a transformar gradualmente ruído aleatório em uma imagem realista (ou um clipe de áudio, ou um quadro de vídeo) seguindo um caminho suave, passo a passo, do ruído puro até uma imagem finalizada. O "flow matching" é a receita líder atual para treinar esses geradores que seguem caminhos, e é o motor por trás de modelos como o Stable Diffusion 3.

Crucialmente, quando um modelo de fluxo é bem treinado, os pontos finais de todos esses caminhos caem exatamente no que os pesquisadores chamam de manifold de dados: o espaço de imagens que realmente parecem fotografias reais, documentos reais, placas reais, qualquer coisa real. Alimente-o com ruído aleatório e ele produzirá de forma confiável algo que se assemelha aos dados de treinamento, porque é para isso que foi matematicamente construído. A primeira contribuição real do artigo é provar isso de forma clara: o flow matching ótimo recupera a verdadeira distribuição de dados. Sem deriva, sem surpresas.

Onde o ajuste de preferências quebra o acordo

Aqui está a parte que costuma confundir as pessoas. Uma vez que você tem um gerador de imagens funcionando, o próximo passo na maioria dos fluxos de trabalho modernos é o alinhamento: mostrar ao modelo pares de saídas, dizendo a ele "os humanos gostaram mais desta" e ajustando seus pesos em direção à escolha preferida. Esta é a mesma ideia por trás do DPO (Otimização Direta de Preferência), a técnica que dominou o ajuste fino de modelos de linguagem há alguns anos. Funciona bem para texto. Mas transplantá-la para o flow matching é onde as coisas ficam complicadas.

O problema é que os caminhos de transporte de um modelo de fluxo, as rotas do ruído até a imagem, não possuem um mecanismo interno para mantê-los na variedade de dados (data manifold) assim que você começa a puxá-los com um sinal de recompensa. O artigo formaliza isso como "deriva da variedade" (manifold drift): uma atualização de preferência afasta as saídas do modelo do espaço de imagens realistas sempre que essa atualização possui o que eles chamam de componente normal não nulo, ou seja, o empurrão tem uma parte apontando perpendicularmente à variedade, em vez de ao longo dela.

Imagine a variedade como a superfície de um lago e as saídas do modelo como barcos nessa superfície. Uma boa atualização rema o barco para um ponto melhor no lago. Uma atualização com deriva arranca o barco para fora da água completamente, e agora ele está tecnicamente mais perto de onde a função de recompensa queria que fosse, mas já não é mais um barco no lago. Está apenas errado de uma maneira que o modelo de recompensa não conseguiu perceber.

Essa última frase é a verdadeira história. Isso é hacking de recompensa: o modelo encontra uma maneira de obter pontuação alta na métrica que deveria representar "os humanos preferiram isso" sem realmente produzir algo que os humanos prefeririam. Texto ilegível em placas é uma versão visível e fácil de detectar desse fracasso. Versões menos visíveis, como artefatos sutis de textura, mãos anatomicamente estranhas e cores que estão quase, mas não exatamente, certas, são mais difíceis de detectar e provavelmente estão acontecendo em modelos de produção agora mesmo.

ThermoDPO: mantendo o barco na água

A correção proposta pelos autores parte de um instinto simples: se o perigo é se afastar de amostras reais e conhecidas como boas, ancora a otimização diretamente nessas amostras. O ThermoDPO é um objetivo controlado por temperatura que ancora as atualizações de preferência em pares à amostra preferida (vencedora) em cada par de comparações, em vez de deixar a atualização flutuar livremente com base apenas na diferença de recompensa entre as duas opções.

A parte "controlada por temperatura" é importante porque dá ao método um controle ajustável. Em uma configuração, o objetivo se comporta como o ajuste fino por rejeição de amostragem, ou RFT: você gera uma série de candidatos, mantém os que obtêm boas pontuações e treina com eles. O RFT é seguro e permanece próximo à variedade de dados quase por construção, mas descarta grande parte do sinal em um par de preferências (nunca compara diretamente a saída de baixa qualidade com a de alta qualidade, apenas filtra). Em outra configuração de temperatura, o objetivo converge para o FlowDPO, a abordagem de otimização de preferência mais agressiva que usa a comparação completa, mas é mais propensa a deriva. O ThermoDPO está em um contínuo entre os dois e permite que você escolha quanto quer trocar segurança por sinal.

Os autores também demonstram, e esta é a parte mais técnica, mas genuinamente útil, que seu objetivo controla um substituto baseado em reconstrução pontual para a distância da variedade. Em termos simples: eles encontraram uma medida proxy que rastreia o quão distante uma amostra gerada se afastou da variedade de dados, e seu objetivo de treinamento mantém esse número sob controle como um efeito colateral do treinamento normal, não como uma penalidade separada adicionada posteriormente.

Um detalhe: em temperaturas baixas (onde você está mais próximo do regime seguro, semelhante ao RFT), o sinal de treinamento fica fraco, porque você está basicamente dizendo ao modelo "esta amostra está boa" em vez de fornecer um gradiente útil para melhoria. A resposta deles é o ThermoDPO-weighted, uma variante que repondera o objetivo para manter o sinal forte mesmo quando a temperatura é reduzida para o extremo cauteloso. É a versão que acaba vencendo a maioria de seus benchmarks.

Os números e por que eles são maiores do que parecem

No principal benchmark de teste do artigo (um ambiente controlado projetado para isolar exatamente esse modo de falha do ruído de um modelo de produção completo), a métrica de pontuação é algo chamado StrictScore, que parece penalizar qualquer desvio da verdadeira variedade de dados (data manifold), em vez de apenas recompensar o alinhamento de preferências. O FlowDPO puro pontua 0,629. Adicionar amostragem por rejeição ao FlowDPO (FlowDPO+RFT) chega a 0,857. O ponderado por ThermoDPO atinge 0,899. Essa é uma grande lacuna entre "alinhado às preferências" e "alinhado às preferências sem destruir o modelo subjacente", e é a demonstração mais clara do artigo de que o desvio (drift) é um custo real e mensurável, não apenas uma preocupação teórica.

O resultado que terá mais importância para este público vem dos testes no SD3.5-M, um modelo Stable Diffusion 3.5 em escala de produção real, com uma configuração de guia livre de classificador (CFG) de 4,5, que é um parâmetro padrão que controla o quão rigorosamente o modelo segue seu prompt de texto. O ThermoDPO melhorou a precisão do OCR em imagens geradas em 47,5% e melhorou a média de quatro métricas de avaliação em 16,0%.

Leia esse número de OCR com atenção, porque ele revela algo interessante. Os pesquisadores não estão executando um benchmark de OCR por si só. Eles estão usando a precisão do OCR como um substituto para "o modelo realmente gerou texto legível e bem formado, em vez de rabiscos alucinados", que é exatamente o tipo de falha que um avaliador humano pode facilmente perder à primeira vista (o letreiro parece normal em uma miniatura), mas que é trivial para um mecanismo de OCR detectar, pois um mecanismo de OCR ou lê palavras reais ou não lê.

Por que isso importa para quem constrói ou avalia pipelines de OCR

Se o seu trabalho envolve document AI, geração de dados sintéticos ou qualquer pipeline onde imagens com texto embutido são criadas ou transformadas por um modelo generativo, este artigo é relevante, mesmo que não mencione diretamente o processamento de documentos. Alguns pontos práticos:

• A legibilidade do texto é uma verificação sensível e barata para um problema muito mais amplo. Se você está avaliando ou ajustando finamente qualquer gerador de imagens e deseja um sinal de alerta precoce para reward hacking ou manifold drift, passe as saídas geradas por um mecanismo de OCR e verifique a precisão. É um canário que detecta falhas mais sutis antes que elas apareçam em pontuações de qualidade visual mais difíceis de quantificar.
• Os dados de treinamento sintéticos para sistemas de OCR são tão bons quanto o gerador que os produz. Muitas equipes de document AI geram recibos, formulários e placas sintéticos para aumentar os conjuntos de treinamento. Se esse gerador foi ajustado por preferência sem um método consciente de drift como o ThermoDPO, o texto sintético nessas imagens pode ser sutilmente menos realista do que parece, o que pode silenciosamente contaminar o treinamento de OCR subsequente.
• Uma melhoria de 47,5% no OCR em um modelo de produção real (não apenas em um benchmark de brinquedo) sugere que isso não é uma correção acadêmica de nicho. Se o ThermoDPO ou algo semelhante for adotado pelos principais provedores de modelos de imagem, espere uma renderização de texto visivelmente melhor na próxima geração de documentos gerados, placas e mockups de UI.
• Reward hacking não é apenas um problema de LLMs. Qualquer pessoa que construa pipelines de avaliação em torno de modelos generativos, seja de imagem, texto ou outro tipo, deve tratar "a métrica de recompensa subiu" e "a qualidade realmente melhorou" como duas perguntas separadas que exigem duas verificações distintas.

O que ainda está em aberto

Os números principais vêm de um benchmark simplificado criado para isolar exatamente esse efeito, mais um modelo de produção (SD3.5-M) em uma configuração de guia. Essa é uma prova de conceito sólida, não uma análise abrangente das famílias de modelos e configurações que as pessoas realmente implantam. Vale a pena perguntar como o ThermoDPO se comporta em diferentes valores de CFG, em modelos maiores ou na geração de vídeo, onde o fluxo de correspondência também está se tornando cada vez mais o padrão e onde o desvio pode se acumular entre os quadros.

O parâmetro de temperatura também é uma alavanca que você precisa ajustar, e os próprios resultados do artigo mostram que errar (muito baixo) priva o sinal de treinamento, que é exatamente por que a variante ponderada existe como um remendo. Essa é uma compensação de engenharia razoável, mas isso significa que o ThermoDPO não é uma substituição direta sem parâmetros para os pipelines de ajuste de preferência existentes. As equipes que o adotarem precisarão fazer sua própria análise para encontrar o regime certo para seu modelo e dados.

Ainda assim, a contribuição teórica central, de que uma atualização de preferência deixa a variedade pré-treinada precisamente quando tem um componente normal não nulo, dá ao campo uma maneira muito mais nítida de pensar sobre por que o alinhamento às vezes falha em modelos generativos de tempo contínuo. Esse é um modelo mental útil mesmo para equipes que não planejam adotar o ThermoDPO especificamente: quando você ajusta um gerador baseado em fluxo em preferências, pergunte se sua atualização está empurrando ao longo da variedade ou fora dela. O artigo dá um nome para a falha e, pela primeira vez, algo próximo de uma maneira de medi-la.