Visualizza wikitesto di Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

{{template pubblicazione
|data=2024
|autori=Patrick Esser, Sumith Kulal, A. Blattmann, Rahim Entezari, Jonas Muller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English, Kyle Lacey, Alex Goodwin, Yannik Marek, Robin Rombach
|URL=https://www.semanticscholar.org/paper/41a66997ce0a366bba3becf7c3f37c9aebb13fbd
|topic=Image Synthesis
|citazioni=410
}}

Questo articolo presenta un miglioramento delle tecniche di campionamento del rumore per l'addestramento di modelli di flusso rettificato, indirizzandole verso scale percettivamente rilevanti. Attraverso uno studio su larga scala, viene dimostrata la performance superiore di questo approccio rispetto alle formulazioni di diffusione consolidate per la sintesi testo-immagine ad alta risoluzione. Inoltre, viene presentata una nuova architettura basata su transformer per la generazione di testo-immagine che utilizza pesi separati per le due modalità e consente un flusso bidirezionale di informazioni tra token di immagine e di testo, migliorando la comprensione del testo, la tipografia e le valutazioni delle preferenze umane. I modelli più grandi superano i modelli allo stato dell'arte.

{{#seo:
|title=Scaling Rectified Flow Transformers for High-Resolution Image Synthesis
|title_mode=append
|keywords=sintesi immagini, immagini ad alta risoluzione, transformer, flusso rettificato, campionamento rumore, diffusione, testo-immagine, generazione immagini, modelli flusso, deep learning
|description=Questo studio migliora le tecniche di campionamento del rumore per i modelli di flusso rettificato, applicandole a scale percettivamente rilevanti. L'approccio supera le tecniche di diffusione per la sintesi testo-immagine ad alta risoluzione, introducendo una nuova architettura transformer con flusso bidirezionale di informazioni tra testo e immagine, migliorando la comprensione e le valutazioni umane. I modelli più grandi superano lo stato dell'arte.
}}