Hypernetworks

L'Hypernetwork è una tecnica che introduce reti neurali supplementari per modificare chiavi e valori all'interno di un modello. Durante il periodo di addestramento, il modello di Stable Diffusion rimane invariato, mentre si permette alla hypernetwork collegata di subire modifiche. Essendo questa hypernetwork di dimensioni ridotte, il suo addestramento è rapido e richiede risorse limitate. Questo significa che è possibile eseguire l'addestramento anche su un computer di uso quotidiano, senza la necessità di hardware specializzato.

Come funziona

Hypernetworks consente di base di integrare un modello ausiliario che intercetti l'attention layer del modello principale e ne modifichi i valori che lo attraversano, una sorta di fine-tuning ma senza modificare i pesi del modello principale ma aggiungendo una piccola rete neurale che ne alteri lo stile.

Qui trovi una guida all'addestramento di queste reti.