Hypernetworks

L'Hypernetwork è una tecnica che introduce reti neurali supplementari per modificare chiavi e valori all'interno di un modello. Durante il periodo di addestramento, il modello di Stable Diffusion rimane invariato, mentre si permette alla hypernetwork collegata di subire modifiche. Essendo questa hypernetwork di dimensioni ridotte, il suo addestramento è rapido e richiede risorse limitate. Questo significa che è possibile eseguire l'addestramento anche su un computer di uso quotidiano, senza la necessità di hardware specializzato.

Come funziona

Hypernetworks consente di base di integrare un modello ausiliario che intercetti l'attention layer del modello principale e ne modifichi i valori che lo attraversano, una sorta di fine-tuning ma senza modificare i pesi del modello principale ma aggiungendo una piccola rete neurale che ne alteri lo stile.

La base di funzionamento è infatti abbastanza simile a quella di LoRA visto che entrambi gli approcci agiscono sul modulo di cross attention. Solo che mentre con LoRA si alterano i pesi in questo caso si aggiunge una rete.

Qui trovi una guida all'addestramento di queste reti.

Come integrarlo su AUTOMATIC1111

1. Trova e scarica delle Hypernetworks da https://civitai.com/
2. Installa la rete mettendo i file del modello nella seguente cartella della GUI:

stable-diffusion-webui/models/hypernetworks

1. Cliccando sulla Hypernetwork nell'apposita sezione della GUI la riga che richiama l'Hypernet verrà automaticamente inserita come prompt.

fonte: https://stable-diffusion-art.com/hypernetwork/

fonte: https://stable-diffusion-art.com/hypernetwork/

Bisogna tenere a mente che la frase <hypernet: non viene trattata come parte del prompt (come ad esempio nel caso di TextualInversion e LoRA ). Indica semplicemente quali hypernet utilizzare. Verrà completamente ignorato dopo che ha richiamato la rete richiesta. Pertanto non è possibile utilizzare alcuna sintassi del prompt come [keyword1:keyword2:0.5]. Infatti si può notare come nell'esempio di water elemental nel prompt venga specificato nuovamente "water elemental".