https://wiki.mindmaker.it/api.php?action=feedcontributions&feedformat=atom&user=Michela 2026-04-05T07:17:57Z Contributi dell'utente MediaWiki 1.41.0 https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2183 2024-04-11T13:58:29Z

<p>Michela: /* Links */</p> <hr /> <div>Nome inglese: [[NomeInglese::Knowledge Distillation]]<br /> <br /> Sigla: [[Sigla::KD]]<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Come funziona la Knowledge Distillation ==<br /> Avviene tipicamente in '''due fasi''' principali:<br /> <br /> # '''Addestramento dell'Insegnante''': Il primo passo è addestrare un modello di grandi dimensioni (l'insegnante) su un complesso set di dati. L'obiettivo è sviluppare un modello che raggiunga elevate prestazioni, imparando relazioni complesse e sottili presenti nei dati. Questo modello di solito richiede significative risorse computazionali sia in termini di memoria che di potenza di calcolo.<br /> # '''Addestramento dello Studente''': Una volta che il modello insegnante è stato addestrato, il prossimo passo è utilizzarlo per addestrare un modello più piccolo (lo studente). Invece di addestrare lo studente direttamente sul set di dati originale, lo studente viene addestrato per emulare l'output o il comportamento dell'insegnante. Ciò può avvenire in diversi modi, ma due approcci comuni includono:<br /> #* '''Addestramento sulle Soft Labels''': Lo studente viene addestrato sui punteggi di probabilità (soft labels) generati dall'insegnante piuttosto che sulle etichette originali (hard labels) del set di dati. Questi punteggi di probabilità contengono informazioni più ricche sulle relazioni tra le diverse classi.<br /> #* '''Addestramento sulla Funzione di Perdita Aggiuntiva''': Si può anche aggiungere una funzione di perdita che penalizza lo studente per deviazioni significative nell'output rispetto a quello dell'insegnante, aiutando così lo studente a imitare più fedelmente l'insegnante.<br /> <br /> == Etichette per l'addestramento dello Studente ==<br /> <br /> === Soft Labels ===<br /> <br /> * '''Cosa Sono''': Le soft labels sono le probabilità di ciascuna classe di output fornite dal modello insegnante. A differenza delle hard labels, che indicano soltanto la classe target con un valore di 1 (o 100%) e 0 per tutte le altre classi, le soft labels forniscono una distribuzione di probabilità che riflette quanto l'insegnante sia &quot;sicuro&quot; della sua previsione. Queste probabilità catturano le relazioni sottili tra le classi che l'insegnante ha appreso durante il suo addestramento.<br /> * '''Utilizzo''': Addestrare lo studente sulle soft labels permette di trasferire questa &quot;conoscenza sottile&quot; all'alunno. Ad esempio, in un task di classificazione delle immagini, se l'insegnante assegna una probabilità del 90% a &quot;gatto&quot;, 5% a &quot;tigre&quot;, e 5% alle altre classi per un'immagine di un gatto, lo studente impara non solo a riconoscere i gatti ma anche a capire la somiglianza tra gatti e tigri, qualcosa che le hard labels non potrebbero insegnare.<br /> <br /> === Hard Labels ===<br /> <br /> * '''Cosa Sono''': Le hard labels sono le etichette tradizionali utilizzate nell'addestramento supervisionato. Per ogni esempio nel set di addestramento, l'hard label indica la classe corretta con un valore di 1, mentre tutte le altre classi hanno un valore di 0. Queste etichette sono molto precise ma non forniscono informazioni aggiuntive sulla struttura del problema o sulle relazioni tra classi.<br /> * '''Utilizzo''': Sebbene l'uso esclusivo delle soft labels possa trasferire conoscenze complesse allo studente, l'incorporazione delle hard labels nell'addestramento può aiutare a mantenere o migliorare la precisione dello studente sulle decisioni chiare e dirette, assicurando che impari anche a fare distinzioni nette tra classi.<br /> <br /> <br /> Nella pratica, spesso si utilizza una combinazione delle due. Questa può essere realizzata attraverso un approccio ibrido in cui la funzione di perdita è composta da due termini: uno basato sulle soft labels fornite dall'insegnante e l'altro sulle hard labels del dataset di addestramento. La ponderazione di questi due termini nella funzione di perdita può essere regolata per bilanciare il trasferimento di conoscenza sottile con l'apprendimento diretto dalle etichette originali.<br /> <br /> Questo approccio ibrido consente allo studente di beneficiare della conoscenza approfondita dell'insegnante, migliorando la sua capacità di generalizzazione, pur rimanendo ancorato alla realtà concreta e precisa delle hard labels.<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [https://colab.research.google.com/drive/1GHlk_Ic0CZkErw_6_UUwmFVCH7CKBJDA?usp=sharing GoogleColab Knowledge Distillation]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2182 2024-04-11T13:58:17Z

<p>Michela: /* Links */</p> <hr /> <div>Nome inglese: [[NomeInglese::Knowledge Distillation]]<br /> <br /> Sigla: [[Sigla::KD]]<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Come funziona la Knowledge Distillation ==<br /> Avviene tipicamente in '''due fasi''' principali:<br /> <br /> # '''Addestramento dell'Insegnante''': Il primo passo è addestrare un modello di grandi dimensioni (l'insegnante) su un complesso set di dati. L'obiettivo è sviluppare un modello che raggiunga elevate prestazioni, imparando relazioni complesse e sottili presenti nei dati. Questo modello di solito richiede significative risorse computazionali sia in termini di memoria che di potenza di calcolo.<br /> # '''Addestramento dello Studente''': Una volta che il modello insegnante è stato addestrato, il prossimo passo è utilizzarlo per addestrare un modello più piccolo (lo studente). Invece di addestrare lo studente direttamente sul set di dati originale, lo studente viene addestrato per emulare l'output o il comportamento dell'insegnante. Ciò può avvenire in diversi modi, ma due approcci comuni includono:<br /> #* '''Addestramento sulle Soft Labels''': Lo studente viene addestrato sui punteggi di probabilità (soft labels) generati dall'insegnante piuttosto che sulle etichette originali (hard labels) del set di dati. Questi punteggi di probabilità contengono informazioni più ricche sulle relazioni tra le diverse classi.<br /> #* '''Addestramento sulla Funzione di Perdita Aggiuntiva''': Si può anche aggiungere una funzione di perdita che penalizza lo studente per deviazioni significative nell'output rispetto a quello dell'insegnante, aiutando così lo studente a imitare più fedelmente l'insegnante.<br /> <br /> == Etichette per l'addestramento dello Studente ==<br /> <br /> === Soft Labels ===<br /> <br /> * '''Cosa Sono''': Le soft labels sono le probabilità di ciascuna classe di output fornite dal modello insegnante. A differenza delle hard labels, che indicano soltanto la classe target con un valore di 1 (o 100%) e 0 per tutte le altre classi, le soft labels forniscono una distribuzione di probabilità che riflette quanto l'insegnante sia &quot;sicuro&quot; della sua previsione. Queste probabilità catturano le relazioni sottili tra le classi che l'insegnante ha appreso durante il suo addestramento.<br /> * '''Utilizzo''': Addestrare lo studente sulle soft labels permette di trasferire questa &quot;conoscenza sottile&quot; all'alunno. Ad esempio, in un task di classificazione delle immagini, se l'insegnante assegna una probabilità del 90% a &quot;gatto&quot;, 5% a &quot;tigre&quot;, e 5% alle altre classi per un'immagine di un gatto, lo studente impara non solo a riconoscere i gatti ma anche a capire la somiglianza tra gatti e tigri, qualcosa che le hard labels non potrebbero insegnare.<br /> <br /> === Hard Labels ===<br /> <br /> * '''Cosa Sono''': Le hard labels sono le etichette tradizionali utilizzate nell'addestramento supervisionato. Per ogni esempio nel set di addestramento, l'hard label indica la classe corretta con un valore di 1, mentre tutte le altre classi hanno un valore di 0. Queste etichette sono molto precise ma non forniscono informazioni aggiuntive sulla struttura del problema o sulle relazioni tra classi.<br /> * '''Utilizzo''': Sebbene l'uso esclusivo delle soft labels possa trasferire conoscenze complesse allo studente, l'incorporazione delle hard labels nell'addestramento può aiutare a mantenere o migliorare la precisione dello studente sulle decisioni chiare e dirette, assicurando che impari anche a fare distinzioni nette tra classi.<br /> <br /> <br /> Nella pratica, spesso si utilizza una combinazione delle due. Questa può essere realizzata attraverso un approccio ibrido in cui la funzione di perdita è composta da due termini: uno basato sulle soft labels fornite dall'insegnante e l'altro sulle hard labels del dataset di addestramento. La ponderazione di questi due termini nella funzione di perdita può essere regolata per bilanciare il trasferimento di conoscenza sottile con l'apprendimento diretto dalle etichette originali.<br /> <br /> Questo approccio ibrido consente allo studente di beneficiare della conoscenza approfondita dell'insegnante, migliorando la sua capacità di generalizzazione, pur rimanendo ancorato alla realtà concreta e precisa delle hard labels.<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> [https://colab.research.google.com/drive/1GHlk_Ic0CZkErw_6_UUwmFVCH7CKBJDA?usp=sharing GoogleColab Knowledge Distillation]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2180 2024-04-11T13:54:59Z

<p>Michela: /* Links */</p> <hr /> <div>Nome inglese: [[NomeInglese::Knowledge Distillation]]<br /> <br /> Sigla: [[Sigla::KD]]<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Come funziona la Knowledge Distillation ==<br /> Avviene tipicamente in '''due fasi''' principali:<br /> <br /> # '''Addestramento dell'Insegnante''': Il primo passo è addestrare un modello di grandi dimensioni (l'insegnante) su un complesso set di dati. L'obiettivo è sviluppare un modello che raggiunga elevate prestazioni, imparando relazioni complesse e sottili presenti nei dati. Questo modello di solito richiede significative risorse computazionali sia in termini di memoria che di potenza di calcolo.<br /> # '''Addestramento dello Studente''': Una volta che il modello insegnante è stato addestrato, il prossimo passo è utilizzarlo per addestrare un modello più piccolo (lo studente). Invece di addestrare lo studente direttamente sul set di dati originale, lo studente viene addestrato per emulare l'output o il comportamento dell'insegnante. Ciò può avvenire in diversi modi, ma due approcci comuni includono:<br /> #* '''Addestramento sulle Soft Labels''': Lo studente viene addestrato sui punteggi di probabilità (soft labels) generati dall'insegnante piuttosto che sulle etichette originali (hard labels) del set di dati. Questi punteggi di probabilità contengono informazioni più ricche sulle relazioni tra le diverse classi.<br /> #* '''Addestramento sulla Funzione di Perdita Aggiuntiva''': Si può anche aggiungere una funzione di perdita che penalizza lo studente per deviazioni significative nell'output rispetto a quello dell'insegnante, aiutando così lo studente a imitare più fedelmente l'insegnante.<br /> <br /> == Etichette per l'addestramento dello Studente ==<br /> <br /> === Soft Labels ===<br /> <br /> * '''Cosa Sono''': Le soft labels sono le probabilità di ciascuna classe di output fornite dal modello insegnante. A differenza delle hard labels, che indicano soltanto la classe target con un valore di 1 (o 100%) e 0 per tutte le altre classi, le soft labels forniscono una distribuzione di probabilità che riflette quanto l'insegnante sia &quot;sicuro&quot; della sua previsione. Queste probabilità catturano le relazioni sottili tra le classi che l'insegnante ha appreso durante il suo addestramento.<br /> * '''Utilizzo''': Addestrare lo studente sulle soft labels permette di trasferire questa &quot;conoscenza sottile&quot; all'alunno. Ad esempio, in un task di classificazione delle immagini, se l'insegnante assegna una probabilità del 90% a &quot;gatto&quot;, 5% a &quot;tigre&quot;, e 5% alle altre classi per un'immagine di un gatto, lo studente impara non solo a riconoscere i gatti ma anche a capire la somiglianza tra gatti e tigri, qualcosa che le hard labels non potrebbero insegnare.<br /> <br /> === Hard Labels ===<br /> <br /> * '''Cosa Sono''': Le hard labels sono le etichette tradizionali utilizzate nell'addestramento supervisionato. Per ogni esempio nel set di addestramento, l'hard label indica la classe corretta con un valore di 1, mentre tutte le altre classi hanno un valore di 0. Queste etichette sono molto precise ma non forniscono informazioni aggiuntive sulla struttura del problema o sulle relazioni tra classi.<br /> * '''Utilizzo''': Sebbene l'uso esclusivo delle soft labels possa trasferire conoscenze complesse allo studente, l'incorporazione delle hard labels nell'addestramento può aiutare a mantenere o migliorare la precisione dello studente sulle decisioni chiare e dirette, assicurando che impari anche a fare distinzioni nette tra classi.<br /> <br /> <br /> Nella pratica, spesso si utilizza una combinazione delle due. Questa può essere realizzata attraverso un approccio ibrido in cui la funzione di perdita è composta da due termini: uno basato sulle soft labels fornite dall'insegnante e l'altro sulle hard labels del dataset di addestramento. La ponderazione di questi due termini nella funzione di perdita può essere regolata per bilanciare il trasferimento di conoscenza sottile con l'apprendimento diretto dalle etichette originali.<br /> <br /> Questo approccio ibrido consente allo studente di beneficiare della conoscenza approfondita dell'insegnante, migliorando la sua capacità di generalizzazione, pur rimanendo ancorato alla realtà concreta e precisa delle hard labels.<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2155 2024-04-11T13:34:19Z

<p>Michela: </p> <hr /> <div>Nome inglese: [[NomeInglese::Knowledge Distillation]]<br /> <br /> Sigla: [[Sigla::KD]]<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2021 2024-04-10T13:42:34Z

<p>Michela: </p> <hr /> <div>Nome: [[Nome::Knowledge Distillation]]<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2020 2024-04-10T13:41:03Z

<p>Michela: /* Links */</p> <hr /> <div>* '''Nome''': Knowledge Distillation<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]<br /> <br /> __SHOWFACTBOX__</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2019 2024-04-10T13:40:56Z

<p>Michela: </p> <hr /> <div>* '''Nome''': Knowledge Distillation<br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2018 2024-04-10T13:39:52Z

<p>Michela: </p> <hr /> <div>* '''Nome''': Knowledge Distillation <br /> <br /> La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2017 2024-04-10T13:27:04Z

<p>Michela: /* Knowledge Distillation per il Pretraining */</p> <hr /> <div>La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2005 2024-04-10T12:19:58Z

<p>Michela: </p> <hr /> <div>La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> == Knowledge Distillation per il Pretraining ==<br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=2000 2024-04-10T10:13:22Z

<p>Michela: </p> <hr /> <div>La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> [[File:Screenshot 2024-04-10 alle 11.54.03.png|centro|miniatura|500x500px|Figura1. Confronto tra un'etichetta rigida codificata in one-hot (sinistra), probabilità softmax (centro) e probabilità di classe addolcite (destra)]]<br /> <br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=File:Screenshot_2024-04-10_alle_11.54.03.png&diff=1996 2024-04-10T10:11:56Z

<p>Michela: </p> <hr /> <div></div>

Michela https://wiki.mindmaker.it/index.php?title=Distillazione_Della_Conoscenza&diff=1989 2024-04-10T10:05:56Z

<p>Michela: </p> <hr /> <div>La '''distillazione della conoscenza''' è il processo di trasferimento della conoscenza da un modello di grandi dimensioni ad uno più piccolo.<br /> <br /> Originariamente introdotto nel 2006 nel contesto dei modelli di ensemble, è stato successivamente reso popolare in un famoso [https://arxiv.org/abs/1503.02531 paper] del 2015 che ha generalizzato il metodo di reti neurali profonde.<br /> <br /> == Knowledge Distillation per il Fine-Tuning ==<br /> Nel contesto dell'apprendimento automatico, specialmente nell'addestramento supervisionato come il fine-tuning, la distillazione della conoscenza è un metodo per trasferire l'informazione da un modello &quot;insegnante&quot; grande e complesso a un modello &quot;studente&quot; più piccolo e meno complesso. L'idea principale è quella di arricchire le etichette di verità fondamentale con una distribuzione di &quot;soft probabilities&quot; fornite dall'insegnante, che offrono informazioni complementari da cui lo studente può imparare. Ad esempio, se un classificatore basato su BERT assegna alte probabilità a più intenti, questo potrebbe indicare che questi intenti sono vicini l'uno all'altro nello spazio delle caratteristiche. Addestrando lo studente a imitare queste probabilità, l'obiettivo è di distillare parte di questa &quot;dark knowledge&quot; che l'insegnante ha appreso, ossia conoscenze non disponibili solo dalle etichette.<br /> <br /> Matematicamente, questo processo funziona come segue: si fornisce una sequenza di input x all'insegnante per generare un vettore di logits x = [z1x, ..., zNx]. Questi logits possono essere convertiti in probabilità applicando una funzione [[softmax]]. <br /> <br /> <br /> &lt;math&gt;\frac{\exp(z_i(x))}{\textstyle \sum_{j} \displaystyle \exp(z_i(x))}&lt;/math&gt;<br /> <br /> <br /> Tuttavia, spesso l'insegnante assegna una probabilità alta ad una classe, rendendo le probabilità delle altre classi vicine a zero, e quindi non fornendo molte informazioni aggiuntive rispetto alle etichette di verità fondamentale. Per questo, si &quot;addolciscono&quot; le probabilità scalando i logits con un iperparametro di [[Temperatura (Apprendimento Automatico)|temperatura T]] prima di applicare la softmax. <br /> <br /> <br /> &lt;math&gt;p_i(x)\frac{\exp(z_i(x)/T)}{\textstyle \sum_{j} \displaystyle \exp(z_i(x)/T)}&lt;/math&gt;<br /> <br /> <br /> Valori più alti di T producono una distribuzione di probabilità più morbida sulle classi e rivelano più informazioni sul confine decisionale che l'insegnante ha appreso per ogni esempio di addestramento.<br /> <br /> <br /> == Links ==<br /> [https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network (2015)]<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=RecurrentGPT&diff=1471 2024-03-20T14:44:08Z

<p>Michela: /* Descrizione */</p> <hr /> <div>''' Rilasciato da ''': Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan, ETH Zürich<br /> <br /> ''' Data di pubblicazione ''': 23 maggio 2023<br /> <br /> ''' Accesso ''': Open source<br /> <br /> == Descrizione ==<br /> '''RecurrentGPT '''è un framework costruito su un [[Large Language Model (LLM)|'''modello di linguaggio''' LLM]] (come '''[[GPT-4|ChatGPT]]'''), sfrutta il meccanismo di ricorrenza delle '''[[Recurrent Neural Network (RNN)|RNN (Reti Neurali Ricorrenti)]]''' e utilizza il linguaggio naturale per simulare il meccanismo di memoria a lungo e breve termine di un '''[[LSTM]] ''' [[LSTM|'''(Long Short-Term Memory)''']]. Attraverso l'uso di linguaggio naturale come blocchi costruttivi, RecurrentGPT simula la memoria a lungo e breve termine, consentendo la generazione di testi di lunghezza arbitraria e superando le limitazioni di contesto fisse dei modelli ''' [[Transformer]] ''' tradizionali. Questo approccio rende RecurrentGPT altamente '''interpretabile''' e '''interattivo''', permettendo agli utenti di osservare, modificare e influenzare direttamente il processo di generazione del testo.<br /> <br /> == Architettura ==<br /> * '''Input / Output''' <br /> L''''input''' e l''''output''' di '''RecurrentGPT''' ad ogni '''timestep''' includono:<br /> * un '''paragrafo di testo''' che viene aggiunto al testo finale prodotto,<br /> * un '''abbozzo''' per il paragrafo successivo da generare. Vengono definiti rispettivamente come: '''contenuto''' e '''piano'''. <br /> Come illustrato nella figura, i contenuti consistono tipicamente di 200-400 parole e dovrebbero essere per lo più pronti per la lettura, mentre, i piani sono abbozzi per il prossimo contenuto e consistono tipicamente di 3-5 frasi. Ad ogni timestep, il contenuto e il piano generati nel timestep precedente vengono usati come input per RecurrentGPT, permettendo il calcolo ricorrente. RecurrentGPT è progettato per produrre piani oltre ai contenuti in quanto permettere agli utenti di leggere e modificare i piani aumentando l''''interpretabilità''' e facilitando l''''interazione uomo-macchina'''.<br /> * '''Long-Short term memory''' <br /> Similmente a un LSTM, '''RecurrentGPT''' mantiene una memoria a lungo-breve termine attraverso i timesteps. La memoria a '''lungo termine''' riassume tutti i contenuti generati precedentemente per minimizzare la perdita di informazioni quando si generano testi lunghi. Poiché il contenuto generato può essere arbitrariamente lungo e non può adattarsi alla dimensione di contesto degli LLM, la memoria a lungo termine è stata implementata con un approccio '''VectorDB''', incorporando il contenuto generato in ogni timestep con '''sentence-transformers'''. Questo approccio permette a RecurrentGPT di conservare una memoria ancora più lunga rispetto ai precedenti Transformer poiché può conservare la memoria nello spazio su disco invece che nella memoria GPU. Questo può essere importante in diversi casi d'uso dove gli utenti potrebbero non avere GPU di fascia alta nei loro dispositivi. La memoria a '''breve termine''' è un breve paragrafo di testi che riassume le informazioni chiave attraverso i timesteps recenti. La lunghezza della memoria a breve termine è controllata per essere di '''10-20 frasi''' in modo che possa adattarsi al prompt e possa essere aggiornata dall'LLM principale. Combinando la memoria a lungo e breve termine, RecurrentGPT può mantenere la coerenza con il contenuto generato di recente e anche richiamare informazioni chiave generate molto tempo prima.<br /> <br /> [[File:Screenshot_2024-03-07_alle_14.49.44.png|center|500px|thumb|Figura 1: Illustrazione del framework RecurrentGPT. Consente il prompting ricorrente con LLM simulando una RNN tramite blocchi costruttivi in linguaggio naturale e definisce il grafo di calcolo ricorrente con prompt.]]<br /> <br /> === Baseline ===<br /> * '''Rolling-ChatGPT''' <br /> questa baseline si basa sull'idea di '''stimolare iterativamente ChatGPT''' a proseguire la scrittura di un testo una volta raggiunto il suo limite di contesto. In pratica, si comincia fornendo a ChatGPT un genere letterario e alcuni dettagli o impostazioni di sfondo come punto di partenza per scrivere un romanzo. Una volta che ChatGPT ha generato una quantità di testo che si avvicina o raggiunge il limite massimo del contesto che può gestire, l'utente o un meccanismo automatizzato fornisce nuovamente al modello una porzione del testo più recente, sollecitandolo a continuare da dove si era interrotto. Solo una parte del testo generato precedentemente (la parte più recente o rilevante) viene utilizzata nuovamente come input per generare la porzione successiva del testo. Ciò permette teoricamente di produrre '''testi di lunghezza arbitraria''' , sfruttando la capacità di ChatGPT di generare '''testi coerenti e contestualmente pertinenti''' basandosi sull'input ricevuto, ma richiede una '''gestione attenta del contesto''' per mantenere la coerenza e la continuità dell'intero testo. Sebbene questa tecnica possa essere efficace, potrebbe comunque presentare sfide relative alla coerenza del testo su lunghe distanze, poiché il modello ha sempre una vista limitata dell'intero contenuto generato fino a quel momento.<br /> * '''RE3''' <br /> questa baseline si riferisce a un approccio strutturato per la '''generazione di storie lunghe''' attraverso l'uso di modelli di linguaggio di grandi dimensioni (LLM), come ChatGPT. Questo metodo si basa su una '''strategia gerarchica''' che procede in più fasi per costruire '''narrazioni complesse''' e dettagliate:<br /> <br /> # '''Generazione del Contorno''': Nella prima fase, RE3 sollecita un LLM a '''creare un abbozzo''' o contorno generale della storia. Questo contorno funge da mappa per l'intera narrazione, delineando i principali eventi, personaggi e punti di svolta. L'idea è quella di '''stabilire una struttura di base''' che guiderà la generazione successiva del testo, assicurando che la storia abbia una '''trama coerente e logicamente organizzata'''.<br /> # '''Generazione della Storia''': Una volta definito il contorno, il modello procede con la '''generazione del testo''' della storia seguendo la struttura predefinita. In questa fase, il LLM espande ciascuna sezione del contorno in '''narrazioni dettagliate''', popolando la storia con dialoghi, descrizioni e azioni che arricchiscono il racconto.<br /> # '''Pipeline di Ri-classificazione e Ri-scrittura''': Dopo la generazione iniziale della storia, RE3 impiega ulteriori passaggi di elaborazione, come la ri-classificazione e la ri-scrittura, per '''rifinire il testo'''. Questi processi possono includere l'aggiustamento di tono e stile, la correzione di incoerenze narrative, il miglioramento della coesione tra le parti della storia e l'assicurazione che il testo finale sia di alta qualità. Queste fasi di post-elaborazione sono cruciali per assicurare che la '''storia''' sia non solo '''coerente''' con il contorno iniziale, ma anche '''avvincente e ben scritta''' .<br /> * '''DOC''' <br /> questa baseline riguarda un approccio avanzato nella '''generazione automatica di storie lunghe''', che rappresenta '''un'evoluzione del metodo RE3'''. DOC si distingue per la sua capacità di offrire un '''maggiore controllo sull'outline (contorno) della storia''', permettendo di guidare più dettagliatamente la narrazione e assicurando che la '''trama''' segua fedelmente la '''struttura predefinita'''. Questa maggiore precisione nell'outline mira a migliorare la coerenza e la qualità complessiva delle storie generate. La '''&quot;ri-implementazione&quot; di DOC con ChatGPT''' consiste nell'adattare il metodo originale, precedentemente basato su un modello diverso (come l'OPT-175B), per '''utilizzare le capacità avanzate di ChatGPT'''. Questo cambiamento è significativo poiché ChatGPT è noto per la sua eccellente comprensione del linguaggio naturale e le abilità di generazione di testo. Tuttavia, una sfida in questa transizione è rappresentata dall' '''impossibilità di accedere direttamente ai &quot;pesi&quot;''' (i parametri interni) di ChatGPT, il che rende inutilizzabile il '''&quot;controller dettagliato&quot;''' presente in DOC. Il controller dettagliato era un componente di DOC che permetteva di '''influenzare finemente il processo di generazione del testo''', basandosi sui parametri interni del modello. Per superare questa limitazione, la '''ri-implementazione''' si concentra sull' '''uso delle capacità intrinseche di ChatGPT''', adattando il processo per funzionare senza la necessità di modificare direttamente i pesi del modello. Anche se questo potrebbe sembrare una restrizione, in realtà si scopre che l'uso di '''ChatGPT''' porta a una '''qualità del testo''' generato leggermente '''migliore''' sfruttando le avanzate capacità linguistiche di ChatGPT per produrre '''storie più fluide, interessanti e coerenti'''. Questo miglioramento è attribuibile alla '''superiorità di ChatGPT''' in termini di '''comprensione del contesto''', '''coerenza narrativa''' e '''capacità di generazione del linguaggio''', che compensano l'assenza del controller dettagliato.<br /> <br /> == Caratteristiche Principali ==<br /> * '''Generazione Ricorsiva di testi'''<br /> RecurrentGPT, a differenza dei modelli tradizionali che sono vincolati da una dimensione di contesto fissa, sfrutta un '''meccanismo di ricorrenza''' basato sul linguaggio naturale che gli consente di produrre '''contenuti di lunghezza arbitraria''' aggiornando dinamicamente una '''memoria a lungo-corto termine''' . La '''memoria a lungo termine''' archivia i contenuti generati precedentemente, assicurando che il modello mantenga la coerenza narrativa nei testi estesi. Parallelamente, la '''memoria a breve termine''' cattura dettagli e informazioni cruciali dei segmenti più recenti, garantendo che ogni nuova generazione di testo sia ben collegata con il contesto immediato. Questo processo imita la capacità umana di collegare nuove informazioni con la conoscenza preesistente, superando i limiti di memoria imposti dalla dimensione fissa del contesto nei modelli Transformer.<br /> * '''Interpretabilità e Interattività'''<br /> Una delle forze di RecurrentGPT è la sua '''elevata interpretabilità''' derivante dalla trasparenza dei suoi meccanismi basati sul linguaggio naturale. Gli '''utenti''' possono osservare direttamente come il modello elabora e aggiorna le informazioni, intervenendo attivamente per '''modificare i contenuti''' della memoria a lungo o breve termine, i '''piani futuri''' e gli '''output generati''' . Questo livello di interazione apre nuove possibilità di personalizzazione nel processo di generazione del testo, rendendo RecurrentGPT uno strumento particolarmente adatto alla '''collaborazione creativa''' tra uomo e macchina e nei contesti dove la precisione e la personalizzazione del contenuto sono cruciali.<br /> * '''Personalizzazione'''<br /> RecurrentPT si distingue per la sua elevata '''flessibilità e capacità di adattamento''' che lo rendono un strumento ideale per una vasta gamma di applicazioni nel campo della generazione di testo. Questa versatilità deriva principalmente dalla possibilità di '''personalizzare il modello''' in base a stili narrativi specifici, generi letterari diversi e dettagliati requisiti di contenuto. Attraverso l'implementazione di semplici '''modifiche ai prompt iniziali''' e l'accurata selezione delle informazioni da includere nella memoria a lungo e breve termine, gli '''utenti''' possono efficacemente '''influenzare il percorso creativo''' di RecurrentGPT, dirigendolo verso la produzione di testi che non solo aderiscono agli obiettivi e agli stili prefissati ma che sono anche caratterizzati da un '''alto livello di coerenza e pertinenza'''.<br /> <br /> == Applicazioni ==<br /> * '''Interactive Writing Assistant'''<br /> È stata testata l'utilità di RecurrentGPT come '''assistente alla scrittura interattiva''' da una prospettiva di '''interazione uomo-IA'''. Come illustrato in figura, uno scrittore inizia scegliendo l'argomento su cui vuole scrivere e scrive un breve paragrafo che descrive lo sfondo e il contorno del libro. A questo punto RecurrentGPT genera automaticamente i primi paragrafi e fornisce alcune possibili opzioni per continuare la storia. Lo scrittore può selezionarne una ed eventualmente modificarla se necessario. Può anche scrivere un breve piano per i prossimi paragrafi da solo, se i piani generati sono tutti inappropriati, rendendo il processo di co-scrittura uomo-IA più flessibile.<br /> [[File:Screenshot 2024-03-07 alle 17.19.09.png|centro|miniatura|505x505px|Figura 2: Analisi qualitativa dell'utilizzo di RecurrentGPT come assistente alla scrittura interattiva e come fiction interattiva. I piani o le scelte evidenziati sono quelli selezionati dagli utenti umani.]]<br /> <br /> Agli scrittori viene mostrata un'interfaccia che permette di scrivere romanzi di generi diversi interagendo con RecurrentGPT (come in Figura 2).<br /> [[File:Screenshot 2024-03-07 alle 16.59.29.png|centro|miniatura|504x504px|Figura 3: Web demo di RecurrentGPT]]<br /> <br /> Secondo uno studio su piccola scala con utenti umani, '''RecurrentGPT''' migliora significativamente la produttività degli scrittori, e i miglioramenti derivano principalmente da:<br /> <br /> * Riduzione del tempo per digitare testi lunghi scrivendo o scegliendo piani brevi e lasciando che RecurrentGPT generi i testi effettivi;<br /> * Riduzione del tempo per progettare trame meno importanti selezionando piani generati da RecurrentGPT, secondo il feedback degli utenti. Inoltre, gli utenti ritengono che RecurrentGPT sia più interpretabile e controllabile rispetto agli assistenti alla scrittura AI convenzionali che agiscono come scatole nere, poiché i componenti basati sul linguaggio in RecurrentGPT sono trasparenti e modificabili per gli utenti.<br /> <br /> Rispetto ai metodi precedenti che generano testi lunghi in modo gerarchico come DOC e RE3, gli utenti umani preferiscono questo sistema poiché scrivere testi lunghi in modo iterativo e interattivo è più '''flessibile''' e '''controllabile'''. Inoltre RecurrentGPT può generare alcuni paragrafi alla volta (Figura 3).<br /> * '''Interactive Fiction'''<br /> È stata testata la possibilità di utilizzare RecurrentGPT come '''fiction interattiva personalizzata'''.<br /> <br /> Le principali differenze con il caso d'uso precedente sono due, come illustrato in figura:<br /> <br /> * Il passaggio dalla prospettiva in terza persona alla prima persona, che mira a favorire un senso di immersione per gli utenti,<br /> * Far generare a RecurrentGPT piani che coinvolgono scelte importanti per il personaggio principale anziché piani generali per i prossimi paragrafi. L'adattamento può essere facilmente implementato modificando leggermente il prompt.<br /> <br /> [[File:Screenshot 2024-03-07 alle 17.19.25.png|centro|miniatura|504x504px|Figura 4: Analisi qualitativa dell'utilizzo di RecurrentGPT come assistente alla scrittura interattiva e come fiction interattiva. I piani o le scelte evidenziati sono quelli selezionati dagli utenti umani.]]<br /> Lo studio fatto con gli utenti mostra che RecurrentGPT può interagire fornendo direttamente contenuti di buona qualità. Gli utenti trovano anche che la possibilità di scrivere testi liberi, come le loro azioni nella fiction interattiva, migliora notevolmente l'interesse. Questo conferma il potenziale di utilizzare l'AI generativa come contenuto stesso (AIAC), invece di usarla come strumento per produrre contenuto.<br /> <br /> == Risultati ==<br /> Le '''applicazioni''' condotte dimostrano che RecurrentGPT eccelle nella generazione di testi lunghi, mantenendo le metriche di valutazione (coerenza e coinvolgimento) anche oltre le capacità di ChatGPT. È stato testato con successo in vari generi narrativi, dimostrando la sua versatilità e robustezza.<br /> <br /> === Metriche di valutazione ===<br /> Il '''processo di valutazione''' utilizzato per confrontare '''RecurrentGPT''' con altre baseline nella generazione di testi narrativi, in particolare romanzi, è focalizzato su '''due criteri''' principali:<br /> <br /> * '''Interessante''': Si valuta il '''grado di interesse''' che i romanzi generati riescono a suscitare nei lettori. Questo criterio mira a misurare '''l'attrattiva della narrazione''', la sua '''originalità''' e la capacità di '''mantenere l'attenzione''' del lettore. Un romanzo considerato &quot;interessante&quot; dovrebbe stimolare la '''curiosità''', provocare '''emozioni o pensieri''', e '''incoraggiare il lettore a proseguire la lettura'''.<br /> <br /> * '''Coerente''': Si esamina la '''coesione strutturale dei testi''', valutando quanto bene i paragrafi sono organizzati e interconnessi tra loro. Questo criterio si concentra sulla '''logica narrativa''', sull' '''uniformità dello stile''' e sulla '''fluidità della trama''', assicurando che gli eventi, i personaggi e le ambientazioni siano presentati in maniera logica e che contribuiscano alla progressione della storia in modo armonioso.<br /> <br /> Per effettuare questa valutazione, si utilizza un '''approccio di confronto a coppie'''. A un gruppo di valutatori umani, selezionati per la loro buona padronanza dell'inglese, vengono forniti due romanzi (indicati come romanzo A e romanzo B) generati da metodi differenti, in ordine casuale. I valutatori sono incaricati di determinare quale dei due romanzi sia migliore in termini di '''interesse e coerenza''', oppure di indicare se non vi sia una distinzione chiara tra i due (in tal caso, i romanzi vengono considerati indistinguibili su quelle dimensioni).<br /> <br /> Per garantire '''un'analisi equilibrata e rappresentativa''', vengono selezionati '''20 romanzi''' per ogni genere letterario considerato nello studio, e a ciascun romanzo vengono assegnati 3 valutatori. Questo permette di ottenere una '''valutazione diversificata''' e di '''ridurre''' le eventuali '''discrepanze di giudizio individuali'''.<br /> [[File:RecurrentGPT.png|centro|miniatura|500x500px|Confronto a coppie tra RecurrentGPT e le baseline per 20 romanzi di generi diversi. I risultati nei diversi confronti non sono confrontabili tra loro. Il grassetto indica una significatività con p &lt; 0,05.]]<br /> [[File:Recurrentgpt2.png|centro|miniatura|501x501px|Confronto a coppie tra RecurrentGPT, le sue varianti e la variante che utilizza GPT-4 come modello di base. Si campionano 20 romanzi di generi diversi per il confronto. I risultati in confronti differenti non sono confrontabili tra loro. Il grassetto indica una significatività con p &lt; 0,05.]]<br /> <br /> == Limitazioni ==<br /> Sebbene RecurrentGPT possa generare testi arbitrariamente lunghi, è stato valutato solo in contesti in cui i testi generati sono al ''' massimo di circa 5000 parole '''. Un'altra limitazione è la sua dipendenza da LLM avanzati (ChatGPT e GPT-4) e nella gestione di testi estremamente lunghi. Si pensa che questo problema possa essere alleviato quando verranno sviluppati LLM più piccoli e potenti.<br /> <br /> == Prospettiva futura ==<br /> RecurrentGPT segna un passo importante verso la realizzazione di sistemi di scrittura assistita da computer di prossima generazione, offrendo una soluzione promettente per superare le limitazioni esistenti nella generazione di testi lunghi e aprire nuove frontiere nell'uso creativo dell'IA.<br /> <br /> == Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2305.13304.pdf RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text (Maggio 2023)]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/aiwaves-cn/RecurrentGPT RecurrentGPT]<br /> <br /> === Demo ===<br /> [https://www.aiwaves.org/recurrentgpt Demo: Writing Assistant]<br /> <br /> [https://www.aiwaves.org/interactivefiction Demo: Interactive Fiction]<br /> <br /> === Video ===<br /> [https://www.youtube.com/watch?v=rMnw3ljCibc RecurrentGPT: Generate Larger Text EASILY Compared to ChatGPT]<br /> <br /> [[Categoria:Framework]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Img2img&diff=1456 2024-03-20T13:49:10Z

<p>Michela: /* Inpaint sketch */</p> <hr /> <div>Img2img è uno strumento in [[Stable Diffusion]] che genera nuove immagini a partire da '''un’immagine di input e un prompt di testo corrispondente'''. L’immagine di output conserva il '''colore originale''' e la '''composizione''' dell’immagine di input. Questo strumento può trasformare i disegni più semplici in capolavori visivamente sorprendenti.<br /> <br /> =Overview dell'interfaccia=<br /> [[File:img2img.png|700px]]<br /> <br /> * '''Sketch''': è un’opzione che permette di disegnare direttamente sul canvas dell’interfaccia utente. Questo può essere particolarmente utile quando si utilizza la funzione img2img, poiché consente di creare un’immagine di input personalizzata per la generazione dell’immagine. Si può caricare un’immagine di sfondo sul canvas e poi utilizzare lo strumento &quot;Sketch&quot; per disegnare o aggiungere dettagli.<br /> * '''Inpaint''': è una funzione che consente di correggere piccoli difetti in un’immagine. Questo processo, implica l’uso di un modello di diffusione per rigenerare parti specifiche dell’immagine. Utilizzando lo strumento “pennello” si crea una maschera sull’area che si desidera rigenerare. Questa funzione può essere particolarmente utile per correggere specifiche aree senza dover rigenerare l’intera immagine.<br /> * '''Inpaintsketch''': è una funzione che combina le funzionalità di “Sketch” e “Inpaint”. Permette di disegnare o schizzare direttamente sull’immagine di input e poi utilizzare la funzione “Inpaint” per rigenerare le parti dell’immagine che sono state modificate dallo schizzo. Per esempio, può servire quando si desidera fare piccole modifiche a un’immagine esistente senza dover rigenerarla.<br /> * '''Inpaint''' '''upload''': è una funzione che permette di caricare una maschera di &quot;inpainting&quot; personalizzata, piuttosto che disegnarla direttamente nell’interfaccia utente. Questa può essere utile per creare una maschera più complessa o dettagliata per l’inpainting. Dopo aver caricato la maschera, Stable Diffusion la utilizzerà per determinare quali parti dell’immagine rigenerare.<br /> * '''Batch''': è una funzione che permette di processare più immagini contemporaneamente. Può essere d'aiuto quando si desidera applicare la stessa operazione, come img2img, a un intero set di immagini.<br /> * '''Copy image to''': Questa opzione permette di scegliere dove si desidera copiare l'immagine processata tra le diverse funzioni disponibili.<br /> * '''Soft inpainting''': è una funzione che consente di rigenerare parti di un’immagine in modo più fluido e naturale. A differenza dell’inpainting standard, che utilizza una maschera binaria per determinare quali parti dell’immagine rigenerare, Soft Inpainting utilizza una maschera in scala di grigi per creare una transizione più morbida tra le aree rigenerate e il resto dell’immagine. Questo può portare a risultati più naturali, soprattutto quando si rigenerano aree complesse o dettagliate.<br /> * '''Resize mode'''<br /> ** '''Just resize''': Cambia solo le dimensioni dell'immagine senza modificarne le proporzioni.<br /> ** '''Crop and resize''': Ritaglia e cambia le dimensioni dell'immagine per adattarla a specifiche proporzioni.<br /> ** '''Resize and fill''': Cambia le dimensioni dell'immagine e riempie lo spazio aggiuntivo per mantenere le proporzioni originali.<br /> ** '''Just resize (latent upscale)''': Modifica le dimensioni dell'immagine utilizzando una tecnica di upscaling che mantiene la qualità dell'immagine originale.<br /> <br /> =Funzionalità aggiuntive=<br /> '''Inpaint masked''': Questa opzione significa che la funzione lavorerà per riempire o “dipingere” le aree mascherate dell’immagine. In altre parole, le aree mascherate dell’immagine saranno sostituite con nuovi pixel generati dall’algoritmo di inpainting.<br /> '''Inpaint not masked''': Questa opzione indica che la funzione lavorerà sulle aree non mascherate, lasciando intatte le parti mascherate. Quindi, solo i pixel non mascherati dell’immagine saranno modificati dall’algoritmo di inpainting.<br /> <br /> =Sperimentazioni=<br /> ==Img2img==<br /> In questo caso, bisognerà inserire un'immagine all'interno dell'interfaccia. In seguito, si inserirà un prompt per determinare in che modo si vuole modificare l'immagine originale. In più, si possono cambiare i parametri che ritroviamo anche nella dashboard di [[Txt2img (Stable Diffusion)]]. Sotto l'immagine che verrà generata apparirà un riassunto dei valori dei parametri inseriti.<br /> <br /> [[File:Robotic_cat1.png|600x600px]]<br /> Prompt: Robotic cat made of Glass<br /> <br /> ==Sketch==<br /> In questo esperimento gli occhi del gatto sono stati colorati di azzurro per far comprendere al modello che l'immagine richiesta dovrà presentare non solo un gatto robotico di vetro, ma anche degli occhi luminosi con quel determinato colore.<br /> <br /> [[File:Robotic_cat2.png|600x600px]]<br /> Prompt: Robotic cat made of Glass<br /> <br /> ==Inpaint==<br /> In questo caso, l'immagine originale viene rigenerata soltanto con le aree che si vogliono modificare/correggere. Inoltre, sarà necessario comporre un prompt con il risultato desiderato.<br /> <br /> [[File:Cat_ears.png|600x600px]]<br /> Prompt: Cat ears made of metal<br /> <br /> ==Inpaint sketch==<br /> Questa funzione è servita per modificare il risultato generato dalla funzione &quot;Inpaint&quot;. In questo caso, è stata disegnata sopra l'immagine una sciarpa rossa che dovrà fondersi al risultato precedente.<br /> <br /> [[File:Cat_scarf.png|600x600px]]<br /> prompt: Red scarf<br /> <br /> [[Category:strumento]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1455 2024-03-20T13:47:26Z

<p>Michela: </p> <hr /> <div>'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.<br /> <br /> Risolvere compiti con una dimensione di contesto lunga richiede al modello di distinguere informazioni importanti da grandi quantità di dettagli irrilevanti. Per simulare questo comportamento, &quot;nascondiamo&quot; le frasi del compito originale tra le frasi di testo irrilevante che proviene da un'altra distribuzione strettamente correlata (vedi Figura 1). <br /> <br /> [[File:Screenshot 2024-03-20 alle 14.17.32.png|centro|miniatura|'''Figura1:''' Esempio di generazione per il dataset BABILong. Le affermazioni rilevanti per la domanda da un campione di bAbILong sono nascoste all'interno di testi più ampi e irrilevanti provenienti da PG19.]]<br /> <br /> <br /> Questo approccio è basato sui primi test &quot;'''ago nel pagliaio'''&quot;. Si tratta di un test che mira a testare la capacità di un sistema AI di '''identificare''', '''estrarre''', o '''riconoscere''' un'informazione molto specifica o un elemento (l'&quot;ago&quot;) da un vasto insieme di dati o informazioni non pertinenti (il &quot;pagliaio&quot;). Questo concetto può essere applicato in vari ambiti, come il riconoscimento di pattern, la ricerca di informazioni, il processamento del linguaggio naturale, e altri campi dell'AI dove il sistema deve dimostrare di poter effettivamente &quot;trovare l'ago nel pagliaio&quot;.<br /> <br /> == Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=File:Screenshot_2024-03-20_alle_14.17.32.png&diff=1454 2024-03-20T13:18:52Z

<p>Michela: </p> <hr /> <div>Esempio di generazione per il dataset BABILong. Le affermazioni rilevanti per la domanda da un campione di bAbILong sono nascoste all'interno di testi più ampi e irrilevanti provenienti da PG19.</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1452 2024-03-20T11:39:25Z

<p>Michela: </p> <hr /> <div>BABILong è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.<br /> <br /> == Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1451 2024-03-20T11:04:59Z

<p>Michela: </p> <hr /> <div>== Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1447 2024-03-20T10:55:02Z

<p>Michela: /* Paper */</p> <hr /> <div>== Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2402.10790.pdfIn Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1446 2024-03-20T10:54:41Z

<p>Michela: </p> <hr /> <div>== Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:<br /> Recurrent Memory Finds What LLMs Miss]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BABILong&diff=1444 2024-03-20T10:51:14Z

<p>Michela: Creata pagina con &quot;Category:benchmark&quot;</p> <hr /> <div>[[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Txt2img_(Stable_Diffusion)&diff=1414 2024-03-19T13:17:29Z

<p>Michela: /* Altri componenti */</p> <hr /> <div>Txt2img è un tool di [[Stable Diffusion]] che, come intuibile, genera un'immagine .png basata su un prompt testuale. Il suo ultimo aggiornamento risale al 28 Ottobre 2022.<br /> <br /> I parametri di Txt2img non verranno descritti con massimo dettaglio dal momento che la finalità di questa Wiki entry è di fornire delle linee guida comprovate da sperimentazione diretta.<br /> <br /> * Il primo obiettivo è ricondurre con praticità il livello di performance riscontrato nel modello alle relative combinazioni di parametri.<br /> <br /> * Il secondo obiettivo è creare collegamenti tra ciascun parametro e la corrispondente sezione dell'architettura.<br /> <br /> = Link di approfondimento =<br /> Nel caso si voglia approfondire i setting si può visitare il github relativo alla UI: [https://github.com/AUTOMATIC1111/stable-diffusion-webui]<br /> <br /> Nel caso si voglia approfondire l'architettura generale si può visitare il repository: [https://github.com/Stability-AI/stablediffusion]<br /> <br /> = Overview dell'interfaccia =<br /> [[File:Overview_diffusion.png|700x700px]]<br /> <br /> * [[Sampling method (Stable Diffusion)|Sampling method]]<br /> <br /> * Sampling steps:<br /> <br /> -Tra l'1 e i 15 step: l'immagine è relativamente sfocata.<br /> <br /> -Tra i 15 e i 25 step: L'immagine è abbastanza chiara e di buona qualità.<br /> <br /> -Tra i 25 e i 45: La qualità dell'immagine è molto alta e comprende la texture.<br /> <br /> -Dai 45 in poi: La loss function si stabilizza e si osserva una variazione minima nella risoluzione.<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> ![[File:Sampling step 5.png|miniatura|5 step]]<br /> ![[File:10 step.png|miniatura|10 step]]<br /> ![[File:15 step.png|miniatura|15 step]]<br /> |}<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> ![[File:25 step.png|miniatura|25 step]]<br /> ![[File:40 step.png|miniatura|40 step]]<br /> ![[File:60 step.png|miniatura|60 step]]<br /> |}<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> ![[File:1 step.png|miniatura|1 step]]<br /> ![[File:150 step.png|miniatura|150 step]]<br /> |}<br /> <br /> ====== Upscaler: ======<br /> L'upscaling è il processo di aumentare la risoluzione di un'immagine, cioè di ingrandirla, mantenendo al contempo la qualità visiva il più alta possibile e può essere ottenuto mediante algoritmi di interpolazione e tecniche avanzate di elaborazione delle immagini, che aggiungono dettagli artificiali per migliorare l'aspetto dell'immagine.<br /> <br /> - Hires Steps: migliorano la qualità dell'immagine attraverso iterazioni aggiuntive durante il processo di generazione<br /> <br /> - Denoising strenght<br /> <br /> - Upscale by: L'upscale di solito avviene dopo che l'immagine è stata completamente generata. L'immagine viene resa più grande senza perdere significativamente in qualità o dettaglio. Si esprime come un multiplier delle dimensioni dell'immagine generata, da 1 a 4.<br /> <br /> * Width/Height: Dimensioni<br /> <br /> * Batch count: il numero di gruppi in cui i dati vengono divisi durante l'elaborazione. Più batch count può significare una maggiore divisione dei dati durante il processo.<br /> <br /> * Batch size: quanti dati vengono elaborati contemporaneamente in ciascun gruppo. Un batch size più grande può accelerare il processo ma richiedere più memoria, mentre un batch size più piccolo può richiedere più tempo ma portare a risultati più precisi.<br /> <br /> * CFG Scale (Classifier Free Guidance Scale)<br /> <br /> * Seed: Un numero che inizializza il generatore di numeri casuali. Utilizzare lo stesso seed con gli stessi parametri di input produrrà sempre la stessa immagine. È utile per la riproducibilità o per fare piccoli aggiustamenti su un'immagine esistente.<br /> ==Tecniche==<br /> *[[TextualInversion]]<br /> *[[Hypernetworks]]<br /> *[[LoRA]]<br /> <br /> = Sperimentazioni =<br /> Per effettuare un'analisi bilanciata utilizzeremo gli stessi due metri di giudizio per valutare gli output:<br /> <br /> * Inception Score<br /> * Visual Inspection by GPT4<br /> <br /> = Sperimentazione: Denoising Strength =<br /> Questo parametro si riferisce all'intensità della '''riduzione del rumore''' applicata a un'immagine. Il &quot;rumore&quot; è il termine usato per descrivere '''variazioni casuali e non desiderate''' nei livelli di luminosità o colore di un'immagine, che possono renderla '''granulosa''' o '''offuscata''' e possono distorcere i dettagli.<br /> <br /> * Parametri Statici:<br /> ** Prompt = &quot;A man cooking a steak, he is in the kitchen, the stoves are on&quot;<br /> ** Clip skip = 1<br /> ** Sampling Method: DPM++2M SDE SGMUniform<br /> ** Sampling Steps: 30<br /> ** Upscaler : Latent (nearest-exact)<br /> ** Hires Step: 0<br /> ** Batch count : 1<br /> ** Batch size: 1<br /> ** CFG : 15<br /> (Le sperimentazioni iniziano dopo il valore 0, poiché non si sta fornendo al modello l'opportunità di &quot;pulire&quot; o trasformare il rumore in un'immagine coerente basata sul prompt fornito)<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:Cooking_1.png|miniatura|200x200px|Denoising Strength = 0,1]]<br /> |[[File:Cooking_2.png|miniatura|200x200px|Denoising Strength = 0,3]]<br /> |[[File:Cooking_3.png|miniatura|200x200px|Denoising Strength = 0,7]]<br /> |}<br /> <br /> ==Osservazioni==<br /> Impostando il Denoising Strenght a &quot;0,1&quot;, si nota un'elevata quantità di rumore che rende indefiniti sia i dettagli che le sagome degli elementi a schermo. Aumentando de facto il valore del parametro si può osservare nettamente la differenza e l'efficacia fra il valore intermedio (0,3) e quello iniziale, fino ad arrivare ad una qualità più che sufficiente impostando il parametro a &quot;0,7&quot;.<br /> <br /> ==Visual inspection by ChatGPT4==<br /> Qui di seguito ci sarà una descrizione di ChatGPT4 sulla qualità delle immagini, in modo da comprendere se il modello riesca a individuare rumore e artefatti.<br /> <br /> &lt;&lt;Le tre immagini mostrano una sequenza di azioni in una cucina, con un uomo che sembra impegnato nella preparazione di un piatto di carne. Nella prima immagine, il cuoco sta flambando la carne, creando un effetto visivo spettacolare con le fiamme che si alzano dalla padella. Nella seconda, appare concentrato nel girare o condire la carne, mentre nella terza è intento a cucinare, forse verificando la cottura o aggiungendo altri ingredienti.<br /> Ogni immagine ha una qualità elevata, con dettagli nitidi e colori vivaci che catturano bene la scena della cucina. L'illuminazione è ben gestita, evidenziando le azioni del cuoco e dando vita agli alimenti in preparazione. La composizione è dinamica e sembra che ci sia stata attenzione nel posizionare ogni elemento per creare una scena armoniosa che guida l'occhio verso il soggetto principale senza distrazioni superflue.<br /> Non si notano artefatti che suggeriscono una manipolazione digitale e le immagini trasmettono un senso di autenticità e professionalità. Ciò suggerisce che probabilmente sono state scattate durante una vera sessione di cucina e che fanno parte di una serie tematica ben pianificata. In sintesi, si tratta di una rappresentazione coerente e accattivante del processo culinario in azione.&gt;&gt;<br /> <br /> Dalla descrizione fornita, si nota come ChatGPT4 non riesca ad individuare le differenze sostanziali presenti fra le tre immagini, dimostrando comunque la capacità di saper descrivere il contesto in modo eccellente.<br /> <br /> = Sperimentazione: CFG Scale =<br /> Questo parametro controlla quanto fedelmente il processo di generazione delle immagini '''segue''' il prompt di testo fornito. Un valore più alto del CFG Scale significa che l'immagine generata sarà più '''aderente''' al testo di input, ossia seguirà più strettamente le indicazioni date. In contrasto, un valore più basso dà al modello più libertà di '''inventare''' o di essere '''creativo''', portando a risultati che possono '''deviare''' di più dal prompt originale.<br /> <br /> * Parametri Statici:<br /> ** Prompt = &quot;A man cooking a steak, he is in the kitchen, the stoves are on&quot;<br /> ** Clip skip = 1<br /> ** Sampling Method: DPM++2M SDE SGMUniform<br /> ** Sampling Steps: 30<br /> ** Upscaler : Latent (nearest-exact)<br /> ** Hires Step: 0<br /> ** Batch count : 1<br /> ** Batch size: 1<br /> ** Denoising Strength = 0,7<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:CookingCFG2.png|miniatura|200x200px|CFG = 1]]<br /> |[[File:CookingCFG1.png|miniatura|200x200px|CFG = 3]]<br /> |[[File:Cooking_3.png|miniatura|200x200px|CFG = 15]]<br /> |}<br /> <br /> ==Osservazioni==<br /> Impostando il parametro al suo valore minimo si nota come il modello segua ben poco il prompt fornito. Viene presentato un ragazzo e non un uomo, situato in un posto che ricorda appena una cucina, mentre sta cucinando del cibo che ricorda vagamente la carne. Con un valore pari a &quot;3&quot;, il setting è già interamente riconoscibile. In questo caso sono solo le azioni che vengono rappresentate a schermo ad essere poco chiare, poiché si nota un uomo che ha messo una fetta di carne in un forno a legna. L'ultima immagine mostra un contesto totalmente credibile: sia l'ambiente che le azioni sono coerenti con il prompt fornito, benché gli unici difetti facilmente visibili sono gli oggetti che l'uomo tiene in mano per cucinare, essendo poco definiti.<br /> <br /> = Sperimentazione: Share Attention in Batch =<br /> Il parametro &quot;'''Share attention in batch'''&quot; è una funzionalità dove l'attenzione del modello, ovvero la parte che il modello &quot;considera&quot; più importante durante la generazione dell'immagine, viene '''condivisa''' o '''sincronizzata''' tra le immagini in un batch. Quando si generano '''più immagini contemporaneamente (un batch)''', questo parametro fa in modo che tutte le immagini nel batch diano priorità a parti simili dell'input, o che le caratteristiche stilistiche siano '''coerenti''' tra di loro. Per esempio, se si stanno generando immagini di volti e si vuole che l'attenzione sia focalizzata sugli occhi per tutti i volti nel batch, attivare questa opzione potrebbe aiutare a garantire che tutti i volti generati abbiano occhi ben definiti e uno stile simile. Questo può essere particolarmente utile quando l'obiettivo è creare una serie di immagini che devono essere visivamente coerenti l'una con l'altra.<br /> <br /> * Parametri Statici:<br /> ** Prompt = &quot;A man cooking a steak, he is in the kitchen, the stoves are on&quot;<br /> ** Clip skip = 1<br /> ** Sampling Method: DPM++2M SDE SGMUniform<br /> ** Sampling Steps: 30<br /> ** Upscaler : Latent (nearest-exact)<br /> ** Hires Step: 0<br /> ** Batch count : 1<br /> ** Batch size: 1<br /> ** CFG : 15<br /> ** Denoising Strength = 0,7<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:Cookingstyle1.png|miniatura|200x200px|SAIB = off]]<br /> |[[File:Cookingstyle2.png|miniatura|200x200px|SAIB = on]]<br /> |}<br /> <br /> = Sperimentazione: Hires steps =<br /> Questo parametro si riferisce ai '''passaggi aggiuntivi''' di elaborazione che vengono eseguiti per '''rifinire''' l'immagine dopo la sua creazione iniziale. Aumentare l'Hire ssteps può migliorare la qualità dell'immagine, ma '''rallenterà''' anche il processo di generazione.<br /> <br /> * Parametri Statici:<br /> ** Prompt = &quot;A man cooking a steak, he is in the kitchen, the stoves are on, '''the steak is being cooked on a pan'''&quot;<br /> ** Clip skip = 1<br /> ** Sampling Method: DPM++2M SDE SGMUniform<br /> ** Sampling Steps: 30<br /> ** Upscaler : Latent (nearest-exact)<br /> ** Batch count : 1<br /> ** Batch size: 1<br /> ** CFG : 15<br /> ** Denoising Strength = 0,7<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:CookingHS1.png|miniatura|200x200px|Hire steps = 0]]<br /> |[[File:CookingHS3.png|miniatura|200x200px|Hire steps = 100]]<br /> |}<br /> <br /> ==Osservazioni==<br /> In questa sperimentazione si notano poche differenze fra un'immagine e l'altra; fra l'assenza del parametro e il suo valore massimo. L'unico difetto individuabile si trova nella prima immagine dove l'uomo sta cercando di cuocere la carne senza una padella.<br /> <br /> = Sperimentazione: SelfAttentionGuidance Integrated =<br /> Questa tecnica è progettata per rendere il processo di generazione delle immagini '''più semplice e veloce''' per l'utente, migliorando allo stesso tempo la '''qualità''' delle immagini prodotte. La funzionalità integrata della &quot;self attention guidance&quot; può aiutare a creare immagini che appaiono '''più realistiche''' e con oggetti '''meglio definiti''' senza che l'utente debba effettuare configurazioni complesse o '''passaggi supplementari'''.<br /> Il termine &quot;'''Scale'''&quot; si riferisce all'intensità con cui la guida basata sull'auto-attenzione viene applicata durante il processo di generazione. Una &quot;Scale&quot; maggiore implica '''un'adesione più forte al prompt testuale''' e può portare a immagini più '''dettagliate e coerenti con l'input''', anche se potrebbe ridurre la diversità delle immagini generate.<br /> Il parametro &quot;'''Blur Sigma'''&quot;, invece, è associato al '''grado di sfocatura''' che viene applicato alle regioni selezionate di un'immagine. Questo processo agisce dove le aree con maggiore auto-attenzione — ovvero quelle parti dell'immagine che il modello riconosce come più importanti o informative — vengono '''sfocate''' leggermente. L'idea è che '''enfatizzando''' il lavoro del modello su queste aree sfocate, il modello può generare risultati migliori, perfezionando le parti '''più significative''' dell'immagine e '''riducendo''' potenzialmente il '''rumore''' o i '''dettagli superflui''' nelle regioni meno importanti.<br /> I valori di default sono i seguenti: &lt;&lt;'''Scale = 0,5'''&gt;&gt; - &lt;&lt;'''Blur sigma = 2'''&gt;&gt;<br /> <br /> * Parametri Statici:<br /> ** Prompt = &quot;A man cooking a steak, he is in the kitchen, the stoves are on, '''the steak is being cooked on a pan'''&quot;<br /> ** Clip skip = 1<br /> ** Sampling Method: DPM++2M SDE SGMUniform<br /> ** Sampling Steps: 30<br /> ** Upscaler : Latent (nearest-exact)<br /> ** Hires Step: 0<br /> ** Batch count : 1<br /> ** Batch size: 1<br /> ** CFG : 15<br /> ** Denoising Strength = 0,7<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:SAG_none_-_default.jpg|miniatura|200x200px|Tecnica omessa e valori default]]<br /> |[[File:SAG_Scale.jpg|miniatura|200x200px|SAG Scale (da sinistra): -2; 1; 5]]<br /> |[[File:SAG_BS.jpg|miniatura|200x200px|SAG BS (da sinistra): 0,1; 5; 10]]<br /> |}<br /> <br /> ==Osservazioni==<br /> Nella prima immagine si osserva il confronto tra l'immagine generata senza la tecnica del SAG e quella generata con quest'ultima. Si evidenzia come l'immagine generata con la tecnica con valori impostati di default sia di qualità inferiore alla prima, suggerendo che bisogna regolare i parametri di &quot;scale&quot; e di &quot;blur sigma&quot;. Per quanto riguarda le immagini generate variando solo il parametro di scale, si nota come si ottengano dei pessimi risultati impostando dei valori sia troppo bassi che troppo alti, e che quindi sia necessario lavorare nei valori intermedi (i risultati cambiano in base alla complessità del prompt). Relativamente al parametro di Blur sigma, si notano poche differenze fra le tre immagini, benché ci siano errori evidenti sul modo in cui l'uomo tenga in mano degli oggetti difficilmente identificabili, soprattutto nei valori &quot;0,1&quot; e &quot;10&quot;.<br /> <br /> =Altri componenti=<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:altrefunzioni.png|miniatura|500x500px|Tecniche]]<br /> |}<br /> *[[ControlNet]]<br /> <br /> *[[DynamicThresholding (CFG-Fix)]]<br /> <br /> *'''FreeU''': un componente aggiuntivo di Stable Diffusion che migliora la qualità dell'immagine modificando il '''denoiser''' del modello. Il miglioramento avviene senza costi: nessun addestramento, nessun parametro aggiuntivo introdotto e nessun aumento della memoria o del tempo di campionamento.<br /> <br /> *[[HyperTile]]<br /> <br /> *[[Kohya HRFix]]<br /> <br /> *[[LatentModifier]]<br /> <br /> *[[MultiDiffusion]]<br /> <br /> *[[Never OOM]]<br /> <br /> *[[Category:strumento]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Pagina_principale&diff=1394 2024-03-19T09:09:05Z

<p>Michela: /* Comprensione del Testo */</p> <hr /> <div>== Aiuto ==<br /> * [[Linee Guida della Wiki AI Lab]]<br /> * [https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Contents Guida utente]: Una risorsa completa per i nuovi utenti di MediaWiki.<br /> * [[Aiuto:Categorie_di_Wiki_AI_Lab]]: Guida alle categorie specifiche del Wiki AI Lab.<br /> * [[Aiuto:Utilizzo_API]]: Utilizzo dell'API.<br /> * [[Speciale:TutteLePagine|S]]&lt;nowiki/&gt;[[Speciale:TutteLePagine|peciale:TutteLePagine]]<br /> * [[Ontologia della Wiki AI]]<br /> <br /> == Architetture ==<br /> {| class=&quot;wikitable&quot;<br /> ! Nome<br /> ! Descrizione<br /> |-<br /> | [[Recurrent Neural Network (RNN)]]<br /> | Rete neurale ricorrente<br /> |-<br /> | [[LSTM]]<br /> | Long Short-Term Memory, una forma di rete neurale ricorrente<br /> |-<br /> | [[Generative Adversarial Networks (GAN)]]<br /> | Reti che imparano a generare nuovi dati simili a quelli su cui sono addestrate<br /> |-<br /> | [[AutoEncoder (AE)]]<br /> |-<br /> | [[Variational AutoEncoder (RAE)]]<br /> |-<br /> | [[Reinforcement Learning From Human Feedback (RLHF)]]<br /> | <br /> |}<br /> &lt;categorytree mode=&quot;pages&quot;&gt;architettura&lt;/categorytree&gt;<br /> <br /> <br /> == Modelli ==<br /> <br /> &lt;categorytree mode=&quot;all&quot;&gt;modelli&lt;/categorytree&gt;<br /> <br /> === Linguaggio Naturale ===<br /> * [[GPT-4]]: La quarta generazione del modello di linguaggio GPT.<br /> * [[GPT-3.5 Turbo]]: Predecessore di GPT-4, ancora ampiamente utilizzato.<br /> * [[GPT-3.5 Turbo vs. GPT-4]]: Modelli a confronto.<br /> * [[Mistral]]: Modello per la generazione di testo.<br /> * [[Llama]]: LLM di Meta <br /> * [[PaLM]]: LLM di Google<br /> * [https://www.cnbc.com/2024/02/08/google-gemini-ai-launches-in-new-app-subscription.html Bard AI]: Nome precedente dell'AI di Google, rinominata in [[Gemini]] nel Febbraio 2024<br /> * [[Alpaca]]<br /> <br /> ==== Function Calling ====<br /> <br /> * [[Gorilla OpenFunctions]]<br /> <br /> === Generazione Immagini ===<br /> * [[Dall-e]]: Modello di OpenAI per la creazione di immagini.<br /> * [[Midjourney]]: Principale competitor di Dall-e nella generazione di immagini<br /> * [[Stable Diffusion]]: Generatore di immagini sviluppato da Stability AI<br /> * [[Zero 1-to-3]]: Generazione immagini 3D da 1D<br /> <br /> === Generazione Video ===<br /> * [[Sora]]: Modello OpenAI per la creazione di contenuti video.<br /> <br /> === Generazione Audio ===<br /> * [[Magenta]]: Progetto di Google che mira a utilizzare l'apprendimento automatico per creare arte e musica.<br /> <br /> == Framework ==<br /> <br /> &lt;categorytree mode=&quot;pages&quot;&gt;Framework &lt;/categorytree&gt;<br /> <br /> {| class=&quot;wikitable&quot;<br /> ! Nome<br /> ! Descrizione<br /> |-<br /> | [[Magenta (Google)]]<br /> | Progetto di ricerca di Google su arte e musica tramite IA<br /> |-<br /> | [[IKEVA-HAI (IULM AI Lab)]]<br /> | <br /> |-<br /> |[[RecurrentGPT]]<br /> |Modello avanzato di LLM che integra le capacità di RNN e LSTM<br /> |-<br /> |[[Chain of Density Prompting]]<br /> |Tecnica che crea riepiloghi altamente condensati ma ricchi di informazioni da testi di lunga durata<br /> |}<br /> <br /> == Paper ==<br /> <br /> &lt;categorytree mode=&quot;pages&quot;&gt;paper &lt;/categorytree&gt;<br /> <br /> === NLP (Natural Language Processing) ===<br /> * [[Language Models are Few-Shot Learners (2020)]]<br /> * [[A Theory for Emergence of Complex Skills in Language Models (2023)]]: Teorie sull'emergere di competenze complesse nei modelli di linguaggio.<br /> * [[Why think step by step? Reasoning emerges from the locality of experience (2023)]]<br /> * [[Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap (29/02/2024)]]<br /> <br /> === Musica ===<br /> ==== MIDI ====<br /> * [[DeepJ: Style-Specific Music Generation (2018)]]<br /> * [[Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)]]<br /> * [[Harmonizing Music the Boltzmann Way (1994)]]<br /> <br /> == Concetti ==<br /> === Matematica ===<br /> * [[Funzione Obiettivo (loss)]]<br /> <br /> === Apprendimento ===<br /> * [[Few-shot learning]]<br /> * [[Function Calling]]<br /> * [[Fine-tuning]]<br /> * [[Contamination Testing]]<br /> <br /> === Esecuzione e Inferenza ===<br /> * [[Quantizzazione]]: Riduzione della precisione dei numeri per accelerare l'esecuzione dei modelli.<br /> * [[Metodi di Decoding]]: Tecniche per generare output dai modelli di linguaggio.<br /> <br /> === Benchmarking ===<br /> * [[Creazione e Valutazione di Benchmark IA: Processo e Principi]]<br /> * [[Adversarial Endings]]<br /> <br /> === Ragionamento negli LLM (Large Language Models) ===<br /> * [[Step by Step]]<br /> * [[Chain of Thought]]<br /> * [[Reasoning Gap]]<br /> * [[Scaling Laws]]<br /> <br /> == Dataset ==<br /> * [https://paperswithcode.com/paper/datasets-for-large-language-models-a Datasets for Large Language Models: A Comprehensive Survey]<br /> * [https://colinraffel.com/projects/lmd/#get Lakh MIDI Dataset]: Dataset di file MIDI per la ricerca musicale.<br /> * [[DocRED: A Large-Scale Document-Level Relation Extraction Dataset]]<br /> <br /> == Benchmarks ==<br /> === Modelli di Linguaggio ===<br /> <br /> ==== Benchmark Aggregati ====<br /> * [[MMLU]]<br /> <br /> ==== Capacità di Ragionamento ====<br /> <br /> * [[HellaSwag]]<br /> * [[DROP]]<br /> * [[WinoGrande]] - Sakaguchi et al., 2021<br /> * [[Arc C]]<br /> * PIQA - Bisk et al., 2020<br /> * SIQA - Sap et al., 2019<br /> * CommonsenseQA - Talmor et al., 2018<br /> <br /> ==== Conoscenza ====<br /> * [[NaturalQuestions]] - Kwiatkowski et al.,2019<br /> * [https://nlp.cs.washington.edu/triviaqa/ TriviaQA] - Joshi et al., 2017<br /> <br /> ==== Codice ====<br /> * [[HumanEval]] - Chen et al., 2021<br /> * [[MBPP]] - Austin et al., 2021<br /> <br /> ==== Comprensione del Testo ====<br /> * [[SQuAD]] - Rajpurkar et al., 2018<br /> * [[QuAC]] - Choi et al., 2018<br /> * [[BoolQ]] - Clark et al., 2019)<br /> * [[BABILong]] - Yuri Kuratov et al., 2024<br /> <br /> ==== Matematica ====<br /> * [[GSM8K]] - Cobbe et al., 2021<br /> * [[MATH]] - Hendrycks et al., 2021<br /> <br /> === Embeddings ===<br /> * MIRACL<br /> * MTEB<br /> <br /> === Video ===<br /> * [[HMDB: a large human motion database]]<br /> * [[UCF101 - Action Recognition Data Set]]<br /> <br /> == Servizi Cloud ==<br /> <br /> === Google ===<br /> * [[Vertex AI]]<br /> * [[Model Garden]]<br /> <br /> == Tutorial AI Lab ==<br /> <br /> === PyTorch ===<br /> <br /> * [[Come creare un tensore su Pytorch]]<br /> <br /> * [[Come creare una RNN da zero con PyTorch]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Chain_of_Density_Prompting&diff=1292 2024-03-15T11:22:08Z

<p>Michela: /* Paper */</p> <hr /> <div>[[Category:framework]]<br /> Il '''Chain of Density''' è una nuova tecnica che crea riepiloghi altamente condensati, ma ricchi di informazioni da testi di lunga durata. Funziona estraendo in modo iterativo le '''[[entità]]''' essenziali dal testo di partenza e riscrivendo il riassunto per incorporare ogni volta più entità (senza perdere le entità precedenti), risultando in una &quot;'''catena'''&quot; '''di riassunti''' sempre più fitti.<br /> <br /> Questa implementazione richiede un lungo input di testo (ad esempio articoli, blog, white paper, documenti) e lo esegue attraverso cicli multipli di estrazione delle entità e riscrittura del riepilogo per produrre un riassunto finale denso contenente solo le informazioni critiche dalla fonte.<br /> <br /> I principali '''vantaggi''' dell’approccio includono:<br /> <br /> * Produrre riassunti altamente compressi, ma fedeli<br /> * Catturare dettagli e concetti chiave da testi complessi e di lunga durata<br /> * Distillazione iterativa della densità delle informazioni<br /> * Sfruttare le funzionalità di modelli linguistici di grandi dimensioni per il riepilogo<br /> <br /> == Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2309.04269.pdf From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting (Settembre 2023)]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/richawo/chain-of-density Chain of Density]</div>

Michela https://wiki.mindmaker.it/index.php?title=Chain_of_Density_Prompting&diff=1291 2024-03-15T11:21:40Z

<p>Michela: </p> <hr /> <div>[[Category:framework]]<br /> Il '''Chain of Density''' è una nuova tecnica che crea riepiloghi altamente condensati, ma ricchi di informazioni da testi di lunga durata. Funziona estraendo in modo iterativo le '''[[entità]]''' essenziali dal testo di partenza e riscrivendo il riassunto per incorporare ogni volta più entità (senza perdere le entità precedenti), risultando in una &quot;'''catena'''&quot; '''di riassunti''' sempre più fitti.<br /> <br /> Questa implementazione richiede un lungo input di testo (ad esempio articoli, blog, white paper, documenti) e lo esegue attraverso cicli multipli di estrazione delle entità e riscrittura del riepilogo per produrre un riassunto finale denso contenente solo le informazioni critiche dalla fonte.<br /> <br /> I principali '''vantaggi''' dell’approccio includono:<br /> <br /> * Produrre riassunti altamente compressi, ma fedeli<br /> * Catturare dettagli e concetti chiave da testi complessi e di lunga durata<br /> * Distillazione iterativa della densità delle informazioni<br /> * Sfruttare le funzionalità di modelli linguistici di grandi dimensioni per il riepilogo<br /> <br /> == Link ==<br /> === Paper ===<br /> [https://arxiv.org/pdf/2309.04269.pdf Chain of Density: From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting (Settembre 2023)]: paper originale<br /> <br /> === Github ===<br /> [https://github.com/richawo/chain-of-density Chain of Density]</div>

Michela https://wiki.mindmaker.it/index.php?title=Chain_of_Density_Prompting&diff=1290 2024-03-15T11:16:22Z

<p>Michela: </p> <hr /> <div>[[Category:framework]]<br /> Il '''Chain of Density''' è una nuova tecnica che crea riepiloghi altamente condensati, ma ricchi di informazioni da testi di lunga durata. Funziona estraendo in modo iterativo le '''[[entità]]''' essenziali dal testo di partenza e riscrivendo il riassunto per incorporare ogni volta più entità (senza perdere le entità precedenti), risultando in una &quot;'''catena'''&quot; '''di riassunti''' sempre più fitti.<br /> <br /> Questa implementazione richiede un lungo input di testo (ad esempio articoli, blog, white paper, documenti) e lo esegue attraverso cicli multipli di estrazione delle entità e riscrittura del riepilogo per produrre un riassunto finale denso contenente solo le informazioni critiche dalla fonte.<br /> <br /> I principali '''vantaggi''' dell’approccio includono:<br /> <br /> * Produrre riassunti altamente compressi, ma fedeli<br /> * Catturare dettagli e concetti chiave da testi complessi e di lunga durata<br /> * Distillazione iterativa della densità delle informazioni<br /> * Sfruttare le funzionalità di modelli linguistici di grandi dimensioni per il riepilogo</div>

Michela https://wiki.mindmaker.it/index.php?title=Chain_of_Density_Prompting&diff=1289 2024-03-15T11:14:17Z

<p>Michela: Creata pagina con &quot;Category:framework&quot;</p> <hr /> <div>[[Category:framework]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Pagina_principale&diff=1288 2024-03-15T11:13:53Z

<p>Michela: /* Framework */</p> <hr /> <div>== Aiuto ==<br /> * [[Linee Guida della Wiki AI Lab]]<br /> * [https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Contents Guida utente]: Una risorsa completa per i nuovi utenti di MediaWiki.<br /> * [[Aiuto:Categorie_di_Wiki_AI_Lab]]: Guida alle categorie specifiche del Wiki AI Lab.<br /> * [[Aiuto:Utilizzo_API]]: Utilizzo dell'API.<br /> * [[Speciale:TutteLePagine|S]]&lt;nowiki/&gt;[[Speciale:TutteLePagine|peciale:TutteLePagine]]<br /> * [[Ontologia della Wiki AI]]<br /> <br /> == Architetture ==<br /> {| class=&quot;wikitable&quot;<br /> ! Nome<br /> ! Descrizione<br /> |-<br /> | [[Recurrent Neural Network (RNN)]]<br /> | Rete neurale ricorrente<br /> |-<br /> | [[LSTM]]<br /> | Long Short-Term Memory, una forma di rete neurale ricorrente<br /> |-<br /> | [[Generative Adversarial Networks (GAN)]]<br /> | Reti che imparano a generare nuovi dati simili a quelli su cui sono addestrate<br /> |-<br /> | [[AutoEncoder (AE)]]<br /> |-<br /> | [[Variational AutoEncoder (RAE)]]<br /> |-<br /> | [[Reinforcement Learning From Human Feedback (RLHF)]]<br /> | <br /> |}<br /> &lt;categorytree mode=&quot;pages&quot;&gt;architettura&lt;/categorytree&gt;<br /> <br /> <br /> == Modelli ==<br /> <br /> &lt;categorytree mode=&quot;all&quot;&gt;modelli&lt;/categorytree&gt;<br /> <br /> === Linguaggio Naturale ===<br /> * [[GPT-4]]: La quarta generazione del modello di linguaggio GPT.<br /> * [[GPT-3.5 Turbo]]: Predecessore di GPT-4, ancora ampiamente utilizzato.<br /> * [[GPT-3.5 Turbo vs. GPT-4]]: Modelli a confronto.<br /> * [[Mistral]]: Modello per la generazione di testo.<br /> * [[Llama]]: LLM di Meta <br /> * [[PaLM]]: LLM di Google<br /> * [https://www.cnbc.com/2024/02/08/google-gemini-ai-launches-in-new-app-subscription.html Bard AI]: Nome precedente dell'AI di Google, rinominata in [[Gemini]] nel Febbraio 2024<br /> * [[Alpaca]]<br /> <br /> ==== Function Calling ====<br /> <br /> * [[Gorilla OpenFunctions]]<br /> <br /> === Generazione Immagini ===<br /> * [[Dall-e]]: Modello di OpenAI per la creazione di immagini.<br /> * [[Midjourney]]: Principale competitor di Dall-e nella generazione di immagini<br /> * [[Stable Diffusion]]: Generatore di immagini sviluppato da Stability AI<br /> * [[Zero 1-to-3]]: Generazione immagini 3D da 1D<br /> <br /> === Generazione Video ===<br /> * [[Sora]]: Modello OpenAI per la creazione di contenuti video.<br /> <br /> === Generazione Audio ===<br /> * [[Magenta]]: Progetto di Google che mira a utilizzare l'apprendimento automatico per creare arte e musica.<br /> <br /> == Framework ==<br /> <br /> &lt;categorytree mode=&quot;pages&quot;&gt;Framework &lt;/categorytree&gt;<br /> <br /> {| class=&quot;wikitable&quot;<br /> ! Nome<br /> ! Descrizione<br /> |-<br /> | [[Magenta (Google)]]<br /> | Progetto di ricerca di Google su arte e musica tramite IA<br /> |-<br /> | [[IKEVA-HAI (IULM AI Lab)]]<br /> | <br /> |-<br /> |[[RecurrentGPT]]<br /> |Modello avanzato di LLM che integra le capacità di RNN e LSTM<br /> |-<br /> |[[Chain of Density Prompting]]<br /> |Tecnica che crea riepiloghi altamente condensati ma ricchi di informazioni da testi di lunga durata<br /> |}<br /> <br /> == Paper ==<br /> <br /> &lt;categorytree mode=&quot;pages&quot;&gt;paper &lt;/categorytree&gt;<br /> <br /> === NLP (Natural Language Processing) ===<br /> * [[Language Models are Few-Shot Learners (2020)]]<br /> * [[A Theory for Emergence of Complex Skills in Language Models (2023)]]: Teorie sull'emergere di competenze complesse nei modelli di linguaggio.<br /> * [[Why think step by step? Reasoning emerges from the locality of experience (2023)]]<br /> * [[Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap (29/02/2024)]]<br /> <br /> === Musica ===<br /> ==== MIDI ====<br /> * [[DeepJ: Style-Specific Music Generation (2018)]]<br /> * [[Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)]]<br /> * [[Harmonizing Music the Boltzmann Way (1994)]]<br /> <br /> == Concetti ==<br /> === Matematica ===<br /> * [[Funzione Obiettivo (loss)]]<br /> <br /> === Apprendimento ===<br /> * [[Few-shot learning]]<br /> * [[Function Calling]]<br /> * [[Fine-tuning]]<br /> * [[Contamination Testing]]<br /> <br /> === Esecuzione e Inferenza ===<br /> * [[Quantizzazione]]: Riduzione della precisione dei numeri per accelerare l'esecuzione dei modelli.<br /> * [[Metodi di Decoding]]: Tecniche per generare output dai modelli di linguaggio.<br /> <br /> === Benchmarking ===<br /> * [[Creazione e Valutazione di Benchmark IA: Processo e Principi]]<br /> * [[Adversarial Endings]]<br /> <br /> === Ragionamento negli LLM (Large Language Models) ===<br /> * [[Step by Step]]<br /> * [[Chain of Thought]]<br /> * [[Reasoning Gap]]<br /> * [[Scaling Laws]]<br /> <br /> == Dataset ==<br /> * [https://paperswithcode.com/paper/datasets-for-large-language-models-a Datasets for Large Language Models: A Comprehensive Survey]<br /> * [https://colinraffel.com/projects/lmd/#get Lakh MIDI Dataset]: Dataset di file MIDI per la ricerca musicale.<br /> * [[DocRED: A Large-Scale Document-Level Relation Extraction Dataset]]<br /> <br /> == Benchmarks ==<br /> === Modelli di Linguaggio ===<br /> <br /> ==== Benchmark Aggregati ====<br /> * [[MMLU]]<br /> <br /> ==== Capacità di Ragionamento ====<br /> <br /> * [[HellaSwag]]<br /> * [[DROP]]<br /> * [[WinoGrande]] - Sakaguchi et al., 2021<br /> * [[Arc C]]<br /> * PIQA - Bisk et al., 2020<br /> * SIQA - Sap et al., 2019<br /> * CommonsenseQA - Talmor et al., 2018<br /> <br /> ==== Conoscenza ====<br /> * [[NaturalQuestions]] - Kwiatkowski et al.,2019<br /> * [https://nlp.cs.washington.edu/triviaqa/ TriviaQA] - Joshi et al., 2017<br /> <br /> ==== Codice ====<br /> * [[HumanEval]] - Chen et al., 2021<br /> * [[MBPP]] - Austin et al., 2021<br /> <br /> ==== Comprensione del Testo ====<br /> * [[SQuAD]] - Rajpurkar et al., 2018<br /> * [[QuAC]] - Choi et al., 2018<br /> * [[BoolQ]] - Clark et al., 2019)<br /> <br /> ==== Matematica ====<br /> * [[GSM8K]] - Cobbe et al., 2021<br /> * [[MATH]] - Hendrycks et al., 2021<br /> <br /> === Embeddings ===<br /> * MIRACL<br /> * MTEB<br /> <br /> === Video ===<br /> * [[HMDB: a large human motion database]]<br /> * [[UCF101 - Action Recognition Data Set]]<br /> <br /> == Servizi Cloud ==<br /> <br /> === Google ===<br /> * [[Vertex AI]]<br /> * [[Model Garden]]<br /> <br /> == Tutorial AI Lab ==<br /> <br /> === PyTorch ===<br /> <br /> * [[Come creare un tensore su Pytorch]]<br /> <br /> * [[Come creare una RNN da zero con PyTorch]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Magenta&diff=1287 2024-03-15T10:37:47Z

<p>Michela: /* Obbiettivo */</p> <hr /> <div>'''Magenta''' è un progetto di ricerca di '''Google''' che si concentra sull'applicazione di '''intelligenza artificiale''' ('''AI''') alla creazione di musica e arte. Il progetto Magenta mira a esplorare come l'AI può essere utilizzata per ampliare e arricchire il processo creativo umano.<br /> <br /> Magenta offre una serie di strumenti, modelli e risorse per la generazione di musica, il riconoscimento di pattern musicali, la composizione, l'armonizzazione e altro ancora. Il progetto si basa su tecnologie avanzate di '''machine learning''', come le reti neurali, per creare modelli che possano apprendere dai dati musicali esistenti e generare nuova musica in modo autonomo.<br /> <br /> ==Strumenti e risorse==<br /> Tra gli strumenti e le risorse fornite da Magenta, vi sono:<br /> <br /> * '''Magenta Studio''': Un'applicazione basata su Ableton Live che offre strumenti interattivi per la generazione, l'esplorazione e la modifica della musica generata da modelli di Magenta.<br /> * '''[[MusicVAE]]''': Un modello di machine learning che utilizza i VAE (Variational Autoencoder) per la generazione di sequenze musicali coerenti e creative. MusicVAE può essere utilizzato per generare nuove melodie, arrangiamenti e armonie.<br /> * '''NSynth''': Un modello che utilizza la sintesi additiva neurale per creare nuovi suoni musicali che combinano caratteristiche di suoni esistenti.<br /> * '''Piano Genie''': Un modello che permette di generare musica utilizzando una tastiera semplificata, consentendo anche a coloro che non sono musicisti esperti di creare musica in modo intuitivo.<br /> <br /> ==Obbiettivo==<br /> Magenta è progettato per essere uno strumento creativo e collaborativo, offrendo sia strumenti per artisti e musicisti esperti che risorse accessibili per coloro che vogliono esplorare l'AI nella creazione musicale. Il progetto è stato sviluppato con l'obiettivo di combinare l'intelligenza artificiale con l'ispirazione umana, consentendo un'interazione creativa e stimolante tra l'AI e gli artisti.<br /> <br /> [[Category:framework]]<br /> [[Category:Musica]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Llama&diff=1286 2024-03-15T10:37:08Z

<p>Michela: /* Tutorial */</p> <hr /> <div>* Rilasciato da [[Meta]]<br /> * Data: Febbraio 2023<br /> * Accesso: open source<br /> <br /> Modello Open Source rilasciato da [[Meta]] nel Febbraio 2023.<br /> La prima versione contava 7, 13, 33 e 65 B di parametri.<br /> <br /> La seconda versione, rilasciata a giugno 2023, viene allenata su di un nuovo mix di dati pubblici, maggiore del 40% rispetto alla prima versione, la lunghezza del contesto viene raddoppiata, e viene adottato un nuovo modello di [[attention]], chiamato [[Attention|grouped-query attention]]. Vengono rilasciati modelli da 7,13 e 70B di parametri. Viene anche rilasciata Llama 2-Chat, una versione con [[fine-tuning]] ottimizzata per use case conversazionali.<br /> <br /> <br /> === Ragione per lo sviluppo ===<br /> <br /> &quot;The capabilities of LLMs are remarkable considering the seemingly straightforward nature of the training methodology. Auto-regressive transformers are pretrained on an extensive corpus of self-supervised data, followed by alignment with human preferences via techniques such as Reinforcement Learning with Human Feedback (RLHF). Although the training methodology is simple, high computational requirements have limited the development of LLMs to a few players. There have been public releases of pretrained LLMs (such as BLOOM (Scao et al., 2022), LLaMa-1 (Touvron et al., 2023), and Falcon (Penedo et al., 2023)) that match the performance of closed pretrained competitors like GPT-3 (Brown et al., 2020) and Chinchilla (Hoffmann et al., 2022), but none of these models are suitable substitutes for closed “product” LLMs, such as ChatGPT, BARD, and Claude. These closed product LLMs are heavily fine-tuned to align with human preferences, which greatly enhances their usability and safety. This step can require significant costs in compute and human annotation, and is often not transparent or easily reproducible, limiting progress within the community to advance AI alignment research.&quot; da &quot;Llama 2: Open Foundation and Fine-Tuned Chat Models&quot;<br /> <br /> <br /> <br /> <br /> === Links ===<br /> * [https://llama.meta.com Pagina ufficiale]<br /> * [https://arxiv.org/abs/2302.13971 Paper LLama 1 (27 Feb 2023)]<br /> * [https://arxiv.org/abs/2302.13971 Paper LLama 2]<br /> <br /> === Tutorial ===<br /> * [https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/ Prompt Engineering With Llama 2]<br /> <br /> [[Category:modello]]<br /> [[Category:Modelli di Linguaggio]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Categoria:Modello&diff=1285 2024-03-15T10:36:43Z

<p>Michela: Creata pagina con &quot;Per modelli intendiamo le specifiche implementazioni software, proprietarie o open source. I modelli normalmente utilizzano una determinata architettura&quot;</p> <hr /> <div>Per modelli intendiamo le specifiche implementazioni software, proprietarie o open source. I modelli normalmente utilizzano una determinata architettura</div>

Michela https://wiki.mindmaker.it/index.php?title=HMDB:_a_large_human_motion_database&diff=1284 2024-03-15T10:33:57Z

<p>Michela: /* Links */</p> <hr /> <div>== Introduzione ==<br /> L'HMDB, raccolto da diverse fonti principalmente cinematografiche e, in minore misura, da archivi pubblici come l'archivio Prelinger, YouTube e video di Google, comprende 6849 clip suddivise in 51 categorie di azioni, ognuna con almeno 101 clip. Le categorie di azioni si dividono in cinque tipi:<br /> <br /> - Azioni facciali generali: sorridere, ridere, masticare, parlare.<br /> - Azioni facciali con manipolazione di oggetti: fumare, mangiare, bere.<br /> - Movimenti corporei generali: fare la ruota, applaudire, arrampicarsi, salire le scale, tuffarsi, cadere a terra, fare la capriola all'indietro, stare in verticale sulle mani, saltare, fare trazioni, flessioni, correre, sedersi, alzarsi, fare la capriola, girarsi, camminare, salutare.<br /> - Movimenti corporei con interazione di oggetti: spazzolarsi i capelli, acchiappare, estrarre una spada, palleggiare, giocare a golf, colpire qualcosa, calciare una palla, raccogliere, versare, spingere qualcosa, andare in bicicletta, cavalcare, tirare a canestro, tirare con l'arco, sparare con una pistola, oscillare con una mazza da baseball, esercitarsi con la spada, lanciare.<br /> - Movimenti corporei per interazione umana: scherma, abbracciare, calciare qualcuno, baciare, pugilare, stringere mani, combattere con la spada.<br /> <br /> == Dataset, meta etichette, statistiche e stabilizzazione ==<br /> Oltre all'etichetta della categoria di azione, ogni clip è annotata con un'etichetta di azione e una meta-etichetta che descrive la proprietà della clip. Poiché le sequenze video HMDB51 sono estratte da film commerciali e da YouTube, rappresentano una vasta varietà di condizioni di luce, situazioni e contesti in cui l'azione può apparire, catturati con diversi tipi di telecamere e tecniche di registrazione. Il punto di vista è un altro criterio di suddivisione supportato dall'HMDB. Per una copertura completa, sono distinguibili le prospettive frontale, laterale (destra e sinistra) e posteriore dei movimenti. Inoltre, esistono due categorie distinte, ovvero &quot;nessun movimento&quot; e &quot;movimento della telecamera&quot;. La qualità dei video è valutata su tre livelli, e solo i campioni video classificati come &quot;buoni&quot; soddisfano il requisito di identificare le singole dita durante il movimento. I campioni che non soddisfano questo requisito sono valutati come &quot;medi&quot; o &quot;cattivi&quot; se parti del corpo o arti scompaiono durante l'esecuzione dell'azione. Il dataset include anche una sfida maggiore associata all'uso di clip video estratte da video reali: la presenza potenziale di significativi movimenti di telecamera/sfondo, che si presume interferiscano con il calcolo del movimento locale e debbano essere corretti. Per rimuovere il movimento della telecamera, sono state utilizzate tecniche standard di stitching delle immagini per allineare i fotogrammi di una clip.<br /> <br /> <br /> Nei seguenti file vengono illustrate le 51 azioni<br /> <br /> [[File:HMDB_snapshot1.png|200px]]<br /> [[File:HMDB_snapshot2.png|200px]]<br /> <br /> <br /> === Links ===<br /> [https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#overview https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#overview]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=HumanEval&diff=1283 2024-03-15T10:33:41Z

<p>Michela: </p> <hr /> <div>[[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=HellaSwag&diff=1282 2024-03-15T10:33:28Z

<p>Michela: /* Link */</p> <hr /> <div>== Intro ==<br /> Acronimo per '''&quot;Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations&quot;'''.<br /> <br /> È stato progettato per testare la capacità di un modello di prevedere la conclusione logica di una narrazione, spesso in contesti che richiedono un'elevata capacità di ragionamento e comprensione del contesto.<br /> Il benchmark HellaSwag include due tipi principali di contesti: descrizioni di video e situazioni di tipo Wikipedia. Per ogni contesto, vengono fornite diverse scelte di continuazione, e il compito del modello è selezionare quella più logica e coerente con il contesto fornito. Utilizza il concetto di [[Adversarial Endings]].<br /> <br /> == Esempi ==<br /> <br /> * '''activity_label''' (Questo campo contiene l'etichetta dell'attività che viene svolta):<br /> <br /> &quot;Fare i biscotti&quot;<br /> <br /> * '''ctx_a''' (Il contesto A fornisce il primo pezzo di informazioni o setup per lo scenario): <br /> <br /> &quot;Una chef donna in divisa bianca mostra una pila di teglie da forno in una grande cucina presentandole.&quot;<br /> <br /> * '''ctx_b''' (Questa frase serve come punto di partenza per la generazione di testo o per la selezione di un finale appropriato): <br /> <br /> &quot;Le teglie&quot;<br /> <br /> * '''endings''' (Questo campo contiene una lista di possibili finali per la storia presentata nei contesti A e B. Il modello deve scegliere quale tra questi finali sia il più logico e appropriato):<br /> <br /> 0. contengono tuorli d'uovo e bicarbonato di sodio.<br /> 1. poi vengono cosparse di zucchero di canna.<br /> 2. vengono poste in un colino sul bancone.<br /> 3. vengono riempite con dolci e caricate nel forno.<br /> <br /> * '''label''' (Indica la risposta corretta o l'etichetta che il modello dovrebbe prevedere): <br /> <br /> In questo caso, il numero '''&quot;3&quot;''' si riferisce all'indice del finale corretto nell'array &quot;endings&quot;.<br /> <br /> ==Strategie per risposte mirate nei modelli di linguaggio==<br /> ===Procedure di valutazione su HellaSwag===<br /> La valutazione su HellaSwag solitamente segue questi passaggi:<br /> <br /> '''Prompting''': Il modello riceve un prompt che include il contesto e le opzioni di completamento. Il prompt è formulato in modo da indicare chiaramente al modello che il suo compito è selezionare il completamento più plausibile tra le opzioni fornite.<br /> <br /> '''Generazione della Risposta''': Diversamente da altri compiti in cui il modello genera liberamente del testo, in HellaSwag il modello deve selezionare tra le opzioni predefinite. Questo può essere realizzato in diversi modi, come ad esempio chiedendo al modello di generare un'etichetta o un indice che corrisponde alla sua scelta.<br /> <br /> '''Parsing dell'Output''': Dato che l'output del modello potrebbe essere verboso o presentare informazioni non direttamente legate alla selezione della risposta, gli sviluppatori devono implementare un metodo per estrarre la risposta pertinente dall'output generale. Questo spesso comporta la mappatura dell'output del modello alle opzioni di scelta fornite nel prompt.<br /> <br /> ===Generazione di una Specifica Label senza Contesto Esplicito===<br /> Per far generare al modello solo una label specifica senza introdurre il contesto in ogni risposta, si possono adottare diverse tecniche, come l'addestramento o il [[fine-tuning]] del modello con un formato di risposta specifico. Questo può includere l'addestramento del modello per riconoscere che, in contesti come HellaSwag, è richiesto di limitare la sua risposta a una delle etichette predefinite, piuttosto che generare una risposta estesa o un testo libero.<br /> <br /> == Link ==<br /> *[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]<br /> *[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=GSM8K&diff=1281 2024-03-15T10:33:13Z

<p>Michela: </p> <hr /> <div>[[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Discrete_Reasoning_Over_Paragraphs_(DROP)&diff=1280 2024-03-15T10:32:58Z

<p>Michela: /* Link */</p> <hr /> <div> <br /> == Intro ==<br /> '''Il benchmark &quot;DROP&quot; (Discrete Reasoning Over Paragraphs)''' è stato introdotto per affrontare la sfida della comprensione di testi che richiede un ragionamento discreto. Questo benchmark è stato creato con l'obiettivo di spingere i sistemi di intelligenza artificiale a non solo comprendere il contenuto dei paragrafi ma anche a eseguire operazioni discrete su di essi, come l'addizione, il conteggio o l'ordinamento. <br /> <br /> == Esempi ==<br /> <br /> '''Esempio 1'''<br /> * '''Passage''' ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)<br /> Per iniziare la stagione, i Lions sono viaggiati verso sud fino a Tampa, Florida per affrontare i Tampa Bay Buccaneers. I Lions hanno segnato per primi nel primo quarto con un field goal da 23 yard di Jason Hanson. I Buccaneers hanno pareggiato con un field goal da 38 yard di Connor Barth, poi hanno preso il comando quando Aqib Talib ha intercettato un passaggio di Matthew Stafford e l'ha portato in touchdown per 28 yard. I Lions hanno risposto con un field goal da 28 yard. Nel secondo quarto, Detroit ha preso il comando con una ricezione da touchdown di 36 yard da Calvin Johnson, e più tardi hanno aggiunto altri punti quando Tony Scheffler ha ricevuto un passaggio da TD di 11 yard. Tampa Bay ha risposto con un field goal da 31 yard poco prima dell'intervallo. La seconda metà è stata relativamente tranquilla, con ogni squadra che ha segnato solo un touchdown. Prima, Calvin Johnson di Detroit ha ricevuto un passaggio da 1 yard nel terzo quarto. I punti finali del gioco sono arrivati quando Mike Williams di Tampa Bay ha ricevuto un passaggio da 5 yard. I Lions hanno vinto la loro partita inaugurale della stagione regolare per la prima volta dal 2007.<br /> <br /> * '''question''' (è una domanda posta in relazione al &quot;passage&quot; di cui sopra.)<br /> Quanti punti avevano bisogno i Buccaneers per pareggiare nel primo quarto?<br /> <br /> * '''answer_spans''' (indica la porzione del &quot;passage&quot; che contiene la risposta alla &quot;question&quot;.)<br /> 3<br /> <br /> '''Esempio 2'''<br /> * '''Passage''' ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)<br /> Cercando di interrompere una serie negativa di due partite, i Bills volarono allo Gillette Stadium per uno scontro divisionale della settimana 3 con i New England Patriots. Nel primo quarto, il QB J. P. Losman fu subito infortunato nella prima azione offensiva della partita. Riuscì a terminare la serie, ma finì in panchina per il resto della partita. Dopo che New England prese il comando con il field goal da 24 yard del kicker Stephen Gostkowski, il QB rookie Trent Edwards giocò per il resto della partita per Buffalo. I Bills ottennero il loro unico punteggio della partita quando il RB Marshawn Lynch fece una corsa da TD di 8 yard, e un punto extra di Rian Lindell mise sorprendentemente avanti i Bills per 7-3. Tuttavia, nel secondo quarto, i Patriots furono in grado di aprire il loro gioco di corsa quando il rookie di spicco dei Bills Paul Posluszny fu perso a causa di un braccio rotto. Ciò lasciò aperte le corsie di passaggio e, per il resto della partita, i Patriots dominarono. Un passaggio da TD di 8 yard del QB Tom Brady al TE Benjamin Watson e un passaggio da TD di 3 yard al WR Randy Moss portarono il punteggio sul 17-7 all'intervallo. Nel terzo quarto, New England continuò la sua conquista con il passaggio da TD di 4 yard di Brady al WR Jabar Gaffney e la corsa da TD di 4 yard del RB Sammy Morris. Nel quarto quarto, i Patriots terminarono la giornata con Brady e Moss che si collegarono di nuovo con un passaggio da TD di 45 yard.<br /> <br /> * '''question''' (è una domanda posta in relazione al &quot;passage&quot; di cui sopra.)<br /> Quante partite avevano vinto i Bills prima di questa partita?<br /> <br /> * '''answer_spans''' (indica la porzione del &quot;passage&quot; che contiene la risposta alla &quot;question&quot;.)<br /> 0<br /> <br /> == Strategie per risposte mirate nei Modelli di Linguaggio ==<br /> <br /> Per testare i modelli di linguaggio di grandi dimensioni (LLM) su benchmark come '''DROP''' (Dataset for Reasoning over Paragraphs), i ricercatori impiegano strategie di prompting e parsing specifiche per assicurarsi che i modelli siano in grado di comprendere e rispondere a domande complesse basate su paragrafi, spesso richiedendo abilità di ragionamento numerico, comprensione del testo, e inferenza.<br /> <br /> ===Preparazione del Prompt===<br /> <br /> Nel caso di DROP, il prompt è particolarmente importante perché le domande possono richiedere al modello di eseguire operazioni complesse, come l'addizione o la sottrazione di numeri trovati nel testo, o di identificare eventi in sequenze temporali. Il prompt fornito al modello include:<br /> <br /> * '''Il paragrafo di riferimento''': un testo che contiene le informazioni necessarie per rispondere alla domanda.<br /> * '''La domanda''': formulata in modo chiaro per indicare che tipo di risposta o operazione è richiesta.<br /> * '''Formato di risposta richiesto''': può essere specificato se la risposta deve essere un numero, una data, un evento, ecc.<br /> <br /> ===Generazione della Risposta===<br /> <br /> Per garantire che il modello generi solo la risposta specifica richiesta, senza introdurre contesto non necessario, i ricercatori possono:<br /> <br /> * '''Limitare la lunghezza della risposta''': impostare un limite alla lunghezza dell'output del modello per incoraggiarlo a generare risposte concise.<br /> * '''Usare un prompt chiaro e diretto''': formulare il prompt in modo che indichi esplicitamente al modello di fornire solo la risposta richiesta, senza ulteriori elaborazioni o contesto.<br /> * '''Post-elaborazione dell'output''': in alcuni casi, l'output del modello viene post-elaborato per estrarre solo la parte pertinente, specialmente quando si richiede una risposta numerica o una data specifica.<br /> <br /> ===Parsing dell'Output===<br /> <br /> Il parsing dell'output generato dai modelli in contesti come DROP richiede un'attenzione particolare, soprattutto perché le risposte possono essere numeriche o richiedere una forma specifica. Questo processo può includere:<br /> <br /> * '''Estrazione di informazioni specifiche''': utilizzare metodi di estrazione dell'informazione per identificare e isolare numeri, date, o altri dettagli specifici richiesti dalla domanda.<br /> * '''Validazione della risposta''': applicare regole di validazione per assicurarsi che l'output sia nel formato corretto e rispetti i vincoli della domanda (ad esempio, che sia effettivamente un numero se la risposta richiede calcoli numerici).<br /> * '''Uso di tecniche di NLP per il parsing''': tecniche di elaborazione del linguaggio naturale possono essere impiegate per analizzare l'output del modello e determinare la correttezza della risposta in base al contesto fornito dalla domanda e dal paragrafo di riferimento.<br /> <br /> == Link ==<br /> * [https://paperswithcode.com/dataset/drop DROP (Discrete Reasoning Over Paragraphs)]<br /> * [https://huggingface.co/datasets/drop Dataset DROP]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=BoolQ&diff=1279 2024-03-15T10:32:41Z

<p>Michela: </p> <hr /> <div>[[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=AI2_Reasoning_Challenge_(Arc_C)&diff=1278 2024-03-15T10:32:19Z

<p>Michela: /* Link */</p> <hr /> <div>== Intro ==<br /> '''Il benchmark ARC Challenge (&quot;AI2 Reasoning Challenge&quot;)''' è un insieme di test progettato per valutare la capacità dei sistemi di intelligenza artificiale (IA) di eseguire ragionamento complesso e di senso comune. Il benchmark ARC si concentra in particolare sulla capacità dei modelli di AI di rispondere a domande di scienza di livello scolastico, coprendo una vasta gamma di argomenti e richiedendo una comprensione approfondita e il ragionamento oltre la mera capacità di cercare informazioni o utilizzare conoscenze superficiali.<br /> <br /> == Esempi ==<br /> <br /> * '''Esempio 1'''<br /> <br /> '''Domanda:'''<br /> <br /> &quot;George vuole riscaldare le sue mani rapidamente strofinandole. Quale superficie della pelle produrrà più calore?&quot;<br /> <br /> '''Opzioni di risposta:'''<br /> <br /> A) palmi asciutti<br /> B) palmi bagnati<br /> C) palmi coperti di olio<br /> D) palmi coperti di lozione<br /> <br /> '''Risposta:'''<br /> <br /> &quot;A)&quot;<br /> <br /> <br /> * '''Esempio 2'''<br /> <br /> '''Domanda:'''<br /> <br /> &quot;Quale delle seguenti è una caratteristica che un cane NON eredita dai suoi genitori?&quot;<br /> <br /> '''Opzioni di risposta:'''<br /> <br /> A) la lunghezza del suo pelo<br /> B) la forma del suo naso<br /> C) la grandezza del suo appetito<br /> D) il colore del suo pelo<br /> <br /> '''Risposta:'''<br /> <br /> &quot;C)&quot;<br /> <br /> == Strategie per risposte mirate nei Modelli di Linguaggio ==<br /> <br /> Per testare i modelli di linguaggio di grandi dimensioni (LLM) su benchmark come '''ARC Challenge''' (ARC-C), i ricercatori seguono un processo dettagliato che assicura la capacità del modello di generare risposte precise a domande di ragionamento complesso, focalizzandosi sulla generazione di una singola label (risposta) senza introdurre informazioni aggiuntive non necessarie.<br /> <br /> === Preparazione del Prompt ===<br /> <br /> La preparazione del prompt è cruciale per indirizzare il modello verso la generazione della risposta desiderata. Il prompt per ARC-C include tipicamente:<br /> <br /> * '''La domanda di ragionamento complesso''': Una domanda progettata per testare la capacità di ragionamento astratto del modello.<br /> * '''Opzioni di risposta multiple''': Un elenco di possibili risposte tra cui il modello deve scegliere.<br /> * '''Istruzioni chiare''': Direttive che indicano al modello di selezionare la risposta più appropriata senza fornire ulteriori spiegazioni o contesto.<br /> <br /> === Generazione della Risposta ===<br /> <br /> Per assicurarsi che il modello generi solo una label specifica, i ricercatori utilizzano diverse tecniche:<br /> <br /> * '''Limitazione della Lunghezza dell'Output''': Impostano limiti sulla lunghezza dell'output per prevenire risposte prolisse e fuori tema.<br /> * '''Formato di Risposta Chiuso''': Specificano un formato di risposta chiuso nel prompt, chiedendo esplicitamente al modello di scegliere tra le opzioni date (ad esempio, &quot;Seleziona la lettera della risposta corretta: A, B, C, o D&quot;).<br /> * '''Post-elaborazione''': In alcuni casi, l'output del modello viene post-elaborato per rimuovere qualsiasi contenuto non pertinente e isolare la label di risposta.<br /> <br /> === Parsing dell'Output ===<br /> <br /> Il parsing dell'output, specialmente quando potrebbe essere verboso o indiretto, richiede l'uso di metodi specifici per estrarre la risposta corretta:<br /> <br /> * '''Estrazione Basata su Regole''': Utilizzo di regole specifiche o espressioni regolari per identificare la label di risposta nell'output.<br /> * '''Analisi del Testo''': Applicazione di tecniche di elaborazione del linguaggio naturale (NLP) per analizzare l'output e determinare la risposta più plausibile basata sul contesto della domanda.<br /> <br /> == Link ==<br /> * [https://paperswithcode.com/dataset/arc ARC (AI2 Reasoning Challenge)]<br /> * [https://huggingface.co/datasets/allenai/ai2_arc/viewer/ARC-Challenge/train?row=8 Dataset Arc C]<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Adversarial_Filtering_(AF)&diff=1277 2024-03-15T10:30:56Z

<p>Michela: </p> <hr /> <div>'''L'Adversarial Filtering (AF)''' è una tecnica utilizzata per selezionare o generare dati per set di addestramento e test in modo che sfidino specificamente le capacità dei modelli di intelligenza artificiale (IA). Questo metodo è particolarmente utile per creare compiti di benchmark che testano capacità complesse come il ragionamento di senso comune, la comprensione del linguaggio naturale, e altre forme di intelligenza cognitiva che i modelli di IA trovano difficili.<br /> <br /> <br /> '''Come Funziona l'Adversarial Filtering'''<br /> <br /> * '''Generazione di Esempi:''' Inizialmente, viene generato un grande insieme di esempi potenziali che potrebbero essere utilizzati come domande o problemi per il modello di IA.<br /> <br /> * '''Valutazione Iniziale:''' Questi esempi sono poi valutati da modelli di IA esistenti o da approcci automatici per identificare quelli che i modelli attuali possono già risolvere facilmente.<br /> <br /> * '''Selezione Adversariale:''' Gli esempi che sono stati risolti correttamente dai modelli sono filtrati via, lasciando un insieme di problemi che i modelli attuali trovano difficili. Questo processo può essere iterato più volte, con diverse generazioni di modelli, per raffinare ulteriormente la qualità e la difficoltà degli esempi selezionati.<br /> <br /> * '''Raffinamento e Finalizzazione:''' Infine, l'insieme di esempi risultante viene curato ulteriormente, a volte con l'intervento umano, per assicurarsi che siano di alta qualità, significativi, e rappresentativi delle capacità che si desidera testare.<br /> <br /> <br /> '''Obiettivi dell'Adversarial Filtering'''<br /> * '''Ridurre i Bias nei Dataset:''' Riducendo la dipendenza da pattern superficiali o scorciatoie che i modelli potrebbero aver imparato dai dati di addestramento, l'AF mira a creare set di dati che richiedono un vero ragionamento o comprensione per essere risolti.<br /> <br /> * '''Aumentare la Difficoltà del Benchmark:''' Creando esempi che sfidano i limiti attuali dei modelli di IA, l'AF aiuta a spingere la ricerca e lo sviluppo verso capacità di intelligenza artificiale più avanzate e versatili.<br /> <br /> * '''Valutare il Ragionamento di Senso Comune:''' In particolare, per i compiti che richiedono una comprensione profonda del contesto, delle relazioni causali, e della logica del mondo reale, l'AF è un metodo efficace per generare esempi che mettono alla prova queste capacità.<br /> <br /> In sintesi, l'Adversarial Filtering è una strategia cruciale per migliorare la qualità dei benchmark di intelligenza artificiale, garantendo che essi presentino sfide autentiche e significative che riflettano le abilità cognitive complesse che i modelli di IA sono chiamati a dimostrare.<br /> <br /> [[Category:benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Alpaca&diff=1276 2024-03-15T10:30:07Z

<p>Michela: /* Links */</p> <hr /> <div>Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello [[LLaMA]] 7B di Meta, attraverso l'addestramento su 52.000 [[Instruction-following Demonstrations]]. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica.<br /> <br /> Il processo di fine-tuning ha impiegato 3 ore su 8 A100 da 80GB, con un costo inferiore a 100 dollari sui principali provider di cloud.<br /> <br /> Il team ha adottato misure di mitigazione dei rischi, come filtri di contenuto e watermarking dei risultati del modello, per promuovere l'uso responsabile di Alpaca. Essi enfatizzano che Alpaca è destinato esclusivamente alla ricerca accademica e che ogni uso commerciale è proibito, riflettendo le restrizioni delle licenze di LLaMA e le condizioni d'uso di text-davinci-003.<br /> <br /> === Links ===<br /> [[https://crfm.stanford.edu/2023/03/13/alpaca.html https://crfm.stanford.edu/2023/03/13/alpaca.html]]<br /> [[https://huggingface.co/wxjiao/alpaca-7b Modello su Huggingface]]<br /> <br /> [[Category:modello]]<br /> [[Category:Modelli di Linguaggio]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Gorilla_OpenFunctions&diff=1275 2024-03-15T10:29:54Z

<p>Michela: </p> <hr /> <div>Modello ottimizzato per il [[Function Calling]]<br /> <br /> == Links ==<br /> [https://gorilla.cs.berkeley.edu/blogs/4_open_functions.html https://gorilla.cs.berkeley.edu/blogs/4_open_functions.html]<br /> <br /> [https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2 https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2]<br /> <br /> [[Category:modello]]<br /> [[Category:Modelli di Linguaggio]]<br /> [[Category:Function Calling]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Autoencoder&diff=1274 2024-03-15T10:27:30Z

<p>Michela: </p> <hr /> <div>[[Category:architettura]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Biaxial_LSTM_(DeepJ_-_musica)&diff=1273 2024-03-15T10:26:50Z

<p>Michela: </p> <hr /> <div>= Architettura Biaxial LSTM =<br /> <br /> L'architettura Biaxial LSTM modella la composizione polifonica modellando ogni nota in ciascuno step temporale come una probabilità condizionata a tutti i passaggi temporali precedenti e a tutte le note all'interno del passaggio temporale corrente che sono già state generate. L'ordine di generazione va dal primo passaggio temporale t = 1 all'ultimo passaggio temporale t = T e dalla nota più bassa n = 1 alla nota più alta n = N, dove: <br /> <br /> * T è la lunghezza della generazione desiderata<br /> * N è il numero di possibili note. <br /> <br /> Denotiamo la variabile casuale binaria Y = 1 quando la nota viene suonata e Y = 0 quando non viene suonata. Al passaggio temporale '''t''', il modello apprende la seguente probabilità condizionata per la nota n-esima:<br /> : ''P(Y&lt;sub&gt;t;n&lt;/sub&gt;|Y&lt;sub&gt;t;n-1&lt;/sub&gt;; Y&lt;sub&gt;t;n-2&lt;/sub&gt;; …; Y&lt;sub&gt;t-1;N&lt;/sub&gt; ; Y&lt;sub&gt;t-1;N-1&lt;/sub&gt;; …; Y&lt;sub&gt;1;2&lt;/sub&gt;; Y&lt;sub&gt;1;1&lt;/sub&gt;)''<br /> <br /> Dall'espressione sopra, possiamo vedere che il modello deve condizionare la probabilità di suonare una nota specifica nel passaggio successivo lungo due assi: <br /> # Tempo <br /> # Nota.<br /> <br /> Il modello computa questa probabilità condizionata biassiale utilizzando LSTM che prendono input lungo i due assi. Di conseguenza, il Biaxial LSTM consiste in due moduli principali: il modulo sull'asse del tempo e il modulo sull'asse delle note.<br /> <br /> == Input del Modello ==<br /> L'input per il modello sono le note nel passaggio temporale precedente. Queste note sono rappresentate in una forma che include informazioni sulla nota stessa e sulle note circostanti (ad esempio, le ottave adiacenti).<br /> <br /> === Note Octaves Layer ===<br /> Questo strato trasforma ogni singola nota e le note circostanti in un tensore. Questo tensore contiene le informazioni sulla nota principale e il suo contesto spaziale (ad esempio, le note nelle ottave superiori e inferiori). Questo processo aggiunge contesto spaziale alle informazioni delle singole note.<br /> <br /> === LSTM con pesi condivisi ===<br /> Ogni feature di nota elaborata nel passaggio precedente viene alimentata in un'unità LSTM (Long Short-Term Memory) che ha pesi condivisi tra tutte le note nel passaggio temporale. Questo significa che le stesse operazioni vengono applicate a ogni nota, consentendo al modello di apprendere e memorizzare le relazioni temporali tra le note.<br /> <br /> == Modulo Time-Axis ==<br /> Questo modulo riceve in input i tensori delle note e gli stati ricorrenti dalla LSTM del passaggio temporale precedente. Utilizzando queste informazioni, produce feature di livello superiore per ogni nota, che catturano le relazioni temporali e spaziali tra le note nel passaggio temporale corrente.<br /> <br /> [[File:Screenshot 2024-03-05 alle 10.43.38.png|300px|thumb|left|Biaxial LSTM Architecture]]<br /> <br /> === Sezione sull’asse del tempo ===<br /> La sezione dell'asse temporale è ispirata a una [[rete neurale convoluzionale (CNN)]]. È composta da due unità LSTM impilate a strati ricorrenti nel tempo, connesse a ogni ottava di nota (12 toni sopra e sotto ogni nota) in ingresso in modo simile a un [[kernel di convoluzione]]. I pesi di ciascuna unità LSTM sono condivisi tra ogni nota, costringendo la sezione dell'asse temporale a imparare caratteristiche invarianti alle note.<br /> <br /> === Sezione sull’asse delle Note ===<br /> La sezione delle note prende in input le caratteristiche della nota estratte dalla sezione dell'asse temporale, il LSTM dell'asse delle note scansiona dalle caratteristiche della nota più bassa alle caratteristiche della nota più alta per fare previsioni su ciascuna nota condizionata sulle note inferiori previste.<br /> L'asse delle note è composto da un'altra unità LSTM impilata a due strati ricorrenti nella nota. Le caratteristiche di ogni nota vengono prima concatenate con la nota inferiore scelta. Se la nota attualmente considerata è la nota più bassa, vengono concatenate degli zeri. In altre parole, per determinare la nota scelta yi, le caratteristiche della nota i-esima xi vengono concatenate con la nota inferiore scelta yi-1 prima di essere alimentate nel modulo dell'asse delle note f.<br /> <br /> [[Category:concetto]]</div>

Michela https://wiki.mindmaker.it/index.php?title=CAMEL_(Agent_Framework)&diff=1272 2024-03-15T10:26:22Z

<p>Michela: /* Links */</p> <hr /> <div>'''Data del Paper: ''31 Mar 2023'''''<br /> <br /> <br /> CAMEL è un framework, basato sul [[Role-playing|Role-playing,]] in cui tre Agenti AI, basati su [[Modelli di Linguaggio]], comunicano tra di loro per il raggiungimento di un obiettivo o di un task specifico. In questo tipo di frameworks, gli agenti comunicano tra loro autonomamente, in un tipo di '''brainstorming'''.<br /> <br /> Il framework prevede tre agenti:<br /> <br /> # '''AI User Agent''': è il conduttore della conversazione, dè istruzioni all'agente '''AI Assistant''' con l'obiettivo finale di completare un task specifico<br /> # '''AI Assistant Agent''': questo agente è l'esecutore, che segue diligentemente le istruzioni dell'AI User Agent e riporta le soluzioni per il task specifico<br /> # '''Task-Specifier Agent''': questo agente è importantissimo per la concertazione, definendo con precisione i task che l'AI User e l'AI Assistant dovranno svolgere. Si assicura che i task siano concreti e ben definiti, risparmiando all'AI User Agent lo sforzo di una specifica dettagliata dei task.<br /> <br /> === Esempio ===<br /> Uno scenario in cui un trader '''umano''' ha l'idea di creare un '''trading bot''', cioè un programma che faccia trading automaticamente per suo conto. In questo scenario, l'&lt;nowiki/&gt;'''AI User Agent''' rispecchia l'&lt;nowiki/&gt;''expertise'' dell'umano, mentre l''''AI Assistant''' un programmatore Python. E' il '''Task-Specifier''' '''Agent''', che, in questo contesto, prende l'iniziativa formulando un primo task specifico con delle istruzioni dettagliate:<br /> <br /> &quot;Monitora il sentiment sui social media e effettua i ''trades'' basandoti sui risultati della sentiment analysis&quot;<br /> <br /> A questo punto:<br /> <br /> * L''''AI User Agent''' si trasforma in un task planner, orchestrando il piano generale<br /> * L''''AI Assistant''' diventa l'esecutore dei piani, portandoli a compimento<br /> <br /> A questo punto i tre iniziano un '''loop di interazioni''', fino a che delle condizioni predefinite di terminazione non sono raggiunte.<br /> <br /> <br /> [[File:Screenshot 2024-03-09 at 9.55.54 AM.png|alt=Role-Playing Framework dal Paper|senza_cornice|600x600px]]<br /> <br /> === Links ===<br /> [https://arxiv.org/abs/2303.17760 CAMEL: Communicative Agents for &quot;Mind&quot; Exploration of Large Language Model Society]<br /> <br /> [https://github.com/camel-ai/camel Pagina Github Officiale]<br /> <br /> [[Category:Pubblicazione]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Clip_Skip&diff=1271 2024-03-15T10:25:28Z

<p>Michela: </p> <hr /> <div>Qui di seguito saranno mostrate, a scopo esemplificativo, come le immagini generate cambiano relativamente al cambiare del parametro di Clip Skip.<br /> Prompt: &quot;'''A cat playing a piano, it has a pirate hat'''&quot;<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:cat.png|miniatura|100x100px|Clip Skip 1]]<br /> |[[File:cat2.png|miniatura|100x100px|Clip Skip 2]]<br /> |[[File:cat3.png|miniatura|100x100px|Clip Skip 3]]<br /> |[[File:cat4.png|miniatura|100x100px|Clip Skip 4]]<br /> |[[File:cat5.png|miniatura|100x100px|Clip Skip 5]]<br /> |}<br /> <br /> Da queste immagini possiamo capire che, aumentando il parametro di Clip Skip, il modello di generazione di immagini cercherà di prendere in considerazione gli strati più basici del prompt. Difatti, per esempio, su &quot;Clip Skip 5&quot; il modello sembra prendere solo &quot;playing a piano&quot;, scartando il resto del prompt.<br /> <br /> ==Altri esempi==<br /> <br /> Prompt: &quot;'''a chimpanzee eating its banana, it's in a zoo cage'''&quot;<br /> <br /> {| class=&quot;wikitable&quot;<br /> |+<br /> |[[File:Monkey.png|miniatura|100x100px|Clip Skip 1]]<br /> |[[File:Monkey2.png|miniatura|100x100px|Clip Skip 2]]<br /> |[[File:Monkey3.png|miniatura|100x100px|Clip Skip 3]]<br /> |[[File:Monkey4.png|miniatura|100x100px|Clip Skip 4]]<br /> |}<br /> <br /> [[Category:strumento]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Dataset_di_Preferenze&diff=1270 2024-03-15T10:14:19Z

<p>Michela: </p> <hr /> <div>Dataset utilizzato per il tuning del [[Modello di Reward]] nel contesto del [[Reinforcement Learning From Human Feedback (RLHF)]]. Per i migliori risultati servono almeno 500 campioni.<br /> <br /> [[Category:Benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=DocRED:_A_Large-Scale_Document-Level_Relation_Extraction_Dataset&diff=1268 2024-03-15T10:12:50Z

<p>Michela: /* Links */</p> <hr /> <div>Rilasciato nel 2019, dataset per benchmanrking dei modelli di [[Relation Extraction (RE)]].<br /> Annota [[Entità]] e [[Relazioni]] a livello di documento - per estrarle è necessario che l'algoritmo consideri più di una frase alla volta.<br /> <br /> Le entità nelle relazioni A-&gt;B vengono normalmente rappresentate come:<br /> * head (entità A)<br /> * tail (entità B)<br /> <br /> === Esempio ===<br /> <br /> [[File:DocRED.png]]<br /> <br /> === Links ===<br /> * [https://aclanthology.org/P19-1074/ DocRED: A Large-Scale Document-Level Relation Extraction Dataset]<br /> * [https://paperswithcode.com/sota/relation-extraction-on-docred Leaderboard su Paperswithcode]<br /> * [https://github.com/thunlp/DocRED Repo Github]<br /> <br /> [[Category:Benchmark]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Dropout_(Reti_Neurali)&diff=1267 2024-03-15T10:06:52Z

<p>Michela: </p> <hr /> <div>Il dropout è una tecnica di [[regolarizzazione]] utilizzata per prevenire l'[[overfitting]] nelle reti neurali. L'overfitting si verifica quando una rete neurale impara troppo bene i dati di addestramento, a scapito delle sue prestazioni su nuovi dati non visti. <br /> <br /> Durante l'addestramento di una rete neurale con dropout, ad ogni iterazione (cioè, ad ogni passo dell'algoritmo di addestramento), un sottoinsieme casuale di neuroni (insieme ai loro collegamenti) viene &quot;ignorato&quot; o escluso dal processo di addestramento. <br /> <br /> # '''Durante il [[forward pass]]''': Per ogni esempio di addestramento, alcuni neuroni non contribuiscono alla propagazione dell'input attraverso la rete. La loro attivazione è impostata a zero, come se temporaneamente &quot;spenti&quot;. La frazione dei neuroni da disattivare è determinata dal '''tasso di dropout''', un [[iperparametro]]. Tipicamente, questo tasso si aggira tra il 20% e il 50%.<br /> # '''Durante il [[backward pass]]''': Poiché i neuroni sono stati &quot;spenti&quot; durante il forward pass, anche la loro partecipazione nell'aggiornamento dei pesi (attraverso la [[retropropagazione dell'errore]]) è esclusa. In altre parole, i pesi dei neuroni disattivati rimangono inalterati in quell'iterazione dell'addestramento.<br /> <br /> Il risultato di questo processo è che la rete impara a diventare meno dipendente da specifici neuroni o percorsi di neuroni, poiché questi possono essere disattivati in qualsiasi momento durante l'addestramento. Ciò aiuta a distribuire più uniformemente l'&quot;importanza&quot; tra i neuroni della rete, forzando la rete a trovare più percorsi per trasmettere l'informazione dall'input all'output. Di conseguenza, la rete diventa più robusta e migliora la sua '''capacità di generalizzare''' su dati non visti, riducendo il rischio di overfitting.<br /> <br /> Al termine dell'addestramento, durante l'utilizzo della rete neurale per fare previsioni (cioè, in fase di test), tutti i neuroni sono attivi, e nessuno viene escluso.<br /> <br /> [[Category:Concetto]]<br /> [[Category:Reti Neurali]]</div>

Michela https://wiki.mindmaker.it/index.php?title=Generative_Pretrained_Transformer_(GPT)&diff=1263 2024-03-15T10:04:25Z

<p>Michela: /* Links */</p> <hr /> <div>* Rilasciato da: OpenAI<br /> * Data: 14 marzo 2023<br /> * Accesso: solo attraverso OpenAI<br /> * Dati di allenamento: 1,76 trilioni di parametri<br /> * Velocità: 100 miliardi di token al secondo<br /> <br /> ChatGPT-4 è la quarta iterazione del modello di linguaggio generativo sviluppato da OpenAI, costruito sulla base della serie di modelli [[GPT (Generative Pre-trained Transformer)]]. Introdotto dopo il successo di [[GPT-3.5 Turbo]], ChatGPT-4 presenta una serie di miglioramenti significativi sia in termini di capacità di comprensione e generazione del testo che di applicazioni pratiche. <br /> ChatGPT-4 possiede una conoscenza aggiornata, ovvero, è addestrato su un corpus di dati che include '''informazioni fino all'inizio del 2023'''. Inoltre, Il modello mostra avanzamenti significativi nella comprensione del contesto, permettendo conversazioni '''più fluide e risposte più accurate''' a domande complesse con miglioramenti nella coerenza, logica e fluidità, grazie anche alla sua capacità di interpretare e rispondere a '''sfumature del linguaggio'''. Inoltre, si tratta di un modello di linguaggio '''multimodale''', ossia che riesce ad elaborare sia informazioni testuali che informazioni provenienti da immagini. In ultima istanza, sono stati aggiornati anche i meccanismi deputati ad affrontare '''questioni etiche''', riducendo la probabilità di generare '''risposte inappropriate o dannose'''.<br /> <br /> == Links ==<br /> [https://arxiv.org/pdf/2303.08774v4.pdf GPT-4 Technical Report]]<br /> <br /> [[Category:modello]]<br /> [[Category:Modelli di Linguaggio]]</div>

Michela