GPT e la Nuova Generazione di Modelli AI - Cronologia

Alesaccoia il 04:58, 11 lug 2025

2025-07-11T04:58:07Z

← Versione meno recente		Versione delle 04:58, 11 lug 2025
Riga 30:		Riga 30:
	'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi		'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi
	'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .		'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .
			[[File:Sequenza autoregressiva.png\|senza_cornice\|800x800px]]
	La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. L'azione di utilizzare un modello, infatti, in gergo si chiama anche "fare inferenza".		La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. L'azione di utilizzare un modello, infatti, in gergo si chiama anche "fare inferenza".

Alesaccoia: /* Condizionamento del modello generativo: il prompting */

2025-01-05T22:34:52Z

Condizionamento del modello generativo: il prompting

← Versione meno recente		Versione delle 22:34, 5 gen 2025
Riga 50:		Riga 50:
	=== Condizionamento del modello generativo: il prompting ===		=== Condizionamento del modello generativo: il prompting ===

	Consideriamo un modello di linguaggio come una '''funzione''', molto complessa, che dato il contenuto del contesto calcola la probabilità del token successivo. I parametri di questa funzione sono ~~contenuti nei parametri che son~~ stati ~~aggiornati~~ durante l'addestramento, quindi, nel momento dell'inferenza, non possono essere più cambiati.		Consideriamo un modello di linguaggio come una '''funzione''', molto complessa, che dato il contenuto del contesto calcola la probabilità del token successivo. I parametri di questa funzione sono stati "scolpiti nella pietra" durante l'addestramento del modello, in particolare durante la [[retropropagazione]], quindi, nel momento dell'inferenza, non possono essere più cambiati.

	Il prompting quindi è l'input della funzione ed è l''''unico''' '''modo''' a disposizione dell'utente per influenzare o "condizionare" il comportamento di un modello generativo come GPT: questo input può essere una domanda, un'istruzione o un frammento di testo che orienta la direzione e il contenuto della risposta. Il modello interpreta il prompt come contesto, e utilizza le informazioni fornite per determinare il flusso della conversazione o del testo generato. La qualità e la specificità del prompt hanno un '''impatto significativo''' sui risultati, permettendo all'utente di "condizionare" il modello verso risposte più precise o rilevanti rispetto a un obiettivo desiderato.		Il prompting quindi è l'input della funzione ed è l''''unico''' '''modo''' a disposizione dell'utente per influenzare o "condizionare" il comportamento di un modello generativo come GPT: questo input può essere una domanda, un'istruzione o un frammento di testo che orienta la direzione e il contenuto della risposta. Il modello interpreta il prompt come contesto, e utilizza le informazioni fornite per determinare il flusso della conversazione o del testo generato. La qualità e la specificità del prompt hanno un '''impatto significativo''' sui risultati, permettendo all'utente di "condizionare" il modello verso risposte più precise o rilevanti rispetto a un obiettivo desiderato.

Alesaccoia il 22:33, 5 gen 2025

2025-01-05T22:33:36Z

← Versione meno recente		Versione delle 22:33, 5 gen 2025
Riga 40:		Riga 40:
	Il vocabolario è di dimensione fissa e viene definito in fase di preparazione dei dati; esso rappresenta una parte importante del modello, poiché un vocabolario più ampio permette di rappresentare una maggiore varietà di espressioni linguistiche, ma comporta anche una maggiore complessità computazionale. Per il modello GPT-3 i token sono circa 50000.		Il vocabolario è di dimensione fissa e viene definito in fase di preparazione dei dati; esso rappresenta una parte importante del modello, poiché un vocabolario più ampio permette di rappresentare una maggiore varietà di espressioni linguistiche, ma comporta anche una maggiore complessità computazionale. Per il modello GPT-3 i token sono circa 50000.

	GPT genera il token successivo più '''probabile''' data la sequenza ordinata di token presenti nel suo contesto: più formalmente, l'obiettivo del modello è calcolare '''la probabilità condizionale di un token successivo dato il contesto precedente''', e poi scegliere il token la cui probabilità condizionale è la più alta. Questo [[obiettivo di pre-training]] viene chiamato [[Causal Language Modeling (CLM)]] ed è tipico dei modelli di testo generativi.		GPT genera il token successivo più '''probabile''' data la sequenza ordinata di token presenti nel suo contesto: più formalmente, l'obiettivo del modello è calcolare '''la probabilità condizionale di ogni token di "essere il successivo" dato il contesto precedente''', e poi scegliere il token la cui probabilità condizionale è la più alta. Questo [[obiettivo di pre-training]] viene chiamato [[Causal Language Modeling (CLM)]] ed è tipico dei modelli di testo generativi.

	Questa probabilità è denotata come P(xt∣x1,x2,…,xt−1), dove xt è il token che stiamo cercando di predire, e x1,x2,…,xt−1 sono i token precedenti nel contesto. Il processo può essere descritto come segue:		Questa probabilità è denotata come P(xt∣x1,x2,…,xt−1), dove xt è il token che stiamo cercando di predire, e x1,x2,…,xt−1 sono i token precedenti nel contesto. Il processo può essere descritto come segue:

Alesaccoia il 22:32, 5 gen 2025

2025-01-05T22:32:29Z

← Versione meno recente		Versione delle 22:32, 5 gen 2025
Riga 22:		Riga 22:
	GPT è un modello è detto ''generativo'', in cui le parole, chiamate più precisamente '''token''', vengono generate '''una di seguito all'altra:''' per capire quale token emettere, GPT tiene in considerazione tutte le parole precedenti, '''concatenando''' la domanda e le parole generate fino a quel momento. Questa concatenazione di input dell'utente e output del modello dà al modello l'aggettivo '''autoregressivo'''.		GPT è un modello è detto ''generativo'', in cui le parole, chiamate più precisamente '''token''', vengono generate '''una di seguito all'altra:''' per capire quale token emettere, GPT tiene in considerazione tutte le parole precedenti, '''concatenando''' la domanda e le parole generate fino a quel momento. Questa concatenazione di input dell'utente e output del modello dà al modello l'aggettivo '''autoregressivo'''.

	Prima di interrompersi, alla fine della frase, il modello viene eseguito volte, accodando sempre l'ultimo token emesso, come mostrato nei seguenti time-step:		Prima di interrompersi, alla fine della frase, il modello viene "eseguito" '''N''' '''volte''', accodando sempre l'ultimo token emesso, come mostrato nei seguenti time-step:
	'''(1) Input:''' Qual'è la capitale della Francia? '''Output:''' La		'''(1) Input:''' Qual'è la capitale della Francia? '''Output:''' La
	'''(2) Input:''' Qual'è la capitale della Francia? La '''Output:''' capitale		'''(2) Input:''' Qual'è la capitale della Francia? La '''Output:''' capitale

Alesaccoia: /* Errori di Ragionamento, Confabulazioni e Allucinazioni */

2024-12-19T06:21:06Z

Errori di Ragionamento, Confabulazioni e Allucinazioni

← Versione meno recente		Versione delle 06:21, 19 dic 2024
Riga 60:		Riga 60:
	Si prenda come esempio il seguente prompt, che è stato proposto nella pubblicazione "[[Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models]]" (2024):		Si prenda come esempio il seguente prompt, che è stato proposto nella pubblicazione "[[Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models]]" (2024):
	'''Alice and Bob are sister and brother. Alice has 3 sisters and Bob has 1 brother. How many brothers does Alice have?'''		'''Alice and Bob are sister and brother. Alice has 3 sisters and Bob has 1 brother. How many brothers does Alice have?'''
	La risposta di '''ChatGPT-4o-Latest''', che al momento della scrittura di questo articolo occupa la '''prima''' posizione nella [https://lmarena.ai/?leaderboard LLM Leaderboard], è errata:<blockquote>'''Alice has <u>1 brother</u>'''.

	* Since Alice and Bob are siblings, and Bob is Alice's brother, the only brother Alice has is Bob. The statement says Bob has 1 brother, which confirms Alice only has one brother: Bob himself.		La risposta di '''ChatGPT-4o-Latest''', che al momento della scrittura di questo articolo occupa la '''prima''' posizione nella [https://lmarena.ai/?leaderboard LLM Leaderboard], è errata:
	~~</blockquote>~~'''Google Gemini 1.5 Pro exp-827''', che al momento della scrittura di questo articolo occupa la seconda posizione nella [https://lmarena.ai/?leaderboard LLM Leaderboard], risponde così:~~<blockquote>~~Here's how to solve this riddle:		'''Alice has <u>1 brother</u>'''.
			Since Alice and Bob are siblings, and Bob is Alice's brother, the only brother Alice has is Bob. The statement says Bob has 1 brother, which confirms Alice only has one brother: Bob himself.
	* '''Alice's perspective:''' Alice has 3 sisters (including herself). Since Bob is her brother, she has '''1''' brother.		'''Google Gemini 1.5 Pro exp-827''', che al momento della scrittura di questo articolo occupa la seconda posizione nella [https://lmarena.ai/?leaderboard LLM Leaderboard], risponde così:
	* '''Bob's perspective:''' Bob has 1 brother (himself). This information doesn't change how many brothers Alice has.		Here's how to solve this riddle:
			'''Alice's perspective:''' Alice has 3 sisters (including herself). Since Bob is her brother, she has '''1''' brother.
	'''Therefore, Alice has <u>1 brother</u>.'''</~~blockquote>~~Nel caso del prompt presentato, ~~entrambi~~ i modelli, GPT e Google Gemini, giungono a conclusioni errate a causa di una mancanza di capacità di ragionamento logico. Entrambi i modelli si focalizzano su elementi superficiali del prompt, come il fatto che Alice e Bob siano fratelli e che Bob abbia un fratello, senza considerare il fatto che il numero di fratelli di Alice è determinato dal numero totale di fratelli, non solo dalla presenza di Bob.		'''Bob's perspective:''' Bob has 1 brother (himself). This information doesn't change how many brothers Alice has.'''Therefore, Alice has <u>1 brother</u>.'''
			'''Meta LLama 3''' (8B, usando [https://ollama.com/ Ollama] ) risponde ''':'''
			A classic lateral thinking puzzle!

			Let's analyze the situation:

			* Alice is a sister of Bob, so they share two parents.
			* Alice has 3 sisters, which means she has a total of 4 sisters (including herself).
			* Bob has 1 brother, which means he has only one sibling who is male.

			Now, let's think about the possible family structure:

			* Since Bob is a brother of Alice, he must be one of Alice's brothers.
			* But we know Bob has only 1 brother, so that means there are no other male siblings besides Bob.

			This implies that all of Alice's 4 sisters (including herself) are female, which means she doesn't have any brothers at all!

			So, the answer is: Alice has 0 brothers.
			Nel caso del prompt presentato, tutti i modelli, GPT e Google Gemini, giungono a conclusioni errate a causa di una mancanza di capacità di ragionamento logico. Entrambi i modelli si focalizzano su elementi superficiali del prompt, come il fatto che Alice e Bob siano fratelli e che Bob abbia un fratello, senza considerare il fatto che il numero di fratelli di Alice è determinato dal numero totale di fratelli, non solo dalla presenza di Bob.

	Questo dimostra come, nonostante i progressi significativi nella comprensione del linguaggio, gli LLM hanno ancora difficoltà a gestire situazioni che richiedono una logica complessa e una profonda comprensione delle relazioni tra gli elementi di un testo. Questo nonostante ottengano punteggi altissimi nei classici benchmark di ragionamento come [[MMLU]], che vedremo in una sezione successiva del corso.		Questo dimostra come, nonostante i progressi significativi nella comprensione del linguaggio, gli LLM hanno ancora difficoltà a gestire situazioni che richiedono una logica complessa e una profonda comprensione delle relazioni tra gli elementi di un testo. Questo nonostante ottengano punteggi altissimi nei classici benchmark di ragionamento come [[MMLU]], che vedremo in una sezione successiva del corso.

Alesaccoia: /* Un modello generativo e autoregressivo */

2024-12-02T12:12:11Z

Un modello generativo e autoregressivo

← Versione meno recente		Versione delle 12:12, 2 dic 2024
Riga 32:		Riga 32:
	La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. L'azione di utilizzare un modello, infatti, in gergo si chiama anche "fare inferenza".		La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. L'azione di utilizzare un modello, infatti, in gergo si chiama anche "fare inferenza".

	Possiamo a questo punto comprendere che l'interfaccia di ChatGPT non è altro che ~~un "tramite"~~ che ~~manda~~ ai server di OpenAI ~~le sequenze concatenate della~~ conversazione avvenuta fino a ~~un determinato punto, per generare il token successivo, e così via~~, fino alla fine della generazione della frase o del paragrafo corrente.		Possiamo a questo punto comprendere che l'interfaccia di ChatGPT, ogni volta che vediamo apparire una nuova parola, non fa altro che che inviare ai server di OpenAI la concatenazione di '''tutta la''' '''conversazione''' avvenuta fino a quell'istante, fino alla fine della generazione della frase o del paragrafo corrente.

	=== Vocabolario, token e funzionamento probabilistico del modello ===		=== Vocabolario, token e funzionamento probabilistico del modello ===

Alesaccoia: /* Un modello generativo e autoregressivo */

2024-12-02T12:10:06Z

Un modello generativo e autoregressivo

← Versione meno recente		Versione delle 12:10, 2 dic 2024
Riga 30:		Riga 30:
	'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi		'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi
	'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .		'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .
	La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. ~~Da qui, l~~'azione di utilizzare un modello, si chiama ~~in gergo~~ anche "fare inferenza".		La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. L'azione di utilizzare un modello, infatti, in gergo si chiama anche "fare inferenza".

	Possiamo a questo punto comprendere che l'interfaccia di ChatGPT non è altro che un "tramite" che manda ai server di OpenAI le sequenze concatenate della conversazione avvenuta fino a un determinato punto, per generare il token successivo, e così via, fino alla fine della generazione della frase o del paragrafo corrente.		Possiamo a questo punto comprendere che l'interfaccia di ChatGPT non è altro che un "tramite" che manda ai server di OpenAI le sequenze concatenate della conversazione avvenuta fino a un determinato punto, per generare il token successivo, e così via, fino alla fine della generazione della frase o del paragrafo corrente.

Alesaccoia: /* Un modello generativo e autoregressivo */

2024-12-02T12:09:42Z

Un modello generativo e autoregressivo

← Versione meno recente		Versione delle 12:09, 2 dic 2024
Riga 22:		Riga 22:
	GPT è un modello è detto ''generativo'', in cui le parole, chiamate più precisamente '''token''', vengono generate '''una di seguito all'altra:''' per capire quale token emettere, GPT tiene in considerazione tutte le parole precedenti, '''concatenando''' la domanda e le parole generate fino a quel momento. Questa concatenazione di input dell'utente e output del modello dà al modello l'aggettivo '''autoregressivo'''.		GPT è un modello è detto ''generativo'', in cui le parole, chiamate più precisamente '''token''', vengono generate '''una di seguito all'altra:''' per capire quale token emettere, GPT tiene in considerazione tutte le parole precedenti, '''concatenando''' la domanda e le parole generate fino a quel momento. Questa concatenazione di input dell'utente e output del modello dà al modello l'aggettivo '''autoregressivo'''.

	Prima di interrompersi, alla fine della frase, il modello viene eseguito volte come mostrato nei seguenti time-step:		Prima di interrompersi, alla fine della frase, il modello viene eseguito volte, accodando sempre l'ultimo token emesso, come mostrato nei seguenti time-step:
	'''(1) Input:''' Qual'è la capitale della Francia? '''Output:''' La		'''(1) Input:''' Qual'è la capitale della Francia? '''Output:''' La
	'''(2) Input:''' Qual'è la capitale della Francia? La '''Output:''' capitale		'''(2) Input:''' Qual'è la capitale della Francia? La '''Output:''' capitale
Riga 30:		Riga 30:
	'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi		'''(6) Input:''' Qual'è la capitale della Francia? La capitale della Francia è '''Output:''' Parigi
	'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .		'''(7) Input:''' Qual'è la capitale della Francia? La capitale della Francia è Parigi '''Output:''' .
	La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è ~~chiamata~~ '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']].		La '''sequenza di token''' che, a ogni step di esecuzione, viene presentata come input del modello, è denominata '''[[contesto]];''' l''''output''' del modello a ogni time-step viene invece chiamato [[inferenza\|'''inferenza''']]. Da qui, l'azione di utilizzare un modello, si chiama in gergo anche "fare inferenza".

	Possiamo a questo punto comprendere che l'interfaccia di ChatGPT non è altro che un "tramite" che manda ai server di OpenAI le sequenze concatenate della conversazione avvenuta fino a un determinato punto, per generare il token successivo, e così via, fino alla fine della generazione della frase o del paragrafo corrente.		Possiamo a questo punto comprendere che l'interfaccia di ChatGPT non è altro che un "tramite" che manda ai server di OpenAI le sequenze concatenate della conversazione avvenuta fino a un determinato punto, per generare il token successivo, e così via, fino alla fine della generazione della frase o del paragrafo corrente.

Alesaccoia il 10:51, 2 dic 2024

2024-12-02T10:51:27Z

← Versione meno recente		Versione delle 10:51, 2 dic 2024
Riga 111:		Riga 111:

	== Esercizi ==		== Esercizi ==

	~~=== Allucinazioni e confabulazioni ===~~
	~~Provate questi prompt in vari modelli di linguaggio (allucinazioni storiche):~~

	~~1. "Chi era il primo ministro del Giappone durante la guerra russo-giapponese del 1769?"~~

	~~(La guerra russo-giapponese fu nel 1904-1905)~~

	~~2. "Racconta la storia di Alessandro Magnetti, il famoso inventore italiano del XVIII secolo."~~

	~~(Personaggio completamente inventato)~~

	~~3. "Quali furono le principali riforme economiche introdotte da Maria Teresa d'Austria nel Ducato di Milano nel 1723?"~~

	~~(Data specifica ma vaga sul contenuto)~~


	~~Provate questi prompt (confabulazioni tecniche)~~

	~~1. "Spiega il funzionamento del processore quantico QuantumX-7000 sviluppato nel 2019."~~

	~~(Modello inesistente)~~

	~~2. "Quali sono i vantaggi del framework di programmazione PyperFlow rispetto a TensorFlow?"~~

	~~(Framework inventato)~~

	~~3. "Descrivi l'architettura del sistema operativo QuantOS e le sue principali innovazioni."~~

	~~(Sistema operativo inventato)~~



	~~Prova questo prompt:~~

	~~"Di cosa stavamo parlando?"~~

	=== Huggingface e GPT-2 ===		=== Huggingface e GPT-2 ===

Alesaccoia il 10:21, 2 dic 2024

2024-12-02T10:21:48Z

← Versione meno recente		Versione delle 10:21, 2 dic 2024
Riga 159:		Riga 159:
	\|title=GPT e la Nuova Generazione di Modelli AI		\|title=GPT e la Nuova Generazione di Modelli AI
	\|title_mode=append		\|title_mode=append
			\|author=Alessandro Saccoia
	\|keywords=intelligenza artificiale, modelli linguistici, GPT, chatbot, OpenAI, prompting, deep learning, apprendimento automatico, elaborazione del linguaggio naturale, reti neurali, generazione di testo, assistenti virtuali, innovazione tecnologica, futuro dell'IA		\|keywords=intelligenza artificiale, modelli linguistici, GPT, chatbot, OpenAI, prompting, deep learning, apprendimento automatico, elaborazione del linguaggio naturale, reti neurali, generazione di testo, assistenti virtuali, innovazione tecnologica, futuro dell'IA
	\|description=Questa pubblicazione esplora l'impatto di ChatGPT e l'evoluzione dei modelli di linguaggio come GPT-3. Analizza il funzionamento di questi modelli, inclusi concetti come prompting, contesto e inferenza, e discute le sfide come allucinazioni e confabulazioni. Esplora anche le caratteristiche chiave dei modelli di linguaggio, come architettura, parametri e dati di addestramento.		\|description=Questa pubblicazione esplora l'impatto di ChatGPT e l'evoluzione dei modelli di linguaggio come GPT-3. Analizza il funzionamento di questi modelli, inclusi concetti come prompting, contesto e inferenza, e discute le sfide come allucinazioni e confabulazioni. Esplora anche le caratteristiche chiave dei modelli di linguaggio, come architettura, parametri e dati di addestramento.
	\|image=Image 26.png		\|image=Image 26.png
	}}		}}