Pagina principale: differenze tra le versioni

Versione attuale delle 17:19, 18 dic 2024

"I want to understand the big questions, the really big ones that you normally go into philosophy or physics if you’re interested in. I thought building AI would be the fastest route to answer some of those questions" - Demis Hassabis

Benvenuti nella Wiki AI, dove i concetti complessi diventano accessibili in una wiki semantica e basata su di un ontologia strutturata.

Aiuto

Linee Guida della Wiki

Guida utente: Una risorsa completa per i nuovi utenti di MediaWiki.
Aiuto:Categorie_di_Wiki_AI_Lab: Guida alle categorie specifiche del Wiki AI Lab.
Aiuto:Utilizzo_API: Utilizzo dell'API.
S peciale:TutteLePagine
S peciale:PagineSpeciali
Ontologia della Wiki
Semantic Search
Contatti

Introduzione all'Intelligenza Artificiale Moderna

Appunti per la parte di Intelligenza Artificiale del corso IULM - "Modelli decisionali per il Marketing Data-Driven" - Laurea Specialistica in Intelligenza Artificiale, Impresa e Società - prof. Alessandro Saccoia - A.A. 2024/25.


Capitolo	Titolo
1	GPT e la Nuova Generazione di Modelli AI
2	Downstream Tasks, Addestramento e Capacità Emergenti dei Modelli di Linguaggio di Grandi Dimensioni
3	Retrieval, Embeddings, RAG
4	Output Strutturato, Function Calling e Agenti
5	RLHF
6	Red Teaming
7	Neural Computer Vision

Architetture

Le Architetture sono configurazioni strutturali, schemi e metodi utilizzati per costruire modelli di intelligenza artificiale.

	NomeInglese	Sigla	AnnoDiCreazione
Autoencoder	Autoencoder		1993
BART	Bidirectional and Auto-Regressive Transformers	BART	29 ottobre 2019
Contrastive Language-Image Pretraining (CLIP)	Contrastive Language-Image Pretraining	CLIP	2021
ControlNet	ControlNet	ControlNet	febbraio 2023
Detection Transformer	Detection Transformer	DeTr	2020
Extended Long Short-Term Memory	Extended Long Short-Term Memory	xLSTM	2024
Long Short-Term Memory (LSTM)	Long Short-Term Memory	LSTM	1997
Macchine di Boltzmann Restrittive (RBM)	Restricted Boltzmann Machine	RBM	1986
MiDaS	Multi-scale Deep Stereo	MiDaS	2019
Mixture of Experts
Modello di Diffusione Latente (LDM)	Latent Diffusion Model	LDM	2021
Modello linguistico di grandi dimensioni per il linguaggio parlato
Rete Generativa Avversaria	Generative Adversarial Network	GAN	2014
Rete Neurale Artificiale (ANN)	Artificial Neural Network	ANN	1957
Rete Neurale Feed-Forward (FNN)	Feed-Forward Neural Network	FNN	1958
Rete Neurale Residua (ResNet)	Residual Neural Network	ResNet	2015
Rete Neurale Ricorrente (RNN)	Recurrent Neural Networks	RNN	1990
Reti Neurali Convoluzionali (CNN)	Convolutional Neural Networks	CNN	1995
Sequence to Sequence (seq2seq)	Sequence to Sequence Model	seq2seq	2014
Transformer (Architettura di Deep Learning)	Transformer		2017
Vision Transformer (ViT)	Vision Transformer	ViT	2021

Modelli

I Modelli sono implementazioni specifiche delle Architetture di IntelligenzaAartificiale, proprietarie o open source.

	Sigla	AnnoDiCreazione	VersioneCorrente
AlexNet		2012
Alpaca	Alpaca	2023
AlphaFold
BERT	BERT	2018
Biaxial LSTM (DeepJ - musica)	Biaxial LSTM
ConceptNet
Contriever
DeepDream		18 giugno 2015
GLoVe	GLoVe	2014	GLoVe v.1.2 (2015)
Generative Pretrained Transformer (GPT)	GPT	2018	GPT-4o (2024)
GoogLeNet
Gorilla OpenFunctions		2023
InstructGPT	InstructGPT	27 gennaio 2022
InstructPix2Pix: Learning to Follow Image Editing Instructions		2023
LeNet		1995	LeNet-5
Llama	LLaMA	2021	3.0
Mistral	Mistral	2023
NETtalk		1993
O1
OpenAI o1
PaLM	PaLM	2022	PaLM 2 (2023)
SPLADE
Stable Diffusion		2022	SD3 (2023)
StyleGAN	StyleGAN	2019	StyleGAN 3 (2021)
VGG16 (ConvNet)	VGG16	2014
XLM-RoBERTa	XLM-RoBERTa	2020
Zero 1-to-3		2023

Benchmark

Un benchmark, nel contesto dell'IA, è tipicamente un test o un insieme di test progettati per valutare le prestazioni di un modello o di un algoritmo di intelligenza artificiale in compiti specifici. Questo spesso include l'uso di uno o più dataset standardizzati su cui diversi modelli possono essere addestrati e valutati, ma va oltre alla mera disponibilità di dati. Il concetto di benchmark incorpora anche metriche di valutazione specifiche, criteri e, a volte, l'ambiente software/hardware per garantire che le prestazioni possano essere confrontate equamente tra differenti approcci. Mentre un dataset può essere utilizzato come parte di un benchmark, quest'ultimo è un concetto più ampio che include non solo i dati, ma anche le procedure e le metriche per la valutazione delle prestazioni.

	Nome	Sigla	AnnoDiCreazione
An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction (CLINC150)	An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction	CLINC150	2019
BABILong	BABILong		2024
Bilingual Evaluation Understudy (BLEU)	BiLingual Evaluation Understudy	BLEU	2002
BoolQ	Boolean Questions	BoolQ	2019
Cross-lingual Transfer Evaluation of Multilingual Encoders (XTREME)	Cross-lingual Transfer Evaluation of Multilingual Encoders	XTREME	2020
Discrete Reasoning Over Paragraphs (DROP)	DROP	DROP	2019
DocRED: A Large-Scale Document-Level Relation Extraction Dataset	A Large-Scale Document-Level Relation Extraction Dataset	DocRED	2019
GSM8K	Grade School Math 8K	GSM8K	2022
General Language Understanding Evaluation (GLUE)	General Language Understanding Evaluation	GLUE	2018
HMDB: a large human motion database	A large human motion database	HMDB	2011
HellaSwag	HellaSwag	HellaSwag	2019
HumanEval	HumanEval		2021
ImageNet Large Scale Visual Recognition Challenge	ImageNet Large Scale Visual Recognition Challenge	ILSVRC	2012
LAION-5B	Large-scale Artificial Intelligence Open Network-5 Billion	LAION-5B	2021
LongAlign	LongAlign		2024
MATH	MATH		2021
MBPP	Mostly Basic Programming Problems	MBPP	2021
MMLU	Massive Multitask Language Understanding	MMLU	2021
MS COCO	Microsoft Common Objects in Context	MS COCO	2014
Microsoft Machine Reading Comprehension (MS MARCO)
Mind2Web	Mind2Web	Mind2Web	2023
NaturalQuestions	NaturalQuestions		2019
QuAC	Question Answering in Context	QuAC	2018
SQuAD	Stanford Question Answering Dataset	SQuAD	2018
Schema di Winograd
Semantic Textual Similarity (STS)	Semantic Textual Similarity	STS	2012
UCF101 - Action Recognition Data Set	Action Recognition Data Set	UCF101	2013
WinoGrande	WinoGrande		2019

Pubblicazioni

Le Pubblicazioni includono articoli, libri, paper di conferenze legati all'IA.

	Citazioni	Data"Data <span style="font-size:small;">(Date)</span>" è un tipo e una proprietà predefinita fornita da Semantic MediaWiki per rappresentare valori di date.
A Comprehensive Overview of Large Language Models		2024
A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques
A Focused Backpropagation Algorithm for Temporal Pattern Recognition	570	1989
A Large-Scale Document-Level Relation Extraction Dataset	377	2019
A Neural Algorithm of Artistic Style (2015)	4,685	2015
A Neural Probabilistic Language Model	7,032	2003
A Theory for Emergence of Complex Skills in Language Models (2023)	43	29 luglio 2023
Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models	5	2024
An algorithm for suffix stripping	9,554	1973
Are Large Language Models Geospatially Knowledgeable?	18	2024
Are Sixteen Heads Really Better than One?
Are We Done with MMLU?	3	2023
Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models	13	2024
Attention Is All You Need (2017)	100,986	2017
Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)	82	2016
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension	9,070	2019
BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models
BERT Rediscovers the Classical NLP Pipeline
BERT for Classification: Beyond the Next Sentence Prediction Task
BLEU: a method for automatic evaluation of machine translation	24,705	2002
COIL: Revisit exact lexical match in information retrieval with contextualized inverted list
Chain of Thought Prompting Elicits Reasoning in Large Language Models	4,960	2022
Classifier-Free Diffusion Guidance	2,205	2022
Context-Aware Term Weighting For First Stage Passage Retrieval
Convolutional Neural Networks for Sentence Classification	12,819	2014
Crawling the Internal Knowledge-Base of Language Models	64	2022
Dall-e 3 (2023)	14	2024
Decoding Intelligence: A Framework for Certifying Knowledge Comprehension in LLMs
Deep Contextualized Word Representations	11,008	2018
Deep Convolutional Neural Networks (AlexNet)	844	2012
Deep Reinforcement Learning from Human Preferences	2,215	2023
Deep Residual Learning for Image Recognition	169,163	2015
Deep Unsupervised Learning using Nonequilibrium Thermodynamics	4,460	2015
DeepJ: Style-Specific Music Generation (2018)	86	2018
Dense Passage Retrieval for Open-Domain Question Answering	2,997	2021
Diffusion Models Beat GANs on Image Synthesis	4,806	2021
Efficient Estimation of Word Representations in Vector Space	29,484	2013
Emergent Abilities of Large Language Models	1,936	2023
End-to-End Object Detection with Transformers
Estimating Knowledge in Large Language Models Without Generating a Single Token	7	2024
FANNG: Fast Approximate Nearest Neighbour Graphs	241	2014
Fast Inference from Transformers via Speculative Decoding
Finding Structure in Time	11,242	1990
Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap	18	2024
Functional Decision Theory: A New Theory of Instrumental Rationality
GPT-4 Technical Report	6,249	2023
Generating Sequences With Recurrent Neural Networks	3,857	2014
Generating Sequences With Recurrent Neural Networks (2014)	3,857	2013
Generative Adversarial Nets	27,129	2014
GloVe: Global Vectors for Word Representation	30,138	2014
… risultati successivi

Concetti

I concetti includono metodi, strategie, e procedure impiegate nella costruzione e ottimizzazione di modelli e architetture IA.

	NomeInglese	Sigla
Ablation (Intelligenza Artificiale)	Ablation
Adversarial Endings	Adversarial Endings
Adversarial Filtering (AF)	Adversarial Filtering	AF
Allucinazione
Apprendimento Auto-Supervisionato
Apprendimento per rinforzo da feedback umano	Reinforcement Learning From Human Feedback	RLHF
Attention (Machine Learning)	Attantion
Byte-Pair Encoding (BPE)	Byte-Pair Encoding	BPE
Capacità Emergenti
Causal Language Modeling (CLM)	Causal Language Modeling	CLM
Chain of Thought	Chain of Thought	CoT
Confabulazione
Connessionismo	Connectionism
Contamination Testing	Contamination Testing
Convinzione (Belief)
Dataset di Preferenze	Preferences Dataset
Distillazione Della Conoscenza	Knowledge Distillation	KD
Dropout (Reti Neurali)	Dropout
Effetto Dunning-Kruger
Few-shot learning	Few-shot learning
Fine-tuning	Fine-tuning	SFT
Forward pass
Function Calling	Function Calling
Funzione Obiettivo (loss)	Loss Function
Funzione di attivazione	Activation function
Generalizzazione zero-shot
Grokking	Grokking
Kernel di convoluzione	Convolution kernel
LLM-as-a-judge	LLM-as-a-judge
LayerNorm	LayerNorm	LayerNorm
Libero Arbitrio
LoRA	LoRA
Logit (Reti Neurali)	Logit
Masked-Language-Modeling (MLM)	Masked-Language-Modeling	MLM
Mean Reciprocal Rank
Metodi di Decoding	Decoding Methods
Modello Generativo	Generative Model
Modello linguistico di grandi dimensioni	Large Language Model	LLM
Negative log-likelihood	Negative log-likelihood
Non-Maximum Suppression
Numero di Parametri nelle Reti Neurali	Parameters in Neural Networks
Obiettivo di pre-training
One-hot encodings	One-hot encodings
Ontologia (Informatica)	Ontology
Optimizer (Reti Neurali)	Optimizer
Povertà dello stimolo (Linguistica)	Poverty of stimulus
Prefix-Tuning
Problema difficile della coscienza
Prompt Injection
Prompting
… risultati successivi

@@ Riga 1: / Riga 1: @@
+[[File:Image-124.png|destra|senza_cornice]]
+''"I want to understand the big questions, the really big ones that you normally go into philosophy or physics if you’re interested in. I thought building AI would be the fastest route to answer some of those questions" - [[Demis Hassabis]]''
+Benvenuti nella Wiki AI, dove i concetti complessi diventano accessibili in una wiki '''semantica''' e basata su di un '''[[Ontologia della Wiki AI|ontologia]]''' strutturata.
 == Aiuto ==
-* [[Linee Guida della Wiki AI Lab]]
+* [[Linee Guida della Wiki AI Lab|Linee Guida della Wiki]]
-* [https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Contents Guida utente]: Una risorsa completa per i nuovi utenti di MediaWiki.
+* [[mediawikiwiki:Special:MyLanguage/Help:Contents|Guida utente]]: Una risorsa completa per i nuovi utenti di MediaWiki.
 * [[Aiuto:Categorie_di_Wiki_AI_Lab]]: Guida alle categorie specifiche del Wiki AI Lab.
 * [[Aiuto:Utilizzo_API]]: Utilizzo dell'API.
 * [[Speciale:TutteLePagine|S]]<nowiki/>[[Speciale:TutteLePagine|peciale:TutteLePagine]]
+* [[Speciale:PagineSpeciali|S]]<nowiki/>[[Speciale:PagineSpeciali|peciale:PagineSpeciali]]
+* [[Ontologia della Wiki AI|Ontologia della Wiki]]
+* [https://www.semantic-mediawiki.org/wiki/Help:Semantic_search Semantic Search]
+* [[Contatti]]
-== Architetture ==
+== Introduzione all'Intelligenza Artificiale Moderna ==
+Appunti per la parte di Intelligenza Artificiale del corso IULM - [https://iulm.coursecatalogue.cineca.it/af/2023?corso=259&annoOrdinamento=2021&pds=PDS0-2021&ad=7871 "Modelli decisionali per il Marketing Data-Driven"] - Laurea Specialistica in Intelligenza Artificiale, Impresa e Società - prof. [https://www.iulm.it/it/iulm/ateneo/docenti-e-collaboratori/saccoia-alessandro Alessandro Saccoia] - A.A. 2024/25.
 {| class="wikitable"
-! Nome
+|+
-! Descrizione
+!Capitolo
+!Titolo
 |-
-| [[Recurrent Neural Network (RNN)]]
+|1
-| Rete neurale ricorrente
+|[[GPT e la Nuova Generazione di Modelli AI]]
 |-
-| [[LSTM]]
+|2
-| Long Short-Term Memory, una forma di rete neurale ricorrente
+|[[Downstream Tasks, Addestramento e Capacità Emergenti dei Modelli di Linguaggio di Grandi Dimensioni]]
 |-
-| [[Generative Adversarial Networks (GAN)]]
+|3
-| Reti che imparano a generare nuovi dati simili a quelli su cui sono addestrate
+|[[Retrieval, Embeddings, RAG]]
 |-
-| [[AutoEncoder (AE)]]
+|4
+|[[Output Strutturato, Function Calling e Agenti]]
 |-
-| [[Variational AutoEncoder (RAE)]]
+|5
+|RLHF
 |-
-| [[Reinforcement Learning From Human Feedback (RLHF)]]
+|6
-|
+|Red Teaming
+|-
+|7
+|Neural Computer Vision
 |}
-<categorytree mode="pages">Manual</categorytree>
+== Architetture ==
+Le Architetture sono configurazioni strutturali, schemi e metodi utilizzati per costruire modelli di intelligenza artificiale.{{#ask: [[Category:Architettura]] | ?NomeInglese | ?Sigla | ?AnnoDiCreazione}}
 == Modelli ==
+I Modelli sono implementazioni specifiche delle Architetture di IntelligenzaAartificiale, proprietarie o open source.{{#ask: [[Category:Modello]] | ?Sigla | ?AnnoDiCreazione | ?VersioneCorrente}}
-=== Linguaggio Naturale ===
+== Benchmark ==
-* [[GPT-4]]: La quarta generazione del modello di linguaggio GPT.
-* [[GPT-3.5 Turbo]]: Predecessore di GPT-4, ancora ampiamente utilizzato.
-* [[GPT-3.5 Turbo vs. GPT-4]]: Modelli a confronto.
-* [[Mistral]]: Modello per la generazione di testo.
-* [[Llama]]: LLM di Meta
-* [[PaLM]]: LLM di Google
-* [https://www.cnbc.com/2024/02/08/google-gemini-ai-launches-in-new-app-subscription.html Bard AI]: Nome precedente dell'AI di Google, rinominata in [[Gemini]] nel Febbraio 2024
-* [[Alpaca]]
-==== Function Calling ====
+Un benchmark, nel contesto dell'IA, è tipicamente un test o un insieme di test progettati per valutare le prestazioni di un modello o di un algoritmo di intelligenza artificiale in compiti specifici. Questo spesso include l'uso di uno o più dataset standardizzati su cui diversi modelli possono essere addestrati e valutati, ma va oltre alla mera disponibilità di dati. Il concetto di benchmark incorpora anche metriche di valutazione specifiche, criteri e, a volte, l'ambiente software/hardware per garantire che le prestazioni possano essere confrontate equamente tra differenti approcci. Mentre un dataset può essere utilizzato come parte di un benchmark, quest'ultimo è un concetto più ampio che include non solo i dati, ma anche le procedure e le metriche per la valutazione delle prestazioni.
-* [[Gorilla OpenFunctions]]
+{{#ask: [[Category:Benchmark]] | ?Nome | ?Sigla | ?AnnoDiCreazione}}
-=== Generazione Immagini ===
+== Pubblicazioni ==
-* [[Dall-e]]: Modello di OpenAI per la creazione di immagini.
+Le Pubblicazioni includono articoli, libri, paper di conferenze legati all'IA.{{#ask: [[Category:Pubblicazione]] | ?citazioni | ?data }}
-* [[Midjourney]]: Principale competitor di Dall-e nella generazione di immagini
+*
-* [[Stable Diffusion]]: Generatore di immagini sviluppato da Stability AI
-* [[Zero 1-to-3]]: Generazione immagini 3D da 1D
-=== Generazione Video ===
-* [[Sora]]: Modello OpenAI per la creazione di contenuti video.
-=== Generazione Audio ===
-* [[Magenta]]: Progetto di Google che mira a utilizzare l'apprendimento automatico per creare arte e musica.
-=== Generazione Storie ===
-* [[RecurrentGPT]]: Modello avanzato di LLM che integra le capacità di RNN e LSTM
-== Progetti ==
-{| class="wikitable"
-! Nome
-! Descrizione
-|-
-| [[Magenta (Google)]]
-| Progetto di ricerca di Google su arte e musica tramite IA
-|-
-| [[IKEVA-HAI (IULM AI Lab)]]
-|
-|}
-== Paper ==
-=== NLP (Natural Language Processing) ===
-* [[Language Models are Few-Shot Learners (2020)]]
-* [[A Theory for Emergence of Complex Skills in Language Models (2023)]]: Teorie sull'emergere di competenze complesse nei modelli di linguaggio.
-* [[Why think step by step? Reasoning emerges from the locality of experience (2023)]]
-* [[Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap (29/02/2024)]]
-=== Musica ===
-==== MIDI ====
-* [[DeepJ: Style-Specific Music Generation (2018)]]
-* [[Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)]]
-* [[Harmonizing Music the Boltzmann Way (1994)]]
 == Concetti ==
-=== Matematica ===
+I concetti includono metodi, strategie, e procedure impiegate nella costruzione e ottimizzazione di modelli e architetture IA.{{#ask: [[Category:Concetto]] | ?NomeInglese | ?Sigla}}
-* [[Funzione Obiettivo (loss)]]
-=== Apprendimento ===
-* [[Few-shot learning]]
-* [[Function Calling]]
-* [[Fine-tuning]]
-* [[Contamination Testing]]
-=== Esecuzione e Inferenza ===
-* [[Quantizzazione]]: Riduzione della precisione dei numeri per accelerare l'esecuzione dei modelli.
-* [[Metodi di Decoding]]: Tecniche per generare output dai modelli di linguaggio.
-=== Benchmarking ===
-* [[Creazione e Valutazione di Benchmark IA: Processo e Principi]]
-* [[Adversarial Endings]]
-=== Ragionamento negli LLM (Large Language Models) ===
-* [[Step by Step]]
-* [[Chain of Thought]]
-* [[Reasoning Gap]]
-* [[Scaling Laws]]
-== Dataset ==
-* [https://paperswithcode.com/paper/datasets-for-large-language-models-a Datasets for Large Language Models: A Comprehensive Survey]
-* [https://colinraffel.com/projects/lmd/#get Lakh MIDI Dataset]: Dataset di file MIDI per la ricerca musicale.
-* [[DocRED: A Large-Scale Document-Level Relation Extraction Dataset]]
-== Benchmarks ==
-=== Modelli di Linguaggio ===
-==== Benchmark Aggregati ====
-* [[MMLU]]
-==== Capacità di Ragionamento ====
-* [[HellaSwag]]
-* [[DROP]]
-* [[WinoGrande]] - Sakaguchi et al., 2021
-* [[Arc C]]
-* PIQA - Bisk et al., 2020
-* SIQA - Sap et al., 2019
-* CommonsenseQA - Talmor et al., 2018
-==== Conoscenza ====
-* [[NaturalQuestions]] - Kwiatkowski et al.,2019
-* [https://nlp.cs.washington.edu/triviaqa/ TriviaQA] - Joshi et al., 2017
-==== Codice ====
-* [[HumanEval]] - Chen et al., 2021
-* [[MBPP]] - Austin et al., 2021
-==== Comprensione del Testo ====
-* [[SQuAD]] - Rajpurkar et al., 2018
-* [[QuAC]] - Choi et al., 2018
-* [[BoolQ]] - Clark et al., 2019)
-==== Matematica ====
-* [[GSM8K]] - Cobbe et al., 2021
-* [[MATH]] - Hendrycks et al., 2021
-=== Embeddings ===
-* MIRACL
-* MTEB
-=== Video ===
-* [[HMDB: a large human motion database]]
-* [[UCF101 - Action Recognition Data Set]]
-== Servizi Cloud ==
+*
-=== Google ===
+{{#seo:
-* [[Vertex AI]]
+            |title=Mindmaker Wiki: la porta d'accesso al mondo dell'IA
-* [[Model Garden]]
+            |title_mode=append
+|author=Alessandro Saccoia
+            |keywords=intelligenza artificiale, apprendimento automatico, machine learning, deep learning, reti neurali, ontologia, wiki semantica, modelli IA, architetture IA, benchmark IA
+            |description=Trova informazioni dettagliate su modelli, architetture, benchmark, pubblicazioni e concetti chiave. La nostra wiki semantica, basata su un'ontologia strutturata, rende accessibili anche i concetti più complessi.
+            |image=Image 26.png
+            }}