Pagina principale: differenze tra le versioni

Da Wiki AI.
VisualeWikitesto
Nessun oggetto della modifica
 
(54 versioni intermedie di 5 utenti non mostrate)
Riga 1: Riga 1:
[[File:Image-124.png|destra|senza_cornice]]
''"I want to understand the big questions, the really big ones that you normally go into philosophy or physics if you’re interested in. I thought building AI would be the fastest route to answer some of those questions" - [[Demis Hassabis]]''
Benvenuti nella Wiki AI, dove i concetti complessi diventano accessibili in una wiki '''semantica''' e basata su di un '''[[Ontologia della Wiki AI|ontologia]]''' strutturata.
== Aiuto ==
== Aiuto ==
* [[Linee Guida della Wiki AI Lab]]
* [[Linee Guida della Wiki AI Lab|Linee Guida della Wiki]]
* [https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Contents Guida utente]: Una risorsa completa per i nuovi utenti di MediaWiki.
 
* [[mediawikiwiki:Special:MyLanguage/Help:Contents|Guida utente]]: Una risorsa completa per i nuovi utenti di MediaWiki.
* [[Aiuto:Categorie_di_Wiki_AI_Lab]]: Guida alle categorie specifiche del Wiki AI Lab.
* [[Aiuto:Categorie_di_Wiki_AI_Lab]]: Guida alle categorie specifiche del Wiki AI Lab.
* [[Aiuto:Utilizzo_API]]: Utilizzo dell'API.
* [[Aiuto:Utilizzo_API]]: Utilizzo dell'API.
* [[Speciale:TutteLePagine|S]]<nowiki/>[[Speciale:TutteLePagine|peciale:TutteLePagine]]
* [[Speciale:TutteLePagine|S]]<nowiki/>[[Speciale:TutteLePagine|peciale:TutteLePagine]]
* [[Ontologia della Wiki AI]]
* [[Speciale:PagineSpeciali|S]]<nowiki/>[[Speciale:PagineSpeciali|peciale:PagineSpeciali]]
* [[Ontologia della Wiki AI|Ontologia della Wiki]]
* [https://www.semantic-mediawiki.org/wiki/Help:Semantic_search Semantic Search]
* [[Contatti]]


== Architetture ==
== Introduzione all'Intelligenza Artificiale Moderna ==
Appunti per la parte di Intelligenza Artificiale del corso IULM - [https://iulm.coursecatalogue.cineca.it/af/2023?corso=259&annoOrdinamento=2021&pds=PDS0-2021&ad=7871 "Modelli decisionali per il Marketing Data-Driven"] - Laurea Specialistica in Intelligenza Artificiale, Impresa e Società - prof. [https://www.iulm.it/it/iulm/ateneo/docenti-e-collaboratori/saccoia-alessandro Alessandro Saccoia] - A.A. 2024/25.
{| class="wikitable"
{| class="wikitable"
! Nome
|+
! Descrizione
!Capitolo
!Titolo
|-
|-
| [[Recurrent Neural Network (RNN)]]
|1
| Rete neurale ricorrente
|[[GPT e la Nuova Generazione di Modelli AI]]
|-
|-
| [[LSTM]]
|2
| Long Short-Term Memory, una forma di rete neurale ricorrente
|[[Downstream Tasks, Addestramento e Capacità Emergenti dei Modelli di Linguaggio di Grandi Dimensioni]]
|-
|-
| [[Generative Adversarial Networks (GAN)]]
|3
| Reti che imparano a generare nuovi dati simili a quelli su cui sono addestrate
|[[Retrieval, Embeddings, RAG]]
|-
|-
| [[AutoEncoder (AE)]]
|4
|[[Output Strutturato, Function Calling e Agenti]]
|-
|-
| [[Variational AutoEncoder (RAE)]]
|5
|RLHF
|-
|-
| [[Reinforcement Learning From Human Feedback (RLHF)]]
|6
|  
|Red Teaming
|-
|7
|Neural Computer Vision
|}
|}
<categorytree mode="pages">architettura</categorytree>


== Architetture ==
Le Architetture sono configurazioni strutturali, schemi e metodi utilizzati per costruire modelli di intelligenza artificiale.{{#ask: [[Category:Architettura]] | ?NomeInglese | ?Sigla | ?AnnoDiCreazione}}


== Modelli ==
== Modelli ==
I Modelli sono implementazioni specifiche delle Architetture di IntelligenzaAartificiale, proprietarie o open source.{{#ask: [[Category:Modello]] | ?Sigla | ?AnnoDiCreazione | ?VersioneCorrente}}


<categorytree mode="all">modelli</categorytree>
== Benchmark ==
 
=== Linguaggio Naturale ===
* [[GPT-4]]: La quarta generazione del modello di linguaggio GPT.
* [[GPT-3.5 Turbo]]: Predecessore di GPT-4, ancora ampiamente utilizzato.
* [[GPT-3.5 Turbo vs. GPT-4]]: Modelli a confronto.
* [[Mistral]]: Modello per la generazione di testo.
* [[Llama]]: LLM di Meta
* [[PaLM]]: LLM di Google
* [https://www.cnbc.com/2024/02/08/google-gemini-ai-launches-in-new-app-subscription.html Bard AI]: Nome precedente dell'AI di Google, rinominata in [[Gemini]] nel Febbraio 2024
* [[Alpaca]]
 
==== Function Calling ====
 
* [[Gorilla OpenFunctions]]
 
=== Generazione Immagini ===
* [[Dall-e]]: Modello di OpenAI per la creazione di immagini.
* [[Midjourney]]: Principale competitor di Dall-e nella generazione di immagini
* [[Stable Diffusion]]: Generatore di immagini sviluppato da Stability AI
* [[Zero 1-to-3]]: Generazione immagini 3D da 1D


=== Generazione Video ===
Un benchmark, nel contesto dell'IA, è tipicamente un test o un insieme di test progettati per valutare le prestazioni di un modello o di un algoritmo di intelligenza artificiale in compiti specifici. Questo spesso include l'uso di uno o più dataset standardizzati su cui diversi modelli possono essere addestrati e valutati, ma va oltre alla mera disponibilità di dati. Il concetto di benchmark incorpora anche metriche di valutazione specifiche, criteri e, a volte, l'ambiente software/hardware per garantire che le prestazioni possano essere confrontate equamente tra differenti approcci. Mentre un dataset può essere utilizzato come parte di un benchmark, quest'ultimo è un concetto più ampio che include non solo i dati, ma anche le procedure e le metriche per la valutazione delle prestazioni.
* [[Sora]]: Modello OpenAI per la creazione di contenuti video.


=== Generazione Audio ===
{{#ask: [[Category:Benchmark]] | ?Nome | ?Sigla | ?AnnoDiCreazione}}
* [[Magenta]]: Progetto di Google che mira a utilizzare l'apprendimento automatico per creare arte e musica.


== Framework ==
== Pubblicazioni ==
 
Le Pubblicazioni includono articoli, libri, paper di conferenze legati all'IA.{{#ask: [[Category:Pubblicazione]] | ?citazioni | ?data }}
<categorytree mode="pages">Framework  </categorytree>
*
 
{| class="wikitable"
! Nome
! Descrizione
|-
| [[Magenta (Google)]]
| Progetto di ricerca di Google su arte e musica tramite IA
|-
| [[IKEVA-HAI (IULM AI Lab)]]
|  
|-
|[[RecurrentGPT]]
|Modello avanzato di LLM che integra le capacità di RNN e LSTM
|-
|[[Chain of Density Prompting]]
|Tecnica che crea riepiloghi altamente condensati ma ricchi di informazioni da testi di lunga durata
|}
 
== Paper ==
 
<categorytree mode="pages">paper </categorytree>
 
=== NLP (Natural Language Processing) ===
* [[Language Models are Few-Shot Learners (2020)]]
* [[A Theory for Emergence of Complex Skills in Language Models (2023)]]: Teorie sull'emergere di competenze complesse nei modelli di linguaggio.
* [[Why think step by step? Reasoning emerges from the locality of experience (2023)]]
* [[Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap (29/02/2024)]]
 
=== Musica ===
==== MIDI ====
* [[DeepJ: Style-Specific Music Generation (2018)]]
* [[Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)]]
* [[Harmonizing Music the Boltzmann Way (1994)]]


== Concetti ==
== Concetti ==
=== Matematica ===
I concetti includono metodi, strategie, e procedure impiegate nella costruzione e ottimizzazione di modelli e architetture IA.{{#ask: [[Category:Concetto]] | ?NomeInglese | ?Sigla}}
* [[Funzione Obiettivo (loss)]]
 
=== Apprendimento ===
* [[Few-shot learning]]
* [[Function Calling]]
* [[Fine-tuning]]
* [[Contamination Testing]]
 
=== Esecuzione e Inferenza ===
* [[Quantizzazione]]: Riduzione della precisione dei numeri per accelerare l'esecuzione dei modelli.
* [[Metodi di Decoding]]: Tecniche per generare output dai modelli di linguaggio.
 
=== Benchmarking ===
* [[Creazione e Valutazione di Benchmark IA: Processo e Principi]]
* [[Adversarial Endings]]
 
=== Ragionamento negli LLM (Large Language Models) ===
* [[Step by Step]]
* [[Chain of Thought]]
* [[Reasoning Gap]]
* [[Scaling Laws]]
 
== Dataset ==
* [https://paperswithcode.com/paper/datasets-for-large-language-models-a Datasets for Large Language Models: A Comprehensive Survey]
* [https://colinraffel.com/projects/lmd/#get Lakh MIDI Dataset]: Dataset di file MIDI per la ricerca musicale.
* [[DocRED: A Large-Scale Document-Level Relation Extraction Dataset]]
 
== Benchmarks ==
=== Modelli di Linguaggio ===
 
==== Benchmark Aggregati ====
* [[MMLU]]
 
==== Capacità di Ragionamento ====
 
* [[HellaSwag]]
* [[DROP]]
* [[WinoGrande]] - Sakaguchi et al., 2021
* [[Arc C]]
* PIQA - Bisk et al., 2020
* SIQA - Sap et al., 2019
* CommonsenseQA - Talmor et al., 2018
 
==== Conoscenza ====
* [[NaturalQuestions]] - Kwiatkowski et al.,2019
* [https://nlp.cs.washington.edu/triviaqa/ TriviaQA] - Joshi et al., 2017
 
==== Codice ====
* [[HumanEval]] - Chen et al., 2021
* [[MBPP]] - Austin et al., 2021
 
==== Comprensione del Testo ====
* [[SQuAD]] - Rajpurkar et al., 2018
* [[QuAC]] - Choi et al., 2018
* [[BoolQ]] - Clark et al., 2019)
* [[LongAlign]] - Yushi Bai et al., 2023
* [[BABILong]] - Yuri Kuratov et al., 2024
 
==== Matematica ====
* [[GSM8K]] - Cobbe et al., 2021
* [[MATH]] - Hendrycks et al., 2021
 
=== Embeddings ===
* MIRACL
* MTEB
 
=== Video ===
* [[HMDB: a large human motion database]]
* [[UCF101 - Action Recognition Data Set]]
 
== Servizi Cloud ==
 
=== Google ===
* [[Vertex AI]]
* [[Model Garden]]
 
== Tutorial AI Lab ==
 
=== PyTorch ===


* [[Come creare un tensore su Pytorch]]
*


* [[Come creare una RNN da zero con PyTorch]]
{{#seo:
            |title=Mindmaker Wiki: la porta d'accesso al mondo dell'IA
            |title_mode=append
|author=Alessandro Saccoia
            |keywords=intelligenza artificiale, apprendimento automatico, machine learning, deep learning, reti neurali, ontologia, wiki semantica, modelli IA, architetture IA, benchmark IA
            |description=Trova informazioni dettagliate su modelli, architetture, benchmark, pubblicazioni e concetti chiave. La nostra wiki semantica, basata su un'ontologia strutturata, rende accessibili anche i concetti più complessi.
            |image=Image 26.png
            }}

Versione attuale delle 17:19, 18 dic 2024

"I want to understand the big questions, the really big ones that you normally go into philosophy or physics if you’re interested in. I thought building AI would be the fastest route to answer some of those questions" - Demis Hassabis

Benvenuti nella Wiki AI, dove i concetti complessi diventano accessibili in una wiki semantica e basata su di un ontologia strutturata.

Aiuto

Introduzione all'Intelligenza Artificiale Moderna

Appunti per la parte di Intelligenza Artificiale del corso IULM - "Modelli decisionali per il Marketing Data-Driven" - Laurea Specialistica in Intelligenza Artificiale, Impresa e Società - prof. Alessandro Saccoia - A.A. 2024/25.

Capitolo Titolo
1 GPT e la Nuova Generazione di Modelli AI
2 Downstream Tasks, Addestramento e Capacità Emergenti dei Modelli di Linguaggio di Grandi Dimensioni
3 Retrieval, Embeddings, RAG
4 Output Strutturato, Function Calling e Agenti
5 RLHF
6 Red Teaming
7 Neural Computer Vision


Architetture

Le Architetture sono configurazioni strutturali, schemi e metodi utilizzati per costruire modelli di intelligenza artificiale.

 NomeIngleseSiglaAnnoDiCreazione
AutoencoderAutoencoder1993
BARTBidirectional and Auto-Regressive TransformersBART29 ottobre 2019
Contrastive Language-Image Pretraining (CLIP)Contrastive Language-Image PretrainingCLIP2021
ControlNetControlNetControlNetfebbraio 2023
Detection TransformerDetection TransformerDeTr2020
Extended Long Short-Term MemoryExtended Long Short-Term MemoryxLSTM2024
Long Short-Term Memory (LSTM)Long Short-Term MemoryLSTM1997
Macchine di Boltzmann Restrittive (RBM)Restricted Boltzmann MachineRBM1986
MiDaSMulti-scale Deep StereoMiDaS2019
Mixture of Experts
Modello di Diffusione Latente (LDM)Latent Diffusion ModelLDM2021
Modello linguistico di grandi dimensioni per il linguaggio parlato
Rete Generativa AvversariaGenerative Adversarial NetworkGAN2014
Rete Neurale Artificiale (ANN)Artificial Neural NetworkANN1957
Rete Neurale Feed-Forward (FNN)Feed-Forward Neural NetworkFNN1958
Rete Neurale Residua (ResNet)Residual Neural NetworkResNet2015
Rete Neurale Ricorrente (RNN)Recurrent Neural NetworksRNN1990
Reti Neurali Convoluzionali (CNN)Convolutional Neural NetworksCNN1995
Sequence to Sequence (seq2seq)Sequence to Sequence Modelseq2seq2014
Transformer (Architettura di Deep Learning)Transformer2017
Vision Transformer (ViT)Vision TransformerViT2021

Modelli

I Modelli sono implementazioni specifiche delle Architetture di IntelligenzaAartificiale, proprietarie o open source.

 SiglaAnnoDiCreazioneVersioneCorrente
AlexNet2012
AlpacaAlpaca2023
AlphaFold
BERTBERT2018
Biaxial LSTM (DeepJ - musica)Biaxial LSTM
ConceptNet
Contriever
DeepDream18 giugno 2015
GLoVeGLoVe2014GLoVe v.1.2 (2015)
Generative Pretrained Transformer (GPT)GPT2018GPT-4o (2024)
GoogLeNet
Gorilla OpenFunctions2023
InstructGPTInstructGPT27 gennaio 2022
InstructPix2Pix: Learning to Follow Image Editing Instructions2023
LeNet1995LeNet-5
LlamaLLaMA20213.0
MistralMistral2023
NETtalk1993
O1
OpenAI o1
PaLMPaLM2022PaLM 2 (2023)
SPLADE
Stable Diffusion2022SD3 (2023)
StyleGANStyleGAN2019StyleGAN 3 (2021)
VGG16 (ConvNet)VGG162014
XLM-RoBERTaXLM-RoBERTa2020
Zero 1-to-32023

Benchmark

Un benchmark, nel contesto dell'IA, è tipicamente un test o un insieme di test progettati per valutare le prestazioni di un modello o di un algoritmo di intelligenza artificiale in compiti specifici. Questo spesso include l'uso di uno o più dataset standardizzati su cui diversi modelli possono essere addestrati e valutati, ma va oltre alla mera disponibilità di dati. Il concetto di benchmark incorpora anche metriche di valutazione specifiche, criteri e, a volte, l'ambiente software/hardware per garantire che le prestazioni possano essere confrontate equamente tra differenti approcci. Mentre un dataset può essere utilizzato come parte di un benchmark, quest'ultimo è un concetto più ampio che include non solo i dati, ma anche le procedure e le metriche per la valutazione delle prestazioni.

 NomeSiglaAnnoDiCreazione
An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction (CLINC150)An Evaluation Dataset for Intent Classification and Out-of-Scope PredictionCLINC1502019
BABILongBABILong2024
Bilingual Evaluation Understudy (BLEU)BiLingual Evaluation UnderstudyBLEU2002
BoolQBoolean QuestionsBoolQ2019
Cross-lingual Transfer Evaluation of Multilingual Encoders (XTREME)Cross-lingual Transfer Evaluation of Multilingual EncodersXTREME2020
Discrete Reasoning Over Paragraphs (DROP)DROPDROP2019
DocRED: A Large-Scale Document-Level Relation Extraction DatasetA Large-Scale Document-Level Relation Extraction DatasetDocRED2019
GSM8KGrade School Math 8KGSM8K2022
General Language Understanding Evaluation (GLUE)General Language Understanding EvaluationGLUE2018
HMDB: a large human motion databaseA large human motion databaseHMDB2011
HellaSwagHellaSwagHellaSwag2019
HumanEvalHumanEval2021
ImageNet Large Scale Visual Recognition ChallengeImageNet Large Scale Visual Recognition ChallengeILSVRC2012
LAION-5BLarge-scale Artificial Intelligence Open Network-5 BillionLAION-5B2021
LongAlignLongAlign2024
MATHMATH2021
MBPPMostly Basic Programming ProblemsMBPP2021
MMLUMassive Multitask Language UnderstandingMMLU2021
MS COCOMicrosoft Common Objects in ContextMS COCO2014
Microsoft Machine Reading Comprehension (MS MARCO)
Mind2WebMind2WebMind2Web2023
NaturalQuestionsNaturalQuestions2019
QuACQuestion Answering in ContextQuAC2018
SQuADStanford Question Answering DatasetSQuAD2018
Schema di Winograd
Semantic Textual Similarity (STS)Semantic Textual SimilaritySTS2012
UCF101 - Action Recognition Data SetAction Recognition Data SetUCF1012013
WinoGrandeWinoGrande2019

Pubblicazioni

Le Pubblicazioni includono articoli, libri, paper di conferenze legati all'IA.

 CitazioniData"Data <span style="font-size:small;">(Date)</span>" è un tipo e una proprietà predefinita fornita da Semantic MediaWiki per rappresentare valori di date.
A Comprehensive Overview of Large Language Models2024
A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques
A Focused Backpropagation Algorithm for Temporal Pattern Recognition5701989
A Large-Scale Document-Level Relation Extraction Dataset3772019
A Neural Algorithm of Artistic Style (2015)4,6852015
A Neural Probabilistic Language Model7,0322003
A Theory for Emergence of Complex Skills in Language Models (2023)4329 luglio 2023
Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models52024
An algorithm for suffix stripping9,5541973
Are Large Language Models Geospatially Knowledgeable?182024
Are Sixteen Heads Really Better than One?
Are We Done with MMLU?32023
Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models132024
Attention Is All You Need (2017)100,9862017
Automatic Stylistic Composition of Bach Chorales With Deep LSTM (2017)822016
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension9,0702019
BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models
BERT Rediscovers the Classical NLP Pipeline
BERT for Classification: Beyond the Next Sentence Prediction Task
BLEU: a method for automatic evaluation of machine translation24,7052002
COIL: Revisit exact lexical match in information retrieval with contextualized inverted list
Chain of Thought Prompting Elicits Reasoning in Large Language Models4,9602022
Classifier-Free Diffusion Guidance2,2052022
Context-Aware Term Weighting For First Stage Passage Retrieval
Convolutional Neural Networks for Sentence Classification12,8192014
Crawling the Internal Knowledge-Base of Language Models642022
Dall-e 3 (2023)142024
Decoding Intelligence: A Framework for Certifying Knowledge Comprehension in LLMs
Deep Contextualized Word Representations11,0082018
Deep Convolutional Neural Networks (AlexNet)8442012
Deep Reinforcement Learning from Human Preferences2,2152023
Deep Residual Learning for Image Recognition169,1632015
Deep Unsupervised Learning using Nonequilibrium Thermodynamics4,4602015
DeepJ: Style-Specific Music Generation (2018)862018
Dense Passage Retrieval for Open-Domain Question Answering2,9972021
Diffusion Models Beat GANs on Image Synthesis4,8062021
Efficient Estimation of Word Representations in Vector Space29,4842013
Emergent Abilities of Large Language Models1,9362023
End-to-End Object Detection with Transformers
Estimating Knowledge in Large Language Models Without Generating a Single Token72024
FANNG: Fast Approximate Nearest Neighbour Graphs2412014
Fast Inference from Transformers via Speculative Decoding
Finding Structure in Time11,2421990
Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap182024
Functional Decision Theory: A New Theory of Instrumental Rationality
GPT-4 Technical Report6,2492023
Generating Sequences With Recurrent Neural Networks3,8572014
Generating Sequences With Recurrent Neural Networks (2014)3,8572013
Generative Adversarial Nets27,1292014
GloVe: Global Vectors for Word Representation30,1382014
… risultati successivi

Concetti

I concetti includono metodi, strategie, e procedure impiegate nella costruzione e ottimizzazione di modelli e architetture IA.

 NomeIngleseSigla
Ablation (Intelligenza Artificiale)Ablation
Adversarial EndingsAdversarial Endings
Adversarial Filtering (AF)Adversarial FilteringAF
Allucinazione
Apprendimento Auto-Supervisionato
Apprendimento per rinforzo da feedback umanoReinforcement Learning From Human FeedbackRLHF
Attention (Machine Learning)Attantion
Byte-Pair Encoding (BPE)Byte-Pair EncodingBPE
Capacità Emergenti
Causal Language Modeling (CLM)Causal Language ModelingCLM
Chain of ThoughtChain of ThoughtCoT
Confabulazione
ConnessionismoConnectionism
Contamination TestingContamination Testing
Convinzione (Belief)
Dataset di PreferenzePreferences Dataset
Distillazione Della ConoscenzaKnowledge DistillationKD
Dropout (Reti Neurali)Dropout
Effetto Dunning-Kruger
Few-shot learningFew-shot learning
Fine-tuningFine-tuningSFT
Forward pass
Function CallingFunction Calling
Funzione Obiettivo (loss)Loss Function
Funzione di attivazioneActivation function
Generalizzazione zero-shot
GrokkingGrokking
Kernel di convoluzioneConvolution kernel
LLM-as-a-judgeLLM-as-a-judge
LayerNormLayerNormLayerNorm
Libero Arbitrio
LoRALoRA
Logit (Reti Neurali)Logit
Masked-Language-Modeling (MLM)Masked-Language-ModelingMLM
Mean Reciprocal Rank
Metodi di DecodingDecoding Methods
Modello GenerativoGenerative Model
Modello linguistico di grandi dimensioniLarge Language ModelLLM
Negative log-likelihoodNegative log-likelihood
Non-Maximum Suppression
Numero di Parametri nelle Reti NeuraliParameters in Neural Networks
Obiettivo di pre-training
One-hot encodingsOne-hot encodings
Ontologia (Informatica)Ontology
Optimizer (Reti Neurali)Optimizer
Povertà dello stimolo (Linguistica)Poverty of stimulus
Prefix-Tuning
Problema difficile della coscienza
Prompt Injection
Prompting
… risultati successivi


Estratto da "https://wiki.mindmaker.it/index.php?title=Pagina_principale&oldid=4680"