Speculative Decoding
Tecnica per ottimizzare il tempo di inferenza dei modelli Transformer.
E' stata proposta nella pubblicazione Fast Inference from Transformers via Speculative Decoding.
Ha in comune concetti con la Distillazione Della Conoscenza.
Tecnica per ottimizzare il tempo di inferenza dei modelli Transformer.
E' stata proposta nella pubblicazione Fast Inference from Transformers via Speculative Decoding.
Ha in comune concetti con la Distillazione Della Conoscenza.