Schema di Winograd

Test per valutare le capacità di ragionamento della macchina, nato come superamento di quello di Turing. Il test prende il nome dal professore dela Stanford University, Terry Allen Winograd.

Gli Schemi di Winograd, che sono molto complessi da creare, sono delle frasi in cui, al posto di una determinata parola, viene fornita la scelta tra due diverse parole: scegliendo l'una o l'altra si stravolge completamente il significato della frase. Nel benchmark Winograd Schema Challenge, il software deve indicare quale sia la più plausibile.

Ad esempio, il primo schema, inventato da Winograd, fu:

The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.

Hector Levesque, che rese questo tipo di trivia un benchmark, sostiene che, mentre per una persona scegliere tra le due opzioni è semplice (la risposta corretta è advocated), per una macchina è difficile cogliere la sfumatura, in quanto per rispondere, essa deve conoscere la tipica relazione esistente, in una manifestazione, fra forze dell'ordine e dimostratori.

Nel 2020, la maggior parte dei modelli di NLU più famosi otteneva un punteggio superiore al 90%, quindi il test viene considerato risolto.

Collegamenti

Una collezione dei primi Schemi di Winograd

Can Winograd Schemas Replace Turing Test for Defining Human-Level AI?