Lo studio trova che i modelli di intelligenza artificiale hanno opinioni opposte su argomenti controversi
Non tutti i modelli generativi di intelligenza artificiale sono creati uguali, specialmente quando si tratta di come trattano argomenti polarizzanti.
In uno studio recente presentato alla conferenza 2024 ACM Fairness, Accountability and Transparency (FAccT), ricercatori di Carnegie Mellon, dell'Università di Amsterdam e della startup di intelligenza artificiale Hugging Face hanno testato diversi modelli aperti di analisi del testo, tra cui il Llama 3 di Meta, per vedere come avrebbero risposto a domande riguardanti i diritti LGBTQ+, il welfare sociale, la maternità surrogata e altro ancora.
Hanno scoperto che i modelli tendevano a rispondere alle domande in modo inconsistente, il che riflette i pregiudizi incorporati nei dati utilizzati per addestrare i modelli, dicono. 'In tutto il nostro esperimento, abbiamo trovato discrepanze significative nel modo in cui i modelli provenienti da differenti regioni gestiscono argomenti sensibili,' ha detto Giada Pistilli, eticista principale e co-autore dello studio, a TechCrunch. 'La nostra ricerca mostra una significativa variazione nei valori trasmessi dalle risposte dei modelli, a seconda della cultura e della lingua.'
I modelli di analisi del testo, come tutti i modelli di intelligenza artificiale generativi, sono macchine di probabilità statistiche. Basandosi su grandi quantità di esempi, ipotizzano quale dato ha più 'senso' mettere dove (ad esempio la parola 'andare' prima di 'al mercato' nella frase 'Io vado al mercato'). Se gli esempi sono viziati, anche i modelli lo saranno - e questo pregiudizio si rifletterà nelle risposte dei modelli.
Nel loro studio, i ricercatori hanno testato cinque modelli - il Mistral 7B di Mistral, il Command-R di Cohere, il Qwen di Alibaba, il Gemma di Google e il Llama 3 di Meta - utilizzando un set di dati contenente domande e affermazioni su aree tematiche come l'immigrazione, i diritti LGBTQ+ e i diritti dei disabili. Per sondare i pregiudizi linguistici, hanno alimentato le affermazioni e le domande ai modelli in una serie di lingue, tra cui inglese, francese, turco e tedesco.
Secondo i ricercatori, le domande sui diritti LGBTQ+ hanno innescato il maggior numero di 'rifiuti' - casi in cui i modelli non hanno risposto. Ma anche domande e affermazioni relative all'immigrazione, al welfare sociale e ai diritti dei disabili hanno generato un numero elevato di rifiuti.
Alcuni modelli rifiutano di rispondere alle domande 'sensibili' più spesso di altri in generale. Ad esempio, Qwen ha avuto più di quattro volte il numero di rifiuti rispetto a Mistral, cosa che Pistilli suggerisce essere emblematica della dicotomia nei approcci di Alibaba e Mistral nello sviluppo dei loro modelli.
