Anthropic afferma che il suo ultimo modello è il migliore della categoria

Il rivale di OpenAI, Anthropic, sta rilasciando un potente nuovo modello di intelligenza artificiale generativa chiamato Claude 3.5 Sonnet. Ma si tratta più di un passo incrementale che di un balzo monumentale in avanti.

Claude 3.5 Sonnet può analizzare sia testi che immagini e generare testi, ed è il modello di maggior successo di Anthropic - almeno sulla carta. In diversi benchmark di intelligenza artificiale per la lettura, la codifica, la matematica e la visione, Claude 3.5 Sonnet supera il modello che sta sostituendo, Claude 3 Sonnet, e batte il modello di punta precedente di Anthropic, Claude 3 Opus.

I benchmark non sono necessariamente la misura più utile del progresso dell'AI, in parte perché molti di essi testano casi limite esoterici che non sono applicabili alla persona media, come rispondere a domande di esame di salute. Ma per ciò che vale, Claude 3.5 Sonnet supera di poco i modelli leader rivali, incluso il recente lancio di GPT-4o di OpenAI, su alcuni dei benchmark contro cui Anthropic lo ha testato.

Insieme al nuovo modello, Anthropic sta rilasciando quello che chiama Artifacts, uno spazio di lavoro in cui gli utenti possono modificare e aggiungere contenuti - ad esempio codici e documenti - generati dai modelli di Anthropic. Attualmente in anteprima, Artifacts acquisirà nuove funzionalità, come modi per collaborare con team più grandi e memorizzare basi di conoscenza, nel prossimo futuro, afferma Anthropic.

Focus sull'efficienza

Claude 3.5 Sonnet è un po' più performante di Claude 3 Opus, e Anthropic afferma che il modello comprende meglio istruzioni sfumate e complesse, oltre a concetti come l'umorismo. (L'AI è famigeratamente priva di senso dell'umorismo, però.) Ma forse ancora più importante per gli sviluppatori che creano app con Claude che richiedono risposte tempestive (ad esempio chatbot per il servizio clienti), 3.5 Sonnet è più veloce. È circa il doppio della velocità di 3 Opus, afferma Anthropic.

La visione - l'analisi delle foto - è un'area in cui Claude 3.5 Sonnet migliora notevolmente rispetto a 3 Opus, secondo Anthropic. 3.5 Sonnet può interpretare grafici e grafici con maggiore precisione e trascrivere testi da immagini "imperfette", come foto con distorsioni e artefatti visivi.

Michael Gerstenhaber, responsabile prodotto di Anthropic, afferma che i miglioramenti sono il risultato di aggiustamenti architettonici e nuovi dati di addestramento, compresi dati generati dall'IA. Quali dati nello specifico? Gerstenhaber non avrebbe rivelato, ma ha lasciato intendere che Claude 3.5 Sonnet trae gran parte della sua forza da questi set di addestramento.

“Ciò che conta per [le aziende] è se l'IA sta aiutando a soddisfare le loro esigenze aziendali, non se l'IA è competitiva su un benchmark,” ha detto Gerstenhaber a TechCrunch. “E da tale prospettiva, credo che Claude 3.5 Sonnet sarà un salto di qualità rispetto a qualsiasi altra cosa che abbiamo a disposizione - e anche rispetto a qualsiasi altra cosa del settore.”

Il segreto intorno ai dati di addestramento potrebbe essere per motivi competitivi. Ma potrebbe anche essere per proteggere Anthropic da sfide legali - in particolare sfide riguardanti l'uso equo. I tribunali devono ancora decidere se fornitori come Anthropic e i suoi concorrenti, come OpenAI, Google, Amazon e così via, hanno il diritto di addestrarsi su dati pubblici, compresi dati protetti da copyright, senza compensare o accreditare i creatori di quei dati.

Quindi, tutto ciò che sappiamo è che Claude 3.5 Sonnet è stato addestrato su molti testi e immagini, come i modelli precedenti di Anthropic, più il feedback da tester umani per cercare di “allineare” il modello con le intenzioni degli utenti, sperando di evitare che emetta testo tossico o altrimenti problematico.

Cosa altro sappiamo? Beh, la finestra di contesto di Claude 3.5 Sonnet - la quantità di testo che il modello può analizzare prima di generare nuovo testo - è di 200.000 token, la stessa di 3 Sonnet. I token sono frammenti suddivisi di dati grezzi, come le sillabe “fan”, “tas” e “tic” nella parola “fantastico”; 200.000 token corrispondono a circa 150.000 parole.

E sappiamo che Claude 3.5 Sonnet è disponibile oggi. Gli utenti gratuiti del client web di Anthropic e dell'app iOS di Claude possono accedervi senza alcun costo; gli abbonati ai piani a pagamento di Anthropic Claude Pro e Claude Team ottengono limiti di tasso 5 volte più alti. 3.5 Sonnet è disponibile anche sull'API di Anthropic e sulle piattaforme gestite come Amazon Bedrock e Vertex AI di Google.

“Claude 3.5 Sonnet è davvero un salto di qualità nell'intelligenza senza sacrificare la velocità, e ci prepara per i futuri rilasci lungo tutta la famiglia di modelli Claude,” ha detto Gerstenhaber.

Claude 3.5 Sonnet guida anche Artifacts, che apre una finestra dedicata nel client web di Claude quando un utente chiede al modello di generare contenuti come frammenti di codice, documenti di testo o design di siti web. Gerstenhaber spiega: “Gli Artifacts sono l'output del modello che mette i contenuti generati da parte e ti consente, come utente, di iterare su quel contenuto. Immaginiamo tu voglia generare un codice - l'artefatto verrà inserito nell'UI e poi puoi parlare con Claude e iterare sul documento per migliorarlo in modo da poter eseguire il codice.”

Il quadro più ampio

Che significato ha Claude 3.5 Sonnet nel contesto più ampio di Anthropic - e dell'ecosistema dell'IA, per la verità?

Claude 3.5 Sonnet mostra che il progresso incrementale è l'estensione di ciò che possiamo aspettarci al momento sul fronte dei modelli, a meno di una grande scoperta nella ricerca. Gli ultimi mesi hanno visto rilasci di punta da parte di Google (Gemini 1.5 Pro) e OpenAI (GPT-4o) che spostano l'ago marginalmente in termini di prestazioni di benchmark e qualitative. Ma non c'è stato un balzo che abbia eguagliato il passaggio da GPT-3 a GPT-4 da parecchio tempo, dovuto alla rigidità delle architetture di modelli attuali e all'enorme potenza di calcolo necessaria per l'addestramento.

Mentre i fornitori di IA generativa rivolgono la propria attenzione alla cura e alla licenza dei dati al posto di promettenti nuove architetture scalabili, ci sono segni che gli investitori stiano diventando cauti sul percorso più lungo del previsto per il ROI dell'IA generativa. Anthropic è in parte al riparo da questa pressione, essendo nella posizione invidiabile dell'assicurazione di Amazon (e in misura minore di Google) contro OpenAI. Ma il fatturato dell'azienda, previsto per raggiungere poco meno di 1 miliardo di dollari entro la fine del 2024, è una frazione di quello di OpenAI - e sono sicuro che i sostenitori di Anthropic non facciano mai dimenticare questo fatto.

Nonostante una base clienti in crescita che include marchi di fama mondiale come Bridgewater, Brave, Slack e DuckDuckGo, Anthropic manca ancora di un certo prestigio aziendale. In modo significativo, è stato OpenAI - non Anthropic - con cui PwC si è recentemente associata per rivendere offerte di IA generativa all'azienda.

Quindi Anthropic sta adottando un approccio strategico, e ben battuto, per fare progressi, investendo tempo di sviluppo in prodotti come Claude 3.5 Sonnet per offrire prestazioni leggermente migliori a prezzi di mercato. 3.5 Sonnet ha lo stesso prezzo di 3 Sonnet: $3 per milione di token inseriti nel modello e $15 per milione di token generati dal modello.

Gerstenhaber ha parlato di questo nella nostra conversazione. “Quando si costruisce un'applicazione, l'utente finale non dovrebbe sapere quale modello viene utilizzato o come un ingegnere ha ottimizzato la loro esperienza,” ha detto, “ma l'ingegnere dovrebbe avere a disposizione gli strumenti per ottimizzare quell'esperienza lungo i vettori che devono essere ottimizzati, e il costo è certamente uno di essi.”

Claude 3.5 Sonnet non risolve il problema delle allucinazioni. Sicuramente commette errori. Ma potrebbe essere abbastanza attraente per convincere sviluppatori e aziende a passare alla piattaforma di Anthropic. E alla fine della giornata, questo è ciò che conta per Anthropic.

Per raggiungere lo stesso obiettivo, Anthropic ha puntato su strumenti come il suo AI sperimentale di guida, che consente agli sviluppatori di “guidare” le caratteristiche interne deimodelli; integrazioni per consentire ai suoi modelli di compiere azioni all'interno delle app; e strumenti costruiti sopra i suoi modelli come l'esperienza Artifacts menzionata in precedenza. Ha anche assunto un co-fondatore di Instagram come responsabile prodotto. E ha ampliato la disponibilità dei suoi prodotti, portando di recente Claude in Europa e aprendo uffici a Londra e Dublino.

Anthropic, tutto sommato, sembra essere arrivata all'idea che costruire un ecosistema intorno ai modelli - non semplicemente modelli isolati - sia la chiave per trattenere i clienti mentre il divario delle capacità tra i modelli si restringe.

Tuttavia, Gerstenhaber ha insistito sul fatto che modelli più grandi e migliori - come Claude 3.5 Opus - sono all'orizzonte, con funzionalità come la ricerca web e la capacità di ricordare le preferenze al seguito.

“Non ho ancora visto l'apprendimento profondo colpire un muro, e lascerò che i ricercatori speculino su quel muro, ma penso che sia un po' presto per trarre conclusioni su questo, specialmente se si guarda al ritmo dell'innovazione,” ha detto. “C'è uno sviluppo molto rapido e un'innovazione molto rapida, e non ho motivo di credere che si rallenterà.”

Lo vedremo.