@informapirata @noccioletta @aitech Per addestrare ChatGPT è stato utilizzato un numero di GPU dell’ordine di 10^4 (https://towardsdatascience.com/how-25-000-computers-trained-chatgpt-11104686a24d?gi=c14a164238da#:~:text=Lambda%20Labs%20estimated%20that%20training,in%20a%20matter%20of%20days). Le GPU utilizzate sono le NVIDIA A100 dal costo di circa 10^4$ ciascuna. La dimensione del dataset per la fase di training va da 1 a 100 terabyte.

Per addestrare un algoritmo di AI generativa che possa competere con quelli creati dalle Big Tech quindi servirebbe:

✓ una spesa dell’ordine di 10^8$ (100 milioni di dollari), solo per avere la “materia prima”;
✓ un dataset omnicomprensivo di dimensioni comprese tra 1 e 100 terabyte;
✓un algoritmo con numero di parametri dell’ordine di 10^11 (GPT-3.5) o 10^12 (GPT-4).

Temo quindi che le AI generative opensource fatte in casa siano irrealizzabili. Più semplicemente si usano le API di OpenAI o simili per interfacciarle graficamente e spacciarle come innovazione.
Il fine tuning invece, cioè riadattare un modello pre-esistente per scopi diversi e specifici, è più praticabile e con costi sostenibili.

cc @ed

@aitech

@informapirata @noccioletta @aitech

Sì, per il funzionamento di queste AI generative di immagini o testi o video occorrono modelli di dati su cui addestrare gli algoritmi, altrimenti queste AI non generano un tubo. Un limite è dato anche dalla potenza dell'hardware delle cpu e soprattutto delle gpu. La tendenza, probabilmente, sarà poi quella di sfruttare l'hw dell'utente nel calcolo distribuito se si vorrà mantenere una Ai open source condivisa.

https://stable-diffusion-art.com/models/

@informapirata @noccioletta @aitech intelligenza artificiale e il bussisnes del presente fa gola a tutti