Convieni acquistare una GPU e auto-ospitare un LLM open source, oppure continuare a pagare per token utilizzati tramite un’API? Dipende dal volume. Inserisci il tuo utilizzo mensile e la tua configurazione hardware: questo calcolatore ti mostra il punto di pareggio, ovvero il momento in cui possedere la GPU diventa più economico rispetto alla bolletta dell’API.
Il tuo utilizzo
La tua configurazione per self-hosting
| Costo API (per il tuo volume) | — |
| Costo self-hosting (GPU ammortizzata) | — |
| Costo self-hosting (elettricità) | — |
| Costo totale self-hosting al mese | — |
Esecuzioni self-hosting modelli open-weight (pesi gratuiti), quindi questo confronta il costo per token dell’API con quello dell’acquisto dell’hardware. Si assume che la tua GPU sia in grado di gestire il carico richiesto (una singola GPU ha un limite massimo di token/sec) e non tiene conto del tempo necessario per configurazione e manutenzione. Verifica quali modelli una GPU può effettivamente eseguire nel nostro Calcolatore VRAM, e i prezzi attuali delle API nella calcolatore dei costi.
Ricorda: l'auto-hosting esegue modelli open-weight, quindi considera la differenza di qualità rispetto a un'API di ultima generazione — e utilizza il nostro Calcolatore VRAM per verificare che la tua GPU possa effettivamente eseguire il modello desiderato.