Sollten Sie eine GPU kaufen und ein offenes LLM selbst hosten oder weiterhin pro Token für eine API bezahlen? Entscheidend ist das Nutzungsvolumen. Geben Sie Ihren monatlichen Verbrauch und Ihre Hardware an – dieser Rechner zeigt den Break-Even-Punkt an, also den Zeitpunkt, ab dem der Besitz einer GPU günstiger ist als die API-Gebühren.
Ihre Nutzung
Ihr Selbsthosting-System
| API-Kosten (bei Ihrem Volumen) | — |
| Selbsthosting-Kosten (GPU abgeschrieben) | — |
| Selbsthosting-Kosten (Strom) | — |
| Gesamtkosten für Selbsthosting pro Monat | — |
Selbsthosting-Läufe Open-Weight-Modelle (kostenlose Gewichte), sodass hier die pro-Token-API-Gebühr mit den Kosten für den Hardwarebesitz verglichen wird. Es wird davon ausgegangen, dass Ihre GPU mit dem gewünschten Volumen mithalten kann (eine einzelne GPU hat eine Obergrenze für Tokens/Sekunde) und dass Aufbau- und Wartungszeit unberücksichtigt bleiben. Prüfen Sie, welche Modelle eine GPU tatsächlich ausführen kann, in unserem VRAM-Rechner, sowie aktuelle API-Preise in den Kostenrechner.
Denken Sie daran: Bei Self-Hosting erfolgen die Ausführungen lokal Open-Weight-Modelle, berücksichtigen Sie daher den Qualitätsunterschied gegenüber einer State-of-the-Art-API – und nutzen Sie unseren VRAM-Rechner um zu überprüfen, ob Ihre GPU das gewünschte Modell tatsächlich ausführen kann.