Ein Token ist der Fachbegriff für den Umfang, in dem unsere Modelle arbeiten. Von dem Input, den Sie ihnen geben, bis zu dem Output, den sie für Sie erzeugen.

Stellen Sie sich das so vor, als würden Sie für die Liter Wasser bezahlen, die Sie aus Ihrem städtischen System verbrauchen und in dieses zurückfließen lassen.

Token sind eine Form der Messung, die in verschiedenen Einheiten ausgedrückt werden kann, so wie 1 Liter Wasser dasselbe ist wie 1000 Milliliter Wasser. In ähnlicher Weise besteht 1 Token aus 4 Zeichen.

Wussten Sie übrigens, dass ein durchschnittliches Wort aus 4,5 Zeichen besteht? 1 Token ist also fast ein Wort!

Um das Ganze noch einmal ins rechte Licht zu rücken. Der Text bis hierher hat etwa 670 Zeichen, 124 Wörter und ergibt etwa 169 Token.

Wenn Alta diesen Block erstellt hätte, hätte das folgende Kosten verursacht:

[Anzahl der Token insgesamt] x [Preis pro Token von Alta] = Kosten

169 x 0,00002 = 0,0038 USD

Wir arbeiten die meiste Zeit mit unseren eigenen NeoCortex-Modellen.

Andere Modelle, die wir für Sie hosten, optimieren und betreiben können, sind:
- GPT Neo 2,7 Mrd.
- GPT-J 6 Mrd.
- GPT NeoX 20 Mrd.
- OPT: Open Pre-trained Transformer Language Models (125M bis 66 bn.)
- FairSeq (13 bn.)
- CodeGen (16 bn.)
- Bloom 560m
- Bloom 1.1 bn.
- Bloom 1.7 bn.
- Bloom 3 bn.
- Bloom 7.1 bn.
- Bloom 176 bn. (bald verfügbar)
- t5 Small
- t5 Base
- t5 Large
- t5 3b
- t5 11b
- Stable Diffusion hosted API

Falls Sie weitere Fragen haben, wenden Sie sich an unser Integrationsteam.

Wir berechnen Ihre Kosten auf der Grundlage der Anzahl der Eingabe- und Ausgabe-Token, mit denen Sie arbeiten.

Eine Generierungsaufgabe mit unserem "Aecus"-Modell für LongForm ist meistens sehr ausgabeintensiv.

Denken Sie an die folgende Eingabeaufforderung:
"Die NeoCortex-Textgenerierung API hilft Ihnen bei Ihrem Arbeitsablauf" (60 Zeichen = 15 Token)

Hier ist die eigentliche Ausgabe:
"Was ist NeoCortex?
NeoCortex ist eine Deep-Learning-Textgenerierung API, die nur natürliche Sprache zur Generierung von Texten verwendet. Der generierte Text ist so gestaltet, dass er für Menschen lesbar und verständlich ist, was Ihnen bei Ihrem Arbeitsablauf hilft. API ist leicht zu erlernen und verfügt über eine einfache Schnittstelle. Das macht es perfekt für Entwickler, die ihre eigenen Anwendungen erstellen wollen." (360 Zeichen = 90 Token)

Ergibt eine Gesamtzahl von 15 + 90 = 105 Token.

0,02 $ geteilt durch 1000 mal 105 = 0,0021 $ würden für Ihre Anfrage berechnet.

Ja.

Wenn Sie Registrieren auf unserer Plattform anmelden und einen API Schlüssel generieren, erhalten Sie automatisch $5, um unsere APIs 30 Tage lang zu testen.

Für Hilfe rund um Ihre Integration wenden Sie sich an unser Integrationsteam.

Bei der Feinabstimmung Ihrer Modelle nehmen wir Ihre Daten und bringen einem Modell bei, wie es sich auf diesen Daten verhalten soll und was erwartet wird.

Wie ein guter Anzug schneidern wir Ihnen ein Modell zur Texterzeugung, -klassifizierung und -extraktion auf Ihre Bedürfnisse zu.

Alles, was wir von Ihnen benötigen, ist ein Datensatz mit qualitativ hochwertigen Daten aus Ihrem Arbeitsablauf.

Wir sehen erste Verbesserungen bei Datensätzen mit nur 500 Beobachtungen.

Falls Sie weitere Fragen haben, wenden Sie sich an unser Integrationsteam.

Ja.

Die Basisfunktionalitäten erfordern weniger als 3 Zeilen Code. Aus diesem Grund haben wir auch mehrere OSS-Pakete für eine einfache Integration(PyPi, NPM-JS).

Darüber hinaus bieten wir Ihnen einen speziellen Integrationssupport für Ihre Einarbeitungszeit.

Während Neueinsteiger etwa 4 bis 6 Wochen benötigen, um erste Ergebnisse zu sehen. Jemand, der zu unserer Infrastruktur wechselt, findet sich in weniger als 2 Wochen zurecht.

Wir versuchen, unsere API Endpunkte so selbsterklärend wie möglich zu gestalten. Wir helfen Ihnen gerne, das beste Modell zu finden.

Falls Sie eine direkte Anleitung benötigen, wenden Sie sich an unser Integrationsteam.

Die Ausführung großer Sprachmodelle (LLM) erfordert leistungsstarke Rechenmaschinen in Form von GPUs.

Der Aufbau der Infrastruktur, ihre Wartung und Optimierung ist mit hohen Kosten verbunden. Wir sind Experten darin, da wir unsere Modelle für unsere benutzerseitigen Produkte verkleinert haben, bei denen es auf Antwortzeiten in "ms" ankommt und Kostenoptimierung unser Margentreiber ist.

Mit TextCortex haben Sie den Vorteil, von unserem NeoCortex-System auf zwei kostensparende Arten zu profitieren:

1) Pay-per-Token
Ideal für kleinere Betriebe. Zum Beispiel weniger als 100.000 Anfragen pro Monat oder kleinere Modelle mit weniger als 10 Mrd. Parametern.

Sie arbeiten in einer gemeinsamen Umgebung mit anderen Kunden.

2) Pay-per-GPU-hour
Ideal für den Betrieb großer Prozesse. Zum Beispiel, Millionen von Anfragen oder Modelle mit mehr als 20 Mrd. Parametern.
‍
Sie bezahlen uns für die Verwaltung und das Hosting der Modelle in Abhängigkeit von der pauschalen aktiven GPU-Stundenrate, die Ihre Modelle ausführen.

Dies ist eine vorrangige Option, bei der Sie dedizierte Ressourcen nur für Ihren Fall verwenden.
‍‍
Falls Sie weitere Beratung benötigen, wenden Sie sich an unser Integrationsteam.