Bauen Sie die Modellauswahl in Ihr Produkt ein.

Trennen Sie die Produktlogik vom Modellzugriff

Platzieren Sie den TextCortex-Client hinter einem serverseitigen Dienst in Ihrer Anwendung. Behalten Sie die Authentifizierung, Anforderungserstellung und Nutzungsprotokollierung in diesem Dienst bei, damit Produktfunktionen sie gemeinsam nutzen können.

Der Dienst kann für jede Funktion ein anderes Modell auswählen. Ein Dokumentparser, ein Support-Assistent und ein Codeüberprüfungstool müssen nicht dasselbe Modell oder dieselben Generierungseinstellungen verwenden.

Bieten Sie Ihren Kunden Wahlmöglichkeiten, die Sie unterstützen können

Bieten Sie eine kuratierte Modellliste an, anstatt willkürliche Identifikatoren vom Browser weiterzugeben. Erklären Sie, welche Modelle für die einzelnen Funktionen verfügbar sind, und passen Sie die in der EU gehosteten Optionen an die Anforderungen des Kunden an.

Speichern Sie Kundenpräferenzen in Ihrer Anwendung. Verwenden Sie Ihre eigene Authentifizierung und Autorisierung, um zu entscheiden, welche Auswahlmöglichkeiten zulässig sind, und halten Sie API-Anmeldeinformationen von öffentlichen Clients fern.

Messen Sie die Nutzung an der Produktgrenze

Ordnen Sie Anfragen der Funktion und dem Mandanten zu, die sie initiiert haben. Zeichnen Sie das ausgewählte Modell, die Token-Nutzung und das Ergebnis auf, ohne unnötig sensible Eingabeaufforderungen aufzubewahren.

Nutzen Sie diese Messungen für Anwendungsbudgets und Kapazitätsplanung. Bestätigen Sie die API-Bedingungen, die für Ihren Anwendungsfall gelten, bevor Sie kundenorientierte Preise oder Serviceverpflichtungen festlegen.

Stellen Sie Ihre erste API-Anfrage

Erstellen Sie ein TextCortex-Konto und generieren Sie einen API-Schlüssel in den Kontoeinstellungen. Installieren Sie das Python-Paket OpenAI auf Ihrem Server. Speichern Sie den Schlüssel in TEXTCORTEX_API_KEY und setzen Sie TEXTCORTEX_MODEL auf einen von GET /models zurückgegebenen Bezeichner.

In diesem Beispiel werden Anmeldeinformationen in Umgebungsvariablen gespeichert. Die gleiche Client-Konfiguration funktioniert, wenn Sie ein anderes unterstütztes Modell auswählen. Lesen Sie API-Referenz für endpunktspezifische Parameter.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)