Bygg in modellval i din produkt.

Separera produktlogik från modellåtkomst

Placera TextCortex-klienten bakom en tjänst på serversidan i din applikation. Behåll autentisering, begär konstruktion och användningsloggning i den tjänsten så att produktfunktioner kan dela den.

Tjänsten kan välja en annan modell för varje funktion. En dokumenttolkare, supportassistent och kodgranskningsverktyg behöver inte använda samma modell eller genereringsinställningar.

Ge kunderna val du kan stödja

Erbjud en kurerad modelllista istället för att skicka igenom godtyckliga identifierare från webbläsaren. Förklara vilka modeller som är tillgängliga för varje funktion och håll EU-värdade val anpassade efter kundens krav.

Lagra kundpreferenser i din applikation. Använd din egen autentisering och auktorisering för att bestämma vilka val som är tillåtna och håll API-referenser borta från offentliga klienter.

Mät användningen vid produktgränsen

Koppla förfrågningar till funktionen och klienten som initierade dem. Registrera den valda modellen, tokenanvändningen och resultatet utan att i onödan behålla känsliga uppmaningar.

Använd dessa mått för applikationsbudgetar och kapacitetsplanering. Bekräfta API-villkoren som gäller för ditt användningsfall innan du definierar kundnära prissättning eller serviceåtaganden.

Gör din första API-förfrågan

Skapa en TextCortex konto och generera en API-nyckel i kontoinställningarna. Installera OpenAI Python-paketet på din server. Lagra nyckeln i TEXTCORTEX_API_KEY och ställ TEXTCORTEX_MODEL till en identifierare som returneras av GET /models.

Det här exemplet behåller referenser i miljövariabler. Samma klientkonfiguration fungerar när du väljer en annan modell som stöds. Läs API-referens för ändpunktsspecifika parametrar.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)