Bouw modelkeuze in uw product in.

Scheid productlogica van modeltoegang

Plaats de TextCortex-client achter een server-side service in uw applicatie. Bewaar authenticatie, aanvraagconstructie en gebruikslogboekregistratie in die service, zodat productfuncties deze kunnen delen.

De dienst kan voor elke functie een ander model selecteren. Een documentparser, ondersteuningsassistent en codebeoordelingstool hoeven niet dezelfde model- of generatie-instellingen te gebruiken.

Geef klanten keuzes die u kunt ondersteunen

Bied een samengestelde modellenlijst aan in plaats van willekeurige identificatiegegevens door te geven vanuit de browser. Leg uit welke modellen beschikbaar zijn voor elke functie en zorg ervoor dat de in de EU gehoste keuzes afgestemd zijn op de eisen van de klant.

Bewaar klantvoorkeuren in uw applicatie. Gebruik uw eigen authenticatie en autorisatie om te beslissen welke keuzes zijn toegestaan, en houd API-gegevens buiten openbare clients.

Meet het gebruik op de productgrens

Koppel aanvragen aan de functie en de tenant die deze heeft geïnitieerd. Registreer het geselecteerde model, het tokengebruik en de uitkomst zonder onnodig gevoelige aanwijzingen te bewaren.

Gebruik deze metingen voor applicatiebudgetten en capaciteitsplanning. Bevestig de API-voorwaarden die van toepassing zijn op uw gebruiksscenario voordat u klantgerichte prijzen of serviceverplichtingen definieert.

Dien uw eerste API-verzoek in

Maak een TextCortex-rekening en genereer een API-sleutel in accountinstellingen. Installeer het OpenAI Python-pakket op uw server. Sla de sleutel op in TEXTCORTEX_API_KEY en stel TEXTCORTEX_MODEL in op een identificatie die wordt geretourneerd door GET /models.

In dit voorbeeld worden de referenties in omgevingsvariabelen bewaard. Dezelfde clientconfiguratie werkt wanneer u een ander ondersteund model kiest. Lees de API-referentie voor eindpuntspecifieke parameters.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)