Eén API. Voor elke aanvraag het juiste model.

Kies modellen per taak

Stuur een korte classificatietaak naar een model dat voldoet aan uw kosten- en latentiedoel. Kies een andere voor complexe analyse of codegeneratie. Bewaar deze keuzes in de configuratie aan de serverzijde, zodat u ze kunt bijwerken zonder de gebruikersinterface te wijzigen.

Neem GPT, Claude en Gemini op in dezelfde evaluatie als Kimi, GLM, DeepSeek en MiMo. De nuttige vergelijking is het resultaat van uw werklast, niet of een model open gewichten heeft.

Houd routeringsregels expliciet

Gebruik het modelveld om voor elke oproep een ondersteunde ID te selecteren. Maak een kleine mapping van applicatietaken naar model-ID's en log vervolgens welk model elk verzoek heeft afgehandeld.

Voor een gemeenschappelijk eindpunt zijn niet voor elk model identieke instellingen vereist. Behoud modelspecifieke mogelijkheden en redeneerparameters bij de routeringsconfiguratie. Vermijd het doorsturen van niet-gevalideerde modelnamen van openbare clients.

Houd regionale regels in de routeringsbeslissing

Voor een werkbelasting waarvoor EU-inferentie vereist is, selecteert u de in de EU gehoste routes die daarvoor zijn ingeschakeld. Beperk de in aanmerking komende modellen voordat u de prestaties vergelijkt. Een fallback moet binnen dezelfde verwerkingseisen blijven.

Gebruik de gids voor gegevensresidentie om de route en de systemen eromheen te documenteren. De algemene modelcatalogus en de EU-lijst die in aanmerking komt, dienen verschillende doeleinden.

Dien uw eerste API-verzoek in

Maak een TextCortex-rekening en genereer een API-sleutel in accountinstellingen. Installeer het OpenAI Python-pakket op uw server. Sla de sleutel op in TEXTCORTEX_API_KEY en stel TEXTCORTEX_MODEL in op een identificatie die wordt geretourneerd door GET /models.

In dit voorbeeld worden de referenties in omgevingsvariabelen bewaard. Dezelfde clientconfiguratie werkt wanneer u een ander ondersteund model kiest. Lees de API-referentie voor eindpuntspecifieke parameters.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)