Une API. Le bon modèle pour chaque demande.

Choisissez des modèles par tâche

Acheminez une courte tâche de classification vers un modèle qui répond à votre objectif de coût et de latence. Choisissez-en un autre pour une analyse complexe ou une génération de code. Stockez ces choix dans la configuration côté serveur afin de pouvoir les mettre à jour sans modifier l'interface utilisateur.

Incluez GPT, Claude et Gemini dans la même évaluation que Kimi, GLM, DeepSeek et MiMo. La comparaison utile concerne le résultat de votre charge de travail, et non le fait qu'un modèle ait des pondérations ouvertes.

Gardez les règles de routage explicites

Utilisez le champ modèle pour sélectionner un identifiant pris en charge pour chaque appel. Effectuez un petit mappage entre les tâches d'application et les identifiants de modèle, puis enregistrez le modèle qui a répondu à chaque requête.

Un point de terminaison commun ne nécessite pas de paramètres identiques pour chaque modèle. Conservez les capacités et les paramètres de raisonnement spécifiques au modèle avec la configuration de routage. Évitez de transmettre des noms de modèles non validés provenant de clients publics.

Conserver les règles régionales dans la décision d'acheminement

Pour une charge de travail qui nécessite une inférence UE, sélectionnez les routes hébergées dans l’UE activées pour cette charge. Limitez les modèles éligibles avant de comparer les performances. Une solution de secours doit rester dans les mêmes exigences de traitement.

Utilisez le guide de résidence des données pour documenter l'itinéraire et les systèmes qui l'entourent. Le catalogue général des modèles et la liste éligible à l’UE répondent à des objectifs différents.

Faites votre première requête API

Créez un Compte TextCortex et générez une clé API dans les paramètres du compte. Installez le package Python OpenAI sur votre serveur. Stockez la clé dans TEXTCORTEX_API_KEY et définissez TEXTCORTEX_MODEL sur un identifiant renvoyé par GET /models.

Cet exemple conserve les informations d'identification dans les variables d'environnement. La même configuration client fonctionne lorsque vous choisissez un autre modèle pris en charge. Lisez le Référence API pour connaître les paramètres spécifiques au point final.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)