1. Inventaire de l'intégration actuelle
EURouter est une autre option de passerelle. Comparez directement la couverture du modèle, le routage régional, les frais de passerelle et le comportement de repli. Le domaine eurouter.com redirige vers eurouter.ai.
Enregistrez les identifiants du modèle, les paramètres de requête, les outils, le comportement de streaming et les formats de sortie sur lesquels repose votre application. Conservez une copie de la configuration client existante pour la restauration.
2. Cartographier les identifiants du modèle de destination
Récupérez le catalogue TextCortex à l’aide de GET /models. Faites correspondre chaque tâche d'application à un modèle disponible, y compris l'itinéraire hébergé dans l'UE, si nécessaire.
Un identifiant spécifique au fournisseur n'est pas portable par défaut. Définissez explicitement l'identifiant de destination et examinez tous les paramètres de raisonnement ou de génération spécifiques au modèle.
3. Configurez le client TextCortex
Créez un Compte TextCortex et générez une clé API dans les paramètres du compte. Installez le package Python OpenAI sur votre serveur. Stockez la clé dans TEXTCORTEX_API_KEY et définissez TEXTCORTEX_MODEL sur un identifiant renvoyé par GET /models.
Cet exemple conserve les informations d'identification dans les variables d'environnement. La même configuration client fonctionne lorsque vous choisissez un autre modèle pris en charge. Lisez le Référence API pour connaître les paramètres spécifiques au point final.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Rejouer un ensemble de requêtes représentatives
Exécutez des entrées de test synthétiques ou approuvées via les deux intégrations. Gardez les actions externes telles que les e-mails ou les achats désactivées pendant le test.
- Comparez la qualité des réponses et la validité des résultats structurés.
- Vérifiez les morceaux de streaming, les arguments de l'outil et l'annulation.
- Exercez les erreurs d’authentification, les limites de débit et les délais d’attente.
- Mesurez l’utilisation et la latence dans les conditions de concurrence attendue.
5. Changez progressivement et conservez l'itinéraire précédent
Introduisez une petite part du trafic éligible une fois les contrôles d’acceptation réussis. Suivez les échecs et l’utilisation du modèle par itinéraire afin de pouvoir identifier rapidement les régressions.
Conservez une configuration de restauration jusqu'à ce que la période de surveillance soit terminée. Supprimez uniquement les informations d’identification et les services qui ne sont plus utilisés. Utilisez le guide d'itinéraire pour organiser les futurs choix de modèles.