Intégrez le choix du modèle à votre produit.

Séparer la logique du produit de l'accès au modèle

Placez le client TextCortex derrière un service côté serveur dans votre application. Conservez l'authentification, la construction des demandes et la journalisation de l'utilisation dans ce service afin que les fonctionnalités du produit puissent les partager.

Le service peut sélectionner un modèle différent pour chaque fonctionnalité. Un analyseur de documents, un assistant de support et un outil de révision de code n'ont pas besoin d'utiliser le même modèle ou les mêmes paramètres de génération.

Offrez aux clients des choix que vous pouvez soutenir

Proposez une liste de modèles organisée plutôt que de transmettre des identifiants arbitraires depuis le navigateur. Expliquez quels modèles sont disponibles pour chaque fonctionnalité et veillez à ce que les choix hébergés dans l'UE soient alignés sur les exigences du client.

Stockez les préférences des clients dans votre application. Utilisez votre propre authentification et autorisation pour décider quels choix sont autorisés et conservez les informations d'identification API hors des clients publics.

Mesurer l'utilisation à la limite du produit

Associez les demandes à la fonctionnalité et au locataire qui les ont initiées. Enregistrez le modèle sélectionné, l'utilisation du jeton et le résultat sans conserver inutilement les invites sensibles.

Utilisez ces mesures pour les budgets d’application et la planification des capacités. Confirmez les termes de l'API qui s'appliquent à votre cas d'utilisation avant de définir des engagements de tarification ou de service destinés au client.

Faites votre première requête API

Créez un Compte TextCortex et générez une clé API dans les paramètres du compte. Installez le package Python OpenAI sur votre serveur. Stockez la clé dans TEXTCORTEX_API_KEY et définissez TEXTCORTEX_MODEL sur un identifiant renvoyé par GET /models.

Cet exemple conserve les informations d'identification dans les variables d'environnement. La même configuration client fonctionne lorsque vous choisissez un autre modèle pris en charge. Lisez le Référence API pour connaître les paramètres spécifiques au point final.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)