Una API. El modelo adecuado para cada petición.

Elija modelos por tarea

Dirija una tarea de clasificación breve a un modelo que cumpla con su objetivo de costo y latencia. Elija otro para análisis complejos o generación de código. Guarde estas opciones en la configuración del lado del servidor para que pueda actualizarlas sin cambiar la interfaz de usuario.

Incluya GPT, Claude y Gemini en la misma evaluación que Kimi, GLM, DeepSeek y MiMo. La comparación útil es el resultado de su carga de trabajo, no si un modelo tiene pesos abiertos.

Mantenga las reglas de enrutamiento explícitas

Utilice el campo del modelo para seleccionar un identificador admitido para cada llamada. Haga un pequeño mapeo de las tareas de la aplicación a los identificadores del modelo, luego registre qué modelo atendió cada solicitud.

Un punto final común no requiere configuraciones idénticas para todos los modelos. Mantenga las capacidades específicas del modelo y los parámetros de razonamiento con la configuración de enrutamiento. Evite reenviar nombres de modelos no validados de clientes públicos.

Mantenga las reglas regionales en la decisión de ruta

Para una carga de trabajo que requiere inferencia de la UE, seleccione las rutas alojadas en la UE habilitadas para ello. Restrinja los modelos elegibles antes de comparar el rendimiento. Un recurso alternativo debe permanecer dentro de los mismos requisitos de procesamiento.

Utilice el guía de residencia de datos para documentar la ruta y los sistemas a su alrededor. El catálogo general de modelos y la lista elegible para la UE tienen diferentes propósitos.

Haga su primera solicitud de API

Cree un Cuenta TextCortex y genere una clave API en la configuración de la cuenta. Instale el paquete Python OpenAI en su servidor. Guarde la clave en TEXTCORTEX_API_KEY y configure TEXTCORTEX_MODEL con un identificador devuelto por GET /models.

Este ejemplo mantiene las credenciales en variables de entorno. La misma configuración de cliente funciona cuando elige otro modelo compatible. Lea el Referencia API para conocer los parámetros específicos del terminal.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)