1. Inventario de la integración actual
Separe sus solicitudes de inferencia sin servidor de cualquier implementación dedicada o dependencia de modelo personalizado. Un cambio a una API de modelo común no transfiere automáticamente una implementación.
Registre los identificadores de modelo, los parámetros de solicitud, las herramientas, el comportamiento de transmisión y los formatos de salida en los que se basa su aplicación. Guarde una copia de la configuración del cliente existente para revertirla.
2. Identificadores del modelo de destino del mapa
Recupere el catálogo TextCortex usando GET /models. Haga coincidir cada tarea de la aplicación con un modelo disponible, incluida la ruta alojada en la UE cuando sea necesario.
Un identificador específico del proveedor no es portátil de forma predeterminada. Establezca el identificador de destino explícitamente y revise cualquier razonamiento específico del modelo o configuración de generación.
3. Configurar el cliente TextCortex
Cree un Cuenta TextCortex y genere una clave API en la configuración de la cuenta. Instale el paquete Python OpenAI en su servidor. Guarde la clave en TEXTCORTEX_API_KEY y configure TEXTCORTEX_MODEL con un identificador devuelto por GET /models.
Este ejemplo mantiene las credenciales en variables de entorno. La misma configuración de cliente funciona cuando elige otro modelo compatible. Lea el Referencia API para conocer los parámetros específicos del terminal.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Reproducir un conjunto de solicitudes de representante
Ejecute entradas de prueba sintéticas o aprobadas a través de ambas integraciones. Mantenga desactivadas las acciones externas como correos electrónicos o compras durante la prueba.
- Compare la calidad de las respuestas y la validez de los resultados estructurados.
- Verifique fragmentos de transmisión, argumentos de herramientas y cancelación.
- Ejercer errores de autenticación, límites de velocidad y tiempos de espera.
- Mida el uso y la latencia según la simultaneidad esperada.
5. Cambie gradualmente y mantenga la ruta anterior.
Introduzca una pequeña parte del tráfico elegible después de pasar las comprobaciones de aceptación. Realice un seguimiento de los fallos y el uso del modelo por ruta para poder identificar las regresiones rápidamente.
Mantenga una configuración de reversión hasta que se complete el período de monitoreo. Elimine únicamente las credenciales y servicios que ya no se utilicen. Utilice el guía de ruta para organizar futuras opciones de modelos.