Instalar la integración del cliente
Instale langchain-openai en su entorno Python. Genere una clave API TextCortex, guárdela en el lado del servidor como TEXTCORTEX_API_KEY y elija un identificador de GET /models para TEXTCORTEX_MODEL.
La URL base es https://api.textcortex.com/v1. No agregue /chat/completions a la URL base de un cliente; el cliente construye el punto final.
Crear un cliente ChatOpenAI
Este ejemplo mínimo utiliza el modelo configurado. Cambie ese identificador para evaluar otro modelo compatible manteniendo la configuración del cliente.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.textcortex.com/v1",
api_key=os.environ["TEXTCORTEX_API_KEY"],
model=os.environ["TEXTCORTEX_MODEL"],
)
answer = llm.invoke("Hello")
print(answer.content)Agregue capacidades una a la vez
Una vez que la solicitud básica funcione, agregue la transmisión, los esquemas de herramientas o la validación de salida que su cadena necesita. Verifique la compatibilidad con la ruta exacta del modelo TextCortex en lugar de asumir que todas las opciones del cliente OpenAI son portátiles.
Fije las versiones del paquete que valide y mantenga un pequeño conjunto de accesorios de solicitud. Esto hace que las actualizaciones del SDK y los cambios de modelo sean más fáciles de evaluar por separado.
Mantenga el enrutamiento y la recuperación bajo su control
Utilice la configuración de la aplicación para seleccionar modelos para diferentes cadenas. GPT, Claude, Gemini y los modelos de peso abierto pueden compartir la conexión TextCortex mientras realizan diferentes tareas.
Si una cadena recupera documentos, aplique permisos antes de enviar contexto al modelo. Para los requisitos de procesamiento europeos, seleccione rutas alojadas en la UE para cada modelo de llamada de la cadena.