Integre la elección del modelo en su producto.

Separe la lógica del producto del acceso al modelo

Coloque el cliente TextCortex detrás de un servicio del lado del servidor en su aplicación. Mantenga la autenticación, la construcción de solicitudes y el registro de uso en ese servicio para que las características del producto puedan compartirlo.

El servicio puede seleccionar un modelo diferente para cada característica. No es necesario que un analizador de documentos, un asistente de soporte y una herramienta de revisión de código utilicen el mismo modelo o configuración de generación.

Ofrezca a los clientes opciones que pueda respaldar

Ofrezca una lista de modelos seleccionados en lugar de pasar identificadores arbitrarios desde el navegador. Explique qué modelos están disponibles para cada función y mantenga las opciones alojadas en la UE alineadas con los requisitos del cliente.

Almacene las preferencias del cliente en su aplicación. Utilice su propia autenticación y autorización para decidir qué opciones están permitidas y mantenga las credenciales de API alejadas de los clientes públicos.

Medir el uso en el límite del producto

Asocie solicitudes con la función y el inquilino que las inició. Registre el modelo seleccionado, el uso del token y el resultado sin retener innecesariamente indicaciones confidenciales.

Utilice estas medidas para los presupuestos de aplicaciones y la planificación de capacidad. Confirme los términos de API que se aplican a su caso de uso antes de definir compromisos de servicio o precios de cara al cliente.

Haga su primera solicitud de API

Cree un Cuenta TextCortex y genere una clave API en la configuración de la cuenta. Instale el paquete Python OpenAI en su servidor. Guarde la clave en TEXTCORTEX_API_KEY y configure TEXTCORTEX_MODEL con un identificador devuelto por GET /models.

Este ejemplo mantiene las credenciales en variables de entorno. La misma configuración de cliente funciona cuando elige otro modelo compatible. Lea el Referencia API para conocer los parámetros específicos del terminal.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)