Incorpore a escolha do modelo em seu produto.

Separe a lógica do produto do acesso ao modelo

Coloque o cliente TextCortex atrás de um serviço do lado do servidor em seu aplicativo. Mantenha a autenticação, solicite o registro de construção e uso nesse serviço para que os recursos do produto possam compartilhá-lo.

O serviço pode selecionar um modelo diferente para cada recurso. Um analisador de documentos, um assistente de suporte e uma ferramenta de revisão de código não precisam usar o mesmo modelo ou configurações de geração.

Dê aos clientes opções que você pode oferecer

Ofereça uma lista de modelos selecionada em vez de passar identificadores arbitrários do navegador. Explique quais modelos estão disponíveis para cada recurso e mantenha as opções hospedadas na UE alinhadas com os requisitos do cliente.

Armazene as preferências do cliente em seu aplicativo. Use sua própria autenticação e autorização para decidir quais opções são permitidas e mantenha as credenciais de API fora dos clientes públicos.

Medir o uso no limite do produto

Associe solicitações ao recurso e ao locatário que as iniciou. Registre o modelo selecionado, o uso do token e o resultado sem reter desnecessariamente avisos confidenciais.

Use essas medidas para orçamentos de aplicativos e planejamento de capacidade. Confirme os termos da API que se aplicam ao seu caso de uso antes de definir preços ou compromissos de serviço voltados para o cliente.

Faça sua primeira solicitação de API

Crie um Conta TextCortex e gere uma chave API nas configurações da conta. Instale o pacote OpenAI Python em seu servidor. Armazene a chave em TEXTCORTEX_API_KEY e defina TEXTCORTEX_MODEL para um identificador retornado por GET /models.

Este exemplo mantém credenciais em variáveis de ambiente. A mesma configuração do cliente funciona quando você escolhe outro modelo compatível. Leia o Referência da API para parâmetros específicos do endpoint.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)