Uma API. O modelo certo para cada solicitação.

Escolha modelos por tarefa

Encaminhe uma tarefa de classificação curta para um modelo que atenda à sua meta de custo e latência. Escolha outro para análise complexa ou geração de código. Armazene essas opções na configuração do servidor para poder atualizá-las sem alterar a interface do usuário.

Incluir GPT, Claude e Gemini na mesma avaliação que Kimi, GLM, DeepSeek e MiMo. A comparação útil é o resultado da sua carga de trabalho, e não se um modelo tem pesos em aberto.

Mantenha as regras de roteamento explícitas

Use o campo modelo para selecionar um identificador compatível para cada chamada. Faça um pequeno mapeamento das tarefas do aplicativo para os identificadores do modelo e registre qual modelo atendeu cada solicitação.

Um endpoint comum não requer configurações idênticas para cada modelo. Mantenha recursos e parâmetros de raciocínio específicos do modelo com a configuração de roteamento. Evite encaminhar nomes de modelos não validados de clientes públicos.

Mantenha as regras regionais na decisão de roteamento

Para uma carga de trabalho que exija inferência da UE, selecione as rotas hospedadas na UE habilitadas para ela. Restrinja os modelos elegíveis antes de comparar o desempenho. Um substituto deve permanecer dentro dos mesmos requisitos de processamento.

Use o guia de residência de dados para documentar a rota e os sistemas ao seu redor. O catálogo geral de modelos e a lista elegível da UE têm finalidades diferentes.

Faça sua primeira solicitação de API

Crie um Conta TextCortex e gere uma chave API nas configurações da conta. Instale o pacote OpenAI Python em seu servidor. Armazene a chave em TEXTCORTEX_API_KEY e defina TEXTCORTEX_MODEL para um identificador retornado por GET /models.

Este exemplo mantém credenciais em variáveis de ambiente. A mesma configuração do cliente funciona quando você escolhe outro modelo compatível. Leia o Referência da API para parâmetros específicos do endpoint.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)