Use a API TextCortex com LangChain

Instale a integração do cliente

Instale langchain-openai em seu ambiente Python. Gere uma chave de API TextCortex, armazene-a no servidor como TEXTCORTEX_API_KEY e escolha um identificador de GET /models para TEXTCORTEX_MODEL.

A URL base é https://api.textcortex.com/v1. Não anexe /chat/completions a uma URL base do cliente; o cliente constrói o endpoint.

Crie um cliente ChatOpenAI

Este exemplo mínimo usa o modelo configurado. Altere esse identificador para avaliar outro modelo compatível, mantendo a configuração do cliente.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.textcortex.com/v1",
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    model=os.environ["TEXTCORTEX_MODEL"],
)
answer = llm.invoke("Hello")
print(answer.content)

Adicione recursos um de cada vez

Depois que a solicitação básica funcionar, adicione o streaming, os esquemas de ferramentas ou a validação de saída que sua cadeia precisa. Verifique o suporte para a rota exata do modelo TextCortex em vez de assumir que todas as opções do cliente OpenAI são portáteis.

Fixe as versões do pacote que você valida e mantenha um pequeno conjunto de acessórios de solicitação. Isso torna as atualizações do SDK e as alterações de modelo mais fáceis de avaliar separadamente.

Mantenha o roteamento e a recuperação sob seu controle

Use a configuração do aplicativo para selecionar modelos para diferentes cadeias. GPT, Claude, Gemini e modelos de peso aberto podem compartilhar a conexão TextCortex enquanto atendem a diferentes tarefas.

Se uma cadeia recuperar documentos, aplique permissões antes de enviar o contexto ao modelo. Para requisitos de processamento europeus, selecione rotas hospedadas na UE para cada chamada de modelo na cadeia.