Integra la scelta del modello nel tuo prodotto.

Separare la logica del prodotto dall'accesso al modello

Metti il client TextCortex dietro un servizio lato server nella tua applicazione. Mantieni l'autenticazione, richiedi la creazione e l'accesso al servizio in modo che le funzionalità del prodotto possano condividerlo.

Il servizio può selezionare un modello diverso per ciascuna funzionalità. Non è necessario che un analizzatore di documenti, un assistente di supporto e uno strumento di revisione del codice utilizzino lo stesso modello o le stesse impostazioni di generazione.

Offri ai clienti scelte che puoi supportare

Offri un elenco di modelli curato anziché passare identificatori arbitrari dal browser. Spiega quali modelli sono disponibili per ciascuna funzionalità e mantieni le scelte ospitate nell'UE allineate ai requisiti del cliente.

Memorizza le preferenze del cliente nella tua applicazione. Utilizza la tua autenticazione e autorizzazione per decidere quali scelte sono consentite e mantieni le credenziali API lontane dai client pubblici.

Misurare l'utilizzo al confine del prodotto

Associare le richieste alla funzionalità e al tenant che le ha avviate. Registra il modello selezionato, l'utilizzo del token e il risultato senza conservare inutilmente istruzioni sensibili.

Utilizzare queste misurazioni per i budget delle applicazioni e la pianificazione della capacità. Conferma i termini API che si applicano al tuo caso d'uso prima di definire i prezzi o gli impegni di servizio rivolti al cliente.

Effettua la tua prima richiesta API

Crea uno Conto TextCortex e genera una chiave API nelle impostazioni dell'account. Installa il pacchetto Python OpenAI sul tuo server. Memorizza la chiave in TEXTCORTEX_API_KEY e imposta TEXTCORTEX_MODEL su un identificatore restituito da GET /models.

Questo esempio mantiene le credenziali nelle variabili di ambiente. La stessa configurazione del client funziona quando scegli un altro modello supportato. Leggere Riferimento API per i parametri specifici dell'endpoint.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)