モデルの選択を製品に組み込みます。

製品ロジックをモデル アクセスから分離する

TextCortex クライアントをアプリケーションのサーバー側サービスの背後に配置します。そのサービスで認証、リクエスト構築、および使用状況のログインを維持し、製品機能がサービスを共有できるようにします。

サービスでは、機能ごとに異なるモデルを選択できます。ドキュメント パーサー、サポート アシスタント、およびコード レビュー ツールは、同じモデルまたは生成設定を使用する必要はありません。

サポートできる選択肢を顧客に提供する

ブラウザから任意の識別子を渡すのではなく、厳選されたモデル リストを提供します。各機能にどのモデルが利用可能かを説明し、EU域内でホストされる選択肢を顧客の要件に合わせて維持します。

顧客の好みをアプリケーションに保存します。独自の認証と認可を使用して、どの選択肢が許可されるかを決定し、API 資格情報がパブリック クライアントに公開されないようにします。

製品境界での使用量を測定

リクエストを、リクエストを開始した機能およびテナントに関連付けます。機密性の高いプロンプトを不必要に保持することなく、選択したモデル、トークンの使用状況、結果を記録します。

これらの測定値は、アプリケーションの予算と容量計画に使用します。顧客向けの価格設定やサービスコミットメントを定義する前に、ユースケースに適用される API 規約を確認してください。

最初の API リクエストを行う

TextCortexアカウント を作成し、アカウント設定で API キーを生成します。 OpenAI Python パッケージをサーバーにインストールします。キーを TEXTCORTEX_API_KEY に保存し、TEXTCORTEX_MODEL を GET /models によって返された識別子に設定します。

この例では、資格情報を環境変数に保持します。別のサポートされているモデルを選択した場合でも、同じクライアント構成が機能します。エンドポイント固有のパラメータについては、APIリファレンス を参照してください。

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)