귀하의 제품에 모델 선택을 구축하십시오.

모델 액세스와 제품 로직 분리

애플리케이션의 서버 측 서비스 뒤에 TextCortex 클라이언트를 배치합니다. 제품 기능이 공유될 수 있도록 해당 서비스에 대한 인증, 요청 구성 및 사용 로그인을 유지하세요.

서비스는 각 기능에 대해 다른 모델을 선택할 수 있습니다. 문서 파서, 지원 도우미 및 코드 검토 도구는 동일한 모델 또는 생성 설정을 사용할 필요가 없습니다.

고객에게 지원할 수 있는 선택권 제공

브라우저에서 임의의 식별자를 전달하는 대신 선별된 모델 목록을 제공합니다. 각 기능에 대해 어떤 모델을 사용할 수 있는지 설명하고 EU에서 호스팅하는 선택 사항을 고객의 요구 사항에 맞게 유지하세요.

애플리케이션에 고객 기본 설정을 저장하세요. 자체 인증 및 권한 부여를 사용하여 허용되는 선택 사항을 결정하고 API 자격 증명을 공개 클라이언트로부터 차단하세요.

제품 경계에서의 사용량 측정

요청을 시작한 기능 및 테넌트와 연결합니다. 민감한 프롬프트를 불필요하게 유지하지 않고 선택한 모델, 토큰 사용 및 결과를 기록합니다.

애플리케이션 예산 및 용량 계획에 이러한 측정값을 사용하세요. 고객 대상 가격이나 서비스 약정을 정의하기 전에 사용 사례에 적용되는 API 용어를 확인하세요.

첫 번째 API 요청하기

TextCortex 계정를 생성하고 계정 설정에서 API 키를 생성하세요. 서버에 OpenAI Python 패키지를 설치합니다. 키를 TEXTCORTEX_API_KEY에 저장하고 TEXTCORTEX_MODEL를 GET /models에서 반환된 식별자로 설정합니다.

이 예에서는 환경 변수에 자격 증명을 유지합니다. 지원되는 다른 모델을 선택해도 동일한 클라이언트 구성이 작동합니다. 엔드포인트별 매개변수에 대해서는 API 참조를 읽어보세요.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)