하나의 API. 각 요청에 적합한 모델.

작업별 모델 선택

비용 및 대기 시간 목표를 충족하는 모델로 짧은 분류 작업을 라우팅합니다. 복잡한 분석이나 코드 생성을 위해 다른 것을 선택하세요. 사용자 인터페이스를 변경하지 않고도 업데이트할 수 있도록 이러한 선택 사항을 서버측 구성에 저장하세요.

Kimi, GLM, DeepSeek 및 MiMo와 동일한 평가에 GPT, Claude 및 Gemini를 포함합니다. 유용한 비교는 모델에 공개 가중치가 있는지 여부가 아니라 워크로드에 대한 결과입니다.

라우팅 규칙을 명시적으로 유지

모델 필드를 사용하여 각 호출에 대해 지원되는 식별자를 선택합니다. 애플리케이션 작업에서 모델 식별자까지 작은 매핑을 만든 다음 각 요청을 처리한 모델을 기록합니다.

공통 엔드포인트에는 모든 모델에 대해 동일한 설정이 필요하지 않습니다. 라우팅 구성을 통해 모델별 기능과 추론 매개변수를 유지하세요. 공개 클라이언트에서 검증되지 않은 모델 이름을 전달하지 마세요.

라우팅 결정에 지역 규칙을 유지하세요.

EU 추론이 필요한 워크로드의 경우 활성화된 EU 호스팅 경로를 선택합니다. 성능을 비교하기 전에 적격 모델을 제한하세요. 대체는 동일한 처리 요구 사항 내에서 유지되어야 합니다.

데이터 상주 가이드를 사용하여 경로와 주변 시스템을 문서화하세요. 일반 모델 카탈로그와 EU 적격 목록은 서로 다른 목적으로 사용됩니다.

첫 번째 API 요청하기

TextCortex 계정를 생성하고 계정 설정에서 API 키를 생성하세요. 서버에 OpenAI Python 패키지를 설치합니다. 키를 TEXTCORTEX_API_KEY에 저장하고 TEXTCORTEX_MODEL를 GET /models에서 반환된 식별자로 설정합니다.

이 예에서는 환경 변수에 자격 증명을 유지합니다. 지원되는 다른 모델을 선택해도 동일한 클라이언트 구성이 작동합니다. 엔드포인트별 매개변수에 대해서는 API 참조를 읽어보세요.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)