서버 측 API 경계 설정
서버 환경에 TextCortex 키를 유지하고 모델 요청을 하기 전에 자신의 애플리케이션 사용자를 인증하세요. 클라이언트가 제출할 수 있는 입력 크기와 매개변수를 제한합니다.
승인된 모델 식별자와 구성 시 기본 설정을 유지합니다. EU 호스팅 추론이 필요한 워크로드에는 별도의 구성을 사용합니다.
프로덕션 트래픽을 보내기 전에 유효성을 검사하세요.
정상적인 입력, 잘못된 형식의 콘텐츠, 누락된 컨텍스트 및 사용하는 모델 기능을 포함하는 요청 세트를 만듭니다. 출력 구문 분석, 도구, 스트리밍 및 취소를 확인하세요.
시간 초과, 유효하지 않은 자격 증명, 알 수 없는 모델 및 속도 제한에 대한 애플리케이션 동작을 연습합니다. 재시도를 제한하고 외부 작업을 반복하지 마세요.
점진적으로 트래픽을 도입하세요.
적격한 소규모 워크로드로 시작하세요. 승인 기준 및 이전 구성과 성공률, 대기 시간 및 토큰 사용량을 비교하세요.
각 요청을 처리한 모델을 기록합니다. 로그에 보관된 민감한 콘텐츠를 최소화하면서 회귀를 진단할 수 있는 충분한 정보를 유지하세요.
릴리스 프로세스로 확장
모델 추가는 답변, 비용 또는 처리 위치를 변경할 수 있는 제품 변경입니다.
- 확립된 요청 세트에 대해 새 모델을 평가합니다.
- 기능 및 지역 요구 사항을 검토합니다.
- 명시적인 롤백 경로를 사용하여 구성을 승격합니다.
- 릴리스 후 작업 결과를 모니터링합니다.