NLP API 텍스트 분류(자연어 처리)

텍스트 분류는 개방형 텍스트에 미리 정의된 카테고리 세트를 할당하는 머신 러닝 기법입니다. 

텍스트 분류란 무엇인가요? 

텍스트 분류기는 문서, 의학 연구, 파일부터 웹 콘텐츠에 이르기까지 모든 종류의 텍스트를 정렬, 순서 지정, 라벨링할 수 있는 강력한 도구입니다. 

예를 들어 뉴스 기사를 주제에 따라 분류하고, 지원 티켓을 얼마나 긴급한지에 따라 분류하고, 채팅 대화를 언어별로 분류하고, 브랜드 언급을 감성에 따라 분류하는 등 다양한 용도로 활용할 수 있습니다. 

텍스트 분류는 자연어 처리에서 필수적인 작업으로, 감성 분석, 주제 식별, 스팸 탐지, 의도 인식 등 다양한 용도로 사용됩니다.

텍스트 분류가 중요한 이유는 무엇인가요?

데이터의 상당 부분(약 80%)이 비정형 데이터이며, 가장 빈번하게 볼 수 있는 형태 중 하나가 텍스트인 것으로 알려져 있습니다. 텍스트는 체계적이지 않을 수 있으므로 이를 이해하고 분류하여 처리하는 것은 어렵고 많은 시간이 소요될 수 있습니다.

따라서 많은 기업이 이러한 종류의 자료를 최대한 활용하지 못하고 있습니다. 머신러닝을 통해 이메일, 챗봇 대화, 법률 문서, 설문조사 등 모든 종류의 중요한 정보를 신속하고 경제적으로 구조화할 수 있는 텍스트 분류의 역할이 바로 여기에 있습니다.

기업은 텍스트 데이터 분석을 활용하여 비즈니스 운영을 자동화하고 데이터를 기반으로 정보에 입각한 의사 결정을 내림으로써 이점을 얻을 수 있습니다.

텍스트 분류의 인기 사용 사례

텍스트 분류 API를 사용하면 많은 이점이 있습니다. 주요 이점 중 하나는 텍스트 분류 프로세스를 자동화하여 시간과 노력을 절약할 수 있다는 것입니다. 이는 대량의 텍스트 데이터를 처리할 때 매우 유용할 수 있습니다. 

텍스트 분류 API는 일반적으로 고급 알고리즘과 머신 러닝을 기반으로 하기 때문에 텍스트 분류의 정확도를 향상시키는 데 도움이 될 수 있습니다. 또한 이러한 API는 관련 없는 텍스트를 필터링하여 관련성 있는 콘텐츠를 더 쉽게 찾을 수 있도록 도와줍니다. 마지막으로, 텍스트의 감정을 식별하는 데 도움을 주어 사람들의 감정을 더 쉽게 측정할 수 있습니다.

뉴스 기사 및 블로그 분류

머신 러닝의 또 다른 잠재적 응용 분야는 텍스트 문서를 미리 정해진 카테고리로 분류하는 데 머신 러닝을 사용하는 것입니다. 여기에는 원시 텍스트와 타깃으로 레이블이 지정된 데이터에 대해 지도 모델을 학습시키는 작업이 포함됩니다. 모델이 학습된 후에는 실제 시나리오에서 기사나 blog 게시물과 같이 나중에 생성되는 보이지 않는 새 문서에 레이블을 할당하는 데 사용할 수 있습니다.

고객 지원 요청 분류하기

회사는 텍스트 분류를 사용하여 고객 지원 요청을 주제별로 자동으로 분류하거나 요청의 우선순위를 정하여 적절한 부서로 라우팅할 수 있습니다. 

스팸 분류

텍스트 분류는 다양한 산업 분야에서 실용적으로 많이 활용되고 있습니다. 대표적인 예로 텍스트 분류를 사용하여 스팸과 정상적인 이메일을 구분하는 이메일 스팸 필터를 들 수 있습니다.

감정 분석

텍스트 라벨링과 감성 평가는 제품 예측, 영화 추천 등 다양한 애플리케이션에서 널리 사용되는 머신 러닝 작업입니다.

텍스트 분류 시스템을 위한 접근 방식

텍스트 분류 시스템은 일반적으로 규칙 기반, 머신 러닝 기반, 하이브리드 시스템의 세 가지 범주로 나눌 수 있습니다.

규칙 기반 텍스트 분류

규칙 기반 기법은 일련의 수작업 언어 규칙을 사용하여 텍스트를 별개의 그룹 또는 클래스에 할당합니다. 이러한 규칙은 의미적으로 연관된 텍스트 구성 요소를 사용하여 콘텐츠에 따라 텍스트를 특정 카테고리의 일부로 지정하도록 시스템에 알려줍니다. 

각 규칙은 선행 또는 패턴과 할당된 그룹으로 구성됩니다. 예를 들어 많은 수의 새 문서를 스포츠, 정치 등과 같은 카테고리에 할당하려는 경우 규칙 기반 분류 시스템을 사용할 수 있습니다. 

이와 같은 언어 규칙을 고안하려면 일부 문서를 수동으로 검토해야 합니다: 

문서에 돈, 달러, GDP 또는 인플레이션과 같은 단어가 있는 경우 경제학 클래스에 속합니다.

규칙 기반 시스템은 누구나 이해할 수 있지만 해당 분야에 대한 풍부한 지식이 필요하고 설정하는 데 많은 시간이 소요됩니다. 또한 새로운 규칙을 추가하면 기존 규칙의 결과에 영향을 미칠 수 있으므로 이를 유지하기가 어렵고 확장하기가 어렵습니다.

머신 러닝 기반 텍스트 분류

머신러닝을 이용한 텍스트 분류는 지도 학습 작업입니다. 이 작업은 입력 데이터(원시 텍스트)와 레이블(대상 변수라고도 함) 사이에 연관성을 생성합니다. 

이는 테이블 데이터 세트에서 지도 알고리즘을 사용하여 클래스를 예측하는 비텍스트 분류 문제와 유사하지만, 텍스트 분류에서는 입력 데이터가 숫자 특징이 아닌 원시 텍스트로 구성되어 있다는 점이 다릅니다. 다른 지도 머신 러닝과 마찬가지로 텍스트 분류는 훈련과 예측의 두 단계로 이루어집니다.

하이브리드 시스템

하이브리드 시스템은 머신 러닝으로 학습된 기본 분류기와 규칙 기반 시스템을 결합하여 결과를 더욱 세분화합니다. 이러한 하이브리드 시스템은 기본 분류기가 정확하게 묘사하지 못한 태그에 대한 특정 규칙을 추가하여 조정할 수 있습니다.

TextCortex 텍스트 분류 API

"완료" 엔드포인트를 사용하여 임의의 프롬프트 데이터를 제출하고 이에 대한 완료를 받을 수 있습니다. 이 기법은 이 문서에서 설명한 대로 텍스트 분류나 감성 분석 탐색과 같은 다른 작업을 처리하는 데 사용할 수 있습니다.

호텔 리뷰에 대한 감성 분석

호텔 리뷰에 대한 감성 분석을 실행하려는 시나리오를 가정해 보겠습니다. 한 가지 예로 다음과 같이 텍스트 필드에 프롬프트를 보내는 것을 들 수 있습니다: 

다음 문장에 대한 감성 분석을 실행하세요. 관련 카테고리와 해당 카테고리에 대한 각각의 감성을 사용하여 답하세요.

문장: '방의 청결함은 정말 마음에 들었지만 화장실이 너무 더럽고 음식도 나쁘지 않았습니다.'

이 임의 프롬프트를 제공하면 생성된 응답은 다음 예제와 유사합니다:

"text":
↪CF_200D↩
청결도: 긍정적
욕실: 부정적
음식: 중립

이렇게 하면 완성 엔드포인트를 사용하여 임의의 프롬프트 요청을 전송하고 텍스트 분류에 사용할 수 있습니다.