항목 추출의 목표는 비정형 텍스트를 정형 데이터로 변환하는 것입니다. 이 작업은 일반적으로 다음 워크플로를 통해 수행됩니다.

1. 텍스트 전처리: 분석을 위해 텍스트를 준비합니다.
2. 항목 식별: 텍스트에서 잠재적인 항목을 찾습니다.
3. 항목 분류: 식별된 항목을 분류합니다.
4. 출력: 추출된 정보를 구조화된 형식으로 제공합니다.

첫 번째 단계는 분석을 위해 텍스트를 준비하는 것입니다. 여기에는 다음과 같은 기법이 포함되는 경우가 많습니다.

• 토큰화: 텍스트를 단어 또는 문구와 같은 더 작은 단위로 분해합니다. 
• 품사 태깅: 각 단어에 문법적 태그(예: 명사, 동사, 형용사)를 할당합니다. 항목은 명사 또는 명사구인 경우가 많으므로 문법 구조를 이해하는 데 도움이 됩니다.
• 표제어 추출/어간 추출: 단어를 기본 또는 어근 형태로 줄여 변형을 표준화합니다. 표제어 추출은 단어의 의미를 고려하므로 일반적으로 선호됩니다.
• 불용어 삭제(선택사항): 'the', 'and', 'a'와 같이 항목 식별에 크게 기여하지 않을 수 있는 일반적인 단어를 필터링합니다. 일부 불용어는 이름이 지정된 항목(예: 'United States of America')의 일부일 수 있으므로 이 단계는 선택사항입니다. 
• 문장 분할: 텍스트를 개별 문장으로 나누어 로컬 컨텍스트를 유지하는 데 도움이 됩니다. 
• 정규화(선택사항): 소문자로 변환하거나 특수문자를 처리하는 등 텍스트를 표준화합니다. 

사용되는 구체적인 기법은 항목 추출 방법과 텍스트 데이터의 특성에 따라 달라질 수 있습니다. 예를 들어 종속 항목 파싱(단어 간 관계 이해)은 유용한 NLP 작업이지만 모든 항목 추출 접근 방식에 항상 핵심 전처리 단계로 사용되는 것은 아닙니다.

이 단계에서 시스템은 전처리된 텍스트 내에서 잠재적인 항목을 찾습니다. 이러한 항목을 식별하고 분류하는 핵심 작업은 개체명 인식(NER)입니다. NER을 수행하는 데 사용되는 기법은 다음과 같습니다.

• 패턴 일치: 항목을 나타내는 경우가 많은 특정 패턴 또는 단어 시퀀스(예: 이름 앞에 오는 'Mr.', 날짜 또는 이메일 주소의 특정 형식)를 찾습니다.
• 통계 모델: 조건부 랜덤 필드(CRF), 순환 신경망(RNN), Transformer와 같은 학습된 모델을 사용하여 컨텍스트와 주변 단어를 기반으로 항목을 식별합니다. 이러한 모델은 단어 형태, 품사 태그, 문맥적 단어 임베딩과 같은 텍스트에서 추출된 특성을 학습합니다. 

잠재적인 항목이 식별되면 머신러닝 모델 또는 규칙 기반 시스템을 기반으로 하는 AI 분류 알고리즘이 이러한 항목을 사전 정의된 카테고리로 분류합니다. 앞서 언급한 것처럼 일반적인 카테고리에는 다음이 포함될 수 있습니다.

• 사람: 개인의 이름
• 조직: 회사, 기관 또는 그룹의 이름
• 위치: 도시, 국가 또는 지리적 영역의 이름
• 날짜/시간: 텍스트에 언급된 특정 날짜 또는 시간
• 기타: 특정 요구사항과 관련이 있을 수 있는 추가 카테고리(예: 제품, 금액, 이벤트)

마지막으로 추출된 항목과 분류는 다음과 같은 구조화된 형식으로 제공됩니다. 

• 목록: 항목과 그 유형의 단순 목록
• JSON/XML: 정형 데이터를 저장하고 교환하는 데 사용되는 일반적인 형식 
• 지식 그래프: 항목 간의 관계를 시각화하는 방법 

실제로 항목 추출이 어떻게 작동하는지 이해하기 위해 다음 문장을 살펴보겠습니다. '2024년 8월 29일, Optimist Corp.는 시카고에서 CEO인 브래드 도가 500만 달러 규모의 자금 조달에 성공한 후 사임할 것이라고 발표했습니다.' 항목 추출 시스템은 이 텍스트를 처리하여 다음과 같은 정형 데이터를 출력합니다.

• 사람: 브래드 도
• 조직: Optimist Corp.
• 위치: 시카고
• 날짜: 2024년 8월 29일
• 금액: 500만 달러

항목 추출을 수행하는 데 사용할 수 있는 여러 기법이 있으며, 각 기법에는 고유한 장단점이 있습니다.

이러한 방법은 사전 정의된 규칙과 패턴을 사용하여 항목을 식별합니다. 각 방법은 다음과 같습니다.

• 비교적 간단한 구현
• 투명
• 규칙을 정의하려면 해당 분야의 전문성이 필요함
• 규칙이 잘 정의된 특정 영역에서는 효과적일 수 있지만 언어의 변형이나 복잡한 문장 구조를 처리하는 데 어려움을 겪을 수 있어 재현율이 제한적임
• 규칙이 복잡해짐에 따라 확장 및 유지 관리가 어려움

이러한 기법은 대규모 데이터 세트로 학습된 통계 모델을 활용하여 항목을 식별하고 분류합니다. 이들은 다음과 같은 특징을 지닙니다.

• 새로운 데이터와 언어 변형에 적응할 수 있습니다.
• 상당한 양의 라벨이 지정된 학습 데이터와 특성 추출이 필요합니다(딥 러닝의 경우 이보다 덜 필요함).
• 학습에 많은 컴퓨팅 비용이 들 수 있습니다.
• 일반적인 모델에는 컨텍스트를 기반으로 항목을 인식하기 위해 대규모 데이터 세트로 학습되는 순환 신경망(RNN) 및 Transformer(예: BERT)와 같은 최신 딥 러닝 시스템이 포함됩니다.

이러한 방법은 규칙 기반 접근 방식과 머신러닝 접근 방식의 강점을 결합합니다. 이들은 다음과 같은 특징을 지닙니다.

• 유연성과 효율성의 균형을 제공하여 정확도를 높일 수 있습니다.
• 다양한 구성요소를 통합하려면 신중한 설계와 구현이 필요합니다.

예를 들어 하이브리드 시스템은 규칙 기반 방법을 사용하여 명확한 패턴(예: 날짜 또는 ID)이 있는 잠재적 항목을 식별한 다음 머신러닝 모델을 적용하여 더 모호한 항목(예: 사람 또는 조직 이름)을 분류할 수 있습니다.

개체 추출은 강력한 도구가 될 수 있지만 잠재적인 과제와 한계를 인식하는 것이 중요합니다.

• 모호성: 항목은 때때로 모호하거나 컨텍스트에 따라 여러 의미를 가질 수 있습니다(예: '워싱턴'은 사람, 위치 또는 조직을 의미할 수 있음). 이러한 항목을 정확하게 식별하고 분류하려면 강력한 컨텍스트 이해가 필요합니다.
• 노이즈가 많고 불완전한 데이터: 실제 텍스트 데이터는 오류, 철자 오류, 속어, 비정형 문법을 포함하는 등 노이즈가 많은 경우가 많으며 충분한 컨텍스트가 부족하여 항목 추출 시스템의 성능에 영향을 미칠 수 있습니다. 
• 어휘 외(OOV) 항목 / 새 항목: 모델은 학습 중에 접하지 못한 항목이나 단어(OOV 단어) 또는 새로 만들어진 용어와 이름을 인식하는 데 어려움을 겪을 수 있습니다. 서브워드 토큰화와 문자 수준 임베딩을 사용하면 이 문제를 완화할 수 있습니다.
• 항목 경계 감지 오류: 특히 길거나 복잡한 항목 또는 전문 분야의 항목인 경우 항목 범위의 시작과 끝을 정확하게 식별하기 어려울 수 있습니다. 여기서의 오류는 분류에 직접적인 영향을 미칩니다.
• 데이터 부족 및 주석 비용: 지도 머신러닝 모델, 특히 딥 러닝 모델은 일반적으로 많은 양의 고품질 주석이 달린 데이터를 필요로 하며, 이러한 데이터를 생성하는 데는 비용과 시간이 많이 소요됩니다. 이는 리소스가 부족한 언어 또는 전문 분야의 주요 병목 현상입니다. 
• 도메인 적응: 하나의 도메인에서 학습된 모델은 어휘, 구문, 항목 유형의 차이로 인해 다른 도메인에 적용할 경우 성능이 저하되는 경우가 많습니다. 전이 학습(사전 학습 모델 파인 튜닝)과 같은 기법은 적응에 매우 중요할 수 있습니다. 
• 언어별 과제: 문법, 형태론(예: 풍부한 어형 변화), 문자 체계(예: 일부 언어의 이름에 대문자가 없음), 언어 리소스의 가용성 차이로 인해 언어에 따라 항목 추출 성능이 다릅니다. 
• 확장성 및 컴퓨팅 리소스: 복잡한 딥 러닝 모델을 학습시키고 배포하는 데는 컴퓨팅 집약적일 수 있으며 상당한 처리 능력(예: GPU)과 시간이 필요합니다. 
• 편향 및 공정성: 항목 추출 모델은 학습 데이터에 존재하는 편향을 상속받아 불공정하거나 차별적인 결과를 초래할 수 있습니다. 다양하고 대표적인 데이터를 사용하고 편향 감지 및 완화 기법을 적용하는 것이 중요합니다. 

일반적으로 항목 추출을 시작하려면 다음 단계를 거쳐야 합니다.

추출하려는 항목 유형과 관련 카테고리를 명확하게 정의하고 NER 시스템의 목표와 추출된 항목이 어떻게 사용될지 전달합니다. 이 단계는 항목 추출 시스템이 특정 요구사항에 맞게 조정되도록 하는 데 매우 중요합니다.

도메인과 관련된 텍스트 데이터 코퍼스를 수집합니다. 지도 머신러닝 접근 방식의 경우 이 데이터는 미리 정의된 가이드라인에 따라 인간 주석 작성자가 꼼꼼하게 주석(라벨 지정)을 달아야 합니다. 이러한 주석의 품질과 일관성은 고성능 모델을 학습시키는 데 가장 중요합니다. 

요구사항, 데이터 가용성, 원하는 정확성, 컴퓨팅 리소스에 따라 적절한 항목 추출 기법(규칙 기반, 머신러닝, 딥러닝 또는 하이브리드)을 선택합니다. 이러한 접근 방식 간의 장단점을 고려하세요. 

텍스트 데이터를 정리하고 전처리하여 노이즈와 불일치를 제거합니다. 여기에는 맞춤법 오류, 구두점, 특수문자와 같은 문제를 처리하는 것뿐만 아니라 앞에서 언급한 전처리 단계(토큰화, POS 태깅 등)도 포함될 수 있습니다. 

머신러닝 또는 딥 러닝 접근 방식을 사용하는 경우 다음 단계는 모델을 선택하고 학습시키는 것입니다. 여기에는 적절한 모델 아키텍처(RNN, Transformer 등)를 선택한 다음 라벨이 지정된 데이터로 학습시키는 과정이 포함됩니다. 학습에는 모델에 텍스트 예시와 해당 항목을 제공하여 패턴과 관계를 학습시키는 과정이 포함됩니다. 

홀드아웃 테스트 세트에서 정밀도, 재현율, F1 점수와 같은 측정항목을 사용하여 항목 추출 시스템의 성능을 평가합니다. 이를 통해 시스템이 항목을 얼마나 잘 식별하고 분류하는지 이해할 수 있습니다. 오류 분석은 약점을 파악하는 데도 중요합니다.

평가 결과와 오류 분석을 바탕으로 모델을 개선합니다. 여기에는 하이퍼파라미터 조정, 학습 데이터 수정 또는 증강, 모델 아키텍처 변경 등이 포함될 수 있습니다. 이는 반복적인 프로세스입니다.

시스템을 배포하여 새로운 텍스트 데이터를 처리하고 실시간 또는 일괄적으로 항목을 추출합니다. 여기에는 항목 추출 시스템을 더 큰 애플리케이션이나 워크플로에 통합하는 작업이 포함될 수 있으며, API로 통합할 수도 있습니다. 

프로덕션 환경에서 모델의 성능을 지속적으로 모니터링합니다. 데이터 특성은 시간이 지남에 따라 변경될 수 있으며('데이터 드리프트'), 이로 인해 성능이 저하될 수 있습니다. 새로운 데이터로 정기적인 재학습 또는 업데이트가 필요할 수 있습니다.

항목 추출은 다음과 같은 다양한 실제 사용 사례에서 중요한 역할을 합니다. 

• 정보 추출 및 지식 그래프: 비정형 텍스트에서 정형 정보를 추출하는 데 도움이 되며, 추출된 정보는 지식 그래프를 빌드하는 데 사용할 수 있습니다. 이러한 그래프는 항목과 그 관계를 나타내므로 고급검색, 질의 응답, 데이터 분석이 가능합니다. 
• 고객 관계 관리(CRM) 및 지원: 이메일, 소셜 미디어 게시물, 지원 티켓과 같은 고객 상호작용을 분석하는 데 항목 추출을 사용할 수 있습니다. 이를 통해 조직은 고객 감정을 파악하고, 문제를 추적하고, 요청을 분류하고, 보다 맞춤화된 지원을 제공할 수 있습니다. 
• 인텔리전스 및 보안: 뉴스 기사, 소셜 미디어, 기타 소스의 방대한 양의 텍스트 데이터를 분석하여 잠재적인 위협을 식별하고, 관심 있는 개인을 추적하고, 인텔리전스를 수집하는 데 사용할 수 있습니다. 
• 검색엔진: 쿼리 및 문서의 항목을 이해하여 검색 관련성과 속도를 개선합니다. 
• 콘텐츠 분류 및 추천: 추출된 항목을 기반으로 콘텐츠를 분류하고 관련 기사, 제품 또는 미디어를 추천하는 데 도움이 됩니다. 

항목 추출은 다음과 같은 분야에서도 사용할 수 있습니다.

• 의료: 환자 기록, 임상 메모, 연구 논문에서 의료 관련 항목(질병, 증상, 약물, 환자 정보)을 추출하여 분석 및 연구
• 재무: 뉴스 기사 및 보고서에서 금융 관련 항목(회사 이름, 주식 기호, 통화 가치)과 이벤트를 식별하여 시장 분석, 위험 평가, 사기 감지
• 전자상거래: 리뷰와 설명에서 제품 정보, 브랜드, 기능을 추출하여 검색, 추천 시스템, 시장 분석 개선
• 인사 관리: 기술, 경험, 자격을 추출하여 이력서 심사 자동화