텍스트 분석

텍스트 분석 설계로 모은 말뭉치에서 주제어(빈도·TF-IDF)·동시출현·의미연결망(CONCOR)·토픽 모델링(LDA)·소셜네트워크 중심성·감성(KOTE)·개체명(KLUE)·시기별 추이를 보고, 결과를 저장해 텍스트 분석 보고서까지 내는 기능이다(개발 중).

텍스트 마이닝은 설정(불용어·최소 빈도·토픽 수)에 따라 결과가 달라지므로, 화면에서 살피며 고친 값과 보고서에 쓴 값이 같아야 재현할 수 있다. SSRA 는 설계의 전처리·분석 설정으로 시작해 결과의 단어를 눌러 불용어로 빼며 다듬게 하고, [텍스트 분석 실행]이 설계의 설정으로 고른 기법을 한 번에 계산해 저장한다. 결과 단추와 보고서는 그 저장본을 읽어, 표·그림·설정이 그대로 연구방법·연구결과 절에 들어간다. 감성·개체명 모델은 서버 안에서 돌아 글이 밖으로 나가지 않는다.

1. 통계분석 메뉴에서 [텍스트 분석]을 열고 텍스트 분석 설계를 고른다(자료수집 카드의 [텍스트 분석]으로도 들어온다).
2. [말뭉치 관리]에서 문서를 올리거나 출처 특성(예: 매체 성향)을 적는다.
3. 텍스트 분석 타일(주제어·동시출현·의미연결망·토픽·소셜네트워크·감성·개체명·시기별 추이)로 결과를 살피며 불용어·같은 말을 다듬고, 다듬은 값은 설계 STEP 5 에 옮겨 적는다.
4. [텍스트 분석 실행] — 확인 창에서 설계·전처리·기법을 보고 실행하면 결과가 저장된다.
5. 결과 단추(연구문제·분석 자료·전처리·주제어·연결망·토픽·시기별 추이·감성·개체명)로 보고서에 들어갈 글과 표를 확인하고 [보고서 작성하기]로 텍스트 분석 보고서를 만든다.

TF-IDF

단어 빈도에 «얼마나 적은 문서에만 나오는가»를 곱한 값. 어디에나 나오는 말은 낮고 일부 문서에 몰린 말은 높다.

CONCOR

함께 나오는 상대가 닮은 단어끼리 상관을 되풀이해 의미 덩어리(블록)로 나누는 구조적 등위성 방법.

LDA

문서마다 여러 토픽이 섞여 있고 토픽마다 단어 분포가 있다고 보고 단어 공기 패턴으로 토픽을 찾는 확률 모형.

떠오르는 말

시기 차례로 비중(단어 1천 개당 빈도)이 커지는 단어 — 비중을 시기에 회귀한 기울기를 평균 비중으로 나눈 값으로 고른다.

Q. SSRA 텍스트 분석은 형태소 분석기를 쓰나요?

A. 규칙 기반 명사 추출을 씁니다 — 조사·어미를 떼어 두 글자 이상 명사와 영문 낱말을 뽑으므로 같은 입력에 늘 같은 결과가 나옵니다. 놓치거나 잘못 뽑힌 말은 결과의 단어를 눌러 불용어로 빼거나 «같은 말 묶기»로 바로잡습니다.

Q. 토픽 수는 어떻게 정하나요?

A. 토픽 모델링 결과의 «토픽 수 비교» 표가 2~8개 토픽의 평균 UMass 응집도를 보여 줍니다. 지표가 좋은 값을 참고하되 대표 문단을 읽고 해석할 수 있는 수로 정해 설계 STEP 5 에 적으면, [텍스트 분석 실행]과 보고서가 그 값을 씁니다.