예측모형 설계

중도탈락·이직·성과 점수처럼 미리 알면 개입할 수 있는 결과를 여러 변수로 얼마나 정확히 맞히는지 평가하는 예측모형 연구를, 예측 유형(이진분류·연속값·다중분류)·결과변수·예측 시점·예측변수와 데이터 누출 점검부터 연구문제·분석방법·검증 방법·표본(EPV)·측정도구·설문까지 차례로 설계하는 기능이다(개발 중).

예측모형 연구는 «관계가 유의한가»가 아니라 «처음 보는 사람의 결과를 얼마나 맞히는가»를 묻는다. 예측 시점에 알 수 없는 정보(결과가 난 뒤의 기록, 결과를 정의하는 값)가 예측변수에 섞이면 성능이 실제보다 좋아 보이는 데이터 누출이 생긴다. SSRA 는 예측변수마다 «언제 알 수 있는 정보인가»와 «결과의 대리지표인가»를 고르게 해 누출 변수를 설문에는 묻되 모형에서는 빼고, 예측 유형·예측변수 수로 분석방법(기준모형·랜덤 포레스트·XGBoost·엘라스틱넷)을 추천하며, EPV 원칙으로 권장 표본을 계산한다.

1. 연구설계 화면에서 [새 예측모형 설계 작성]을 누르고 연구 주제와 예측 유형을 고른다. [예측모형 설계 샘플](대학생 중도탈락·직원 성과 점수·졸업 후 진로)로 예시 설계와 모의응답을 한 번에 만들 수 있다.
2. 연구계획서 — 연구문제를 정의한다(연구방법 절에 예측모형 연구의 문단이 미리 적힌다).
3. 예측 설계 구성 — 예측 유형·결과변수·예측 시점·자료구조와 예측변수를 정하고, 변수마다 측정 시점·대리지표 여부와 누출 점검 목록을 확인한다.
4. 연구문제 — 최적 모형·변수 기여·실무 기준(AUC·R²·Macro F1) 문제를 켜고, 필요하면 직접 더한다.
5. 모형·검증 설계 — 추천된 분석방법을 고르고 분할 방식·평가지표·모형 해석·사건 비율·EPV 로 권장 표본을 확인한다.
6. 측정도구 구성 — 문항 유형·조작적 정의·측정문항(범주는 보기)·참고문헌을 적는다.
7. 설문지 작성 — 누출 변수도 설문에는 들어가고(누출의 크기를 보이려고), 분석 대응표에서 모형 밖으로 갈라진다.

데이터 누출

예측 시점에 알 수 없는 정보가 모형에 들어가 성능이 실제보다 좋아 보이는 현상. 결과 뒤에 생기는 기록, 결과를 정의하는 변수, 시험 자료로 한 전처리가 대표적이다.

EPV

Events Per Variable — 모형 모수 하나에 사건(또는 가장 작은 범주) 몇 건이 있는가. 10 이상, 기계학습을 견주려면 20 이상을 권한다.

시간순 분할

먼저 모인 자료로 학습하고 나중 자료로 시험해 미래 예측을 흉내 내는 검증 방법.

AUC

ROC 곡선 아래 넓이. 사건이 일어날 사람을 더 높게 줄 세우는 능력으로 0.5 는 무작위, 0.7 이상이 흔히 쓸 만한 수준이다.

Q. SSRA에서 머신러닝 예측모형 연구를 설계할 수 있나요?

A. 연구설계 화면의 [새 예측모형 설계 작성]에서 예측 유형과 결과·예측변수를 정하면, 데이터 누출 점검·연구문제·분석방법 추천·표본 계산·측정도구를 거쳐 설문까지 만들 수 있습니다. 지금은 개발 중이라 지정된 계정에서만 열립니다.

Q. 데이터 누출은 어떻게 막나요?

A. 예측변수마다 «예측 시점 이전·같은 때·이후»와 «결과의 대리지표» 여부를 고르고, 이름으로 의심되는 변수에는 경고가 뜹니다. 이후 정보·대리지표로 표시한 변수는 분석 모형에서 자동으로 빠지고, 분석 결과에 그 변수가 혼자서 얼마나 맞히는지가 함께 보입니다.