Article 3. 분석 모형 구축 절차 3113
Section 1. 분석 절차 수립
분석 모형 구축은 요건 정의, 모델링, 검증 및 테스트, 적용 단계로 진행한다.
Paragraph 1. 요건 정의
- 기획단계의 분석과제 정의를 통해 도출된 내용을 요건 정의로 구체화하는 과정이다.
- 분석 요건 도출, 수행방안 설계, 요건 확정 단계로 수행한다.
- 분석 과정을 설계하고, 구체적인 내용을 실무담당자와 협의한다.
⬇요건 정의 단계 상세 절차
-
분석요건 도출
- 기획단계보다 상세하게 분석요건을 추출, 분석, 명세화하고 종합적으로 적합성을 검토
- 데이터 분석 업무의 배경, 주요 이슈, 기대효과, 제약 사항을 사전에 정의하고 이해관계자들과 협의하여 확정
- 기존 분석 자료와 정보를 기반으로 분석요건과 개인정보 보호, 접근 통제 등 정보 보안 정책을 누락 없이 식별
-
수행방안 설계
- 간단한 탐색적 분석을 수행하여 가설을 수립해 분석 가능성을 검토
- 권한 및 계정을 확보하여 데이터베이스 접근 환경을 구축하고, 분석 대상 데이터의 존재 여부를 확인하는 등 간단한 기초분석을 수행
- 수행방안 설계의 최종 산출물은 분석계획서와
WBS가 있음
- 분석 계획서
- 핵심 분석항목과 구체적인 범위 지정
- WBS
- 항목 간의 선⋅후행 관계를 검토하고 납기가 지연되지 않도록 일정을 조율
- 데이터 오류 또는 분석 수행 오류 등으로 인한 재작업 시간도 분석 일정에 반영
- 필수와 선택 분석항목을 사전에 구분하여 우선순위를 부여하고 우선순위가 높은 필수 분석항목이 작업 대상에서 누락되지 않도록 확인
-
요건 확정
- 요건도출과 분석계획으로 수립된 기획안을 이해관계자와 공유하여 최종 요건을 확정
- 확정된 요건을 종료 이후에 변경하는 일이 없도록 주의
Paragraph 2. 모델링
- 모델링은 요건 정의에 따라 상세분석기법을 적용해 모델을 개발하는 과정이다.
- 모델링 단계는 모델링 마트 설계 및 구축, 탐색적 분석과 유의 변수 도출, 모델링, 모델링 성능 평가 단계로 수행된다.
⬇모델링 단계 상세 절차
| 절차 | 상세 설명 |
|---|---|
| 모델링 마트 설계 및 구축 | • 다양한 원천 데이터로부터 분석 대상 데이터를 획득 • 분석 대상 데이터를 탐색, 정제, 요약 등의 전처리를 통해 변수들을 식별 • 분석 대상 데이터를 구조화하여 모델 마트를 설계 • 전처리한 분석 대상 데이터를 적재해 모델 마트를 구축 |
| 탐색적 분석과 유의 변수 도출 | • 유의미한 변수를 파악하기 위해 목푯값별로 해당 변수의 분포된 값을 보고 해당 변수의 구간에서 차이가 큰지를 파악 • 시뮬레이션을 통해 사전에 수립된 분석 모형의 타당성과 적합성을 판단해 반복적으로 보정 • 최적화를 위해 분석 모형 및 데이터의 유의성을 반복적으로 보정 • 최소한의 시간에 탐색적 분석을 완료하여 단위 분석에 대한 예상 소요 시간을 추정 • 탐색적 분석과 유의변수 도출 과정에서 정보가 부족하면 신속하게 추가 변수를 개발 |
| 모델링 | • 다양한 모델링 기법 중에서 업무 특성에 적합한 기법을 선택하거나 여러 모델링 기법을 결합해 적용 • 프로세스 및 자원에 대한 제약이 있고 입력값이 확률 분포이면 시뮬레이션 기법을, 프로세스 및 자원에 대한 제약이 있고 상숫값을 가질 때는 최적화 기법을 사용 • 경우에 따라 시뮬레이션과 최적화를 결합해 적용 • 데이터 마이닝 모델링은 통계적 모델링이 아니므로 지나치게 통계적 가설이나 유의성을 적용하지 않음 |
| 모델링 성능 평가 | • 데이터 마이닝에서는 정확도, 정밀도, 재현율, 향상도 등의 값으로 판단• 시뮬레이션에서는 처리량(Throughput), 평균대기시간(Average Waiting Time)등의 지표 활용 • 최적화에서는 최적화 이전의 객체 함숫값(Object Function Value)과 최적화 이후의 값의 차이를 구하여 평가 • 분석 모형이 적합한지 판단 기준을 수립하고 분석 모형별 학습용 데이터 집합을 구축 • 구축된 학습용 데이터로 분석 모형을 조정 • 학습용 데이터로 조정한 분석 모형에 검증용 데이터를 적용하여, 학습용 데이터 기반 결과와 검증용 데이터 기반 결과를 비교 분석 |
Paragraph 3. 검증 및 테스트
- 분석용 데이터를 학습용과 테스트용으로 분리한 다음 분석용 데이터를 이용해 자체 검증 후 실제 테스트에서는 신규 데이터 모델을 적용해 결과를 도출하는 단계이다.
- 모든 모델링에서는 반드시 검증 및 테스트를 거친다.
- 테스트 데이터의 비율은 일반적으로 분석용 데이터 세트의 20~40% 정도를 이용한다.
⬇모델링 단계 상세 절차
| 절차 | 상세 설명 |
|---|---|
| 운영 상황에서 실제 테스트 | • 운영 상황에서 실제 테스트는 분석결과를 업무 프로세스에 가상으로 적용해 검증하는 실무 적용 직전의 활동 • 구축 및 조정된 분석 모형을 테스트하기 위한 유사 운영환경을 구축 • 구축한 유사 운영환경에서 분석 모형을 테스트하기 위한 절차 설계 • 설계 절차에 따라 테스트하고 그 결과를 분석 • 테스트 결과를 분석 모형에 반영하고 반복하여 테스트 • 최종 테스트 결과를 분석 모형의 실제 운영환경에 적용 • 분석 모형의 유형에 따라 과대 적합, 과소 적합이 발생하지 않도록 주의 |
| 비즈니스 영향도 평가 | • ROI를 산출해 해당 분석에 투자한 비용 대비 재무 효과가 200~300% 이상임을 증명 • 모델링 성과에서의 재현율이 증가하거나 향상도가 개선되어 발생하는 정량적 효과에 대해 비즈니스적인 효과를 제시 • 투자 대비 효과 정량화 기법으로 비즈니스 영향도를 평가• 시뮬레이션에서는 처리량, 대기시간, 대기행렬의 감소를 통한 정량적 효과를 제시 • 최적화에서는 목적함수가 증가한 만큼의 정량적 효과를 제시 |