1과목 개념 (데이터 모델과 성능(성능 데이터 모델링 ~ 파티셔닝))

※ 성능 데이터 모델링

→ DB 성능향상을 목적으로 설계단계 때부터 정규화, 반정규화, 테이블통합, 테이블분할, 조인구조, PK, FK 등 여러 성능관련 사항을 데이터 모델링에 반영

 

 

참고: 분석/설계 단계에서 성능 고려한 데이터 모델링 수행시 재업무 비용 최소화 가능.

        데이터 증가가 빠를수록 성능저하에 따른 성능개선비용 증가

 

 

※ 성능 데이터 모델링 고려사항 순서

1. 데이터 모델링을 할 때 정규화를 저오학하게 수행
2. DB 용량산정을 수행
3. DB에 발생되는 트랜잭션의 유형을 파악
4. 용량과 트랜잭션의 유형에 따라 반정규화를 수행
5. 이력모델의 조정, PK/FK조정, 슈퍼/서브타입 조정
6. 성능관점에서 데이터 모델을 검증

 

 

 

---

 

 

※ 함수적 종속성: 데이터들이 어떤 기준 값에 의해 종속되는 현상

 

 

★ 정규화 : 반복 데이터를 분리하고 각 데이터가 종속된 테이블에 적절하게 배치되도록 하는 것

▷ 1차 정규화 : 같은 성격, 내용 컬럼이 연속될 때 컬럼 제거

▷ 2차 정규화: PK 복합키 구성이 때 부분적 함수 종속 관계 테이블 분리

▷ 3차 정규화: PK가 아닌 일반 컬럼에 의존하는 컬럼 분리

 

 

☆ 반정규화 : 정규화된 엔티티, 속성, 관계에 대해 시스템의 성능향상과 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을수행하는 데이터 모델링의 기법 조회시 디스크 I/O가 많거나 경로가 멀어 조인에 의한 성능 저하를 막기 위해 수행

 

 

(일반적으로)

정규화시 입력/수정/삭제 성능 향상

 반정규화시 조인 성능이 향상

 

 

---

※ 반정규화 절차

 

 

1. 반정규화 대상 조사(범위처리 빈도수, 범위, 통계성)

1. 프로세스 수가 많고 항상 일정한 범위만을 조회하는 경우
2. 테이블에 대량의 데이터 있고 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
3. 통계 정보를 필요로 할 때 별도의 통계테이블을 생성
4. 테이블에 지나치게 많은 조인이 걸려 데이터 조회 작업이 어려운 경우

 

 

 

2. 다른 방법 유도 검토(뷰, 클러스터링, 인덱스 조정)

1. VIEW 사용: 지나치게 많은 조인이 걸려 데이터 조회 작업이 어려운 경우 VIEW 사용(VIEW가 성능향상 X)
2. 클러스터링: 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링 적용 or 인덱스 조정(조회가 대부분일 때 클러스터링 적용)
3. 파티셔닝: 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리 가능. 파티셔닝 키에 의해 물리적 저장공간 분리
4. 캐시: 로직을 구사하는 방법을 변경함으로써 성능 향상 가능

 

 

3. 반정규화 적용

3-1. 테이블 반정규화

 

1. 테이블 병합

1. 1:1 관계 통합
2. 1:M 관계 통합
3. 슈퍼/서브 관계를 통합

 

 

2. 테이블 분할

1. 수직 분할: 디스크 I/O를 분산처리하기 위해 테이블을 1:1로 분리하여 성능 향상
2. 수평 분할: 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우단위로 테이블 쪼갬

 

 

3. 테이블 추가

1. 중복: 동일한 테이블 구조를 중복하여 원격조인을 제거하여 성능 향상
2. 통계: SUM, AVG등 미리 수행하여 계산ㄷ해둠으로써 조회 시 성능 향상
3. 이력: 이력테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력테이블에 존재시켜 성능 향상
4. 부분: 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 모아놓은 별도의 반정규화 테이블 생성

 

 

 

3-2. 칼럼 반정규화

1. 중복칼럼 추가: 조인에 의해 처리할 때 성능저하를 예방하기 위해 중복된 칼럼 위치시킴
2. 파생칼럼 추가: 미리 값을 계산하여 칼럼에 보관
3. 이력테이블 칼럼추가: 불특정 날 조회나 최근 값을 조회할 때 나타나는 성능저하를 예방하기 위해 이력테이블에 기능성 칼럼(최근값 여부, 시작과 종료일자 등) 추가.
4. 응용시스템 오작동 위한 칼럼 추가: 실수로 인해 원래 값으로 복구하기를 원하는 경우 이전 데이터를 임시적으로 중복하여 보관
5. PK에 의한 칼럼 추가: 단일 PK 안에서 특정 값을 별도로 조회하는 경우 성능 저하 발생. 일반 속성으로 추가함

 

 

 

3-3. 관계 반정규화: 무결성 유지

 

중복관계 추가: 데이터 처리시 여러 경로를 거쳐 조인 가능하지만 이때 발생하는 성능저하를 예방하기 위해 추가적인 관계 맞는 방법

 

 

 

 

---

★ 로우 체이닝

로우 길이가 너무 길어 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태

 

 

★ 로우 마이그레이션

데이터 블록에 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식

 

 

 

 

로우 체이닝 & 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 많은 I/O 발생하여 성능저하 발생.

트랜잭션을 분석하여 적절히 1:1관계로 분리함으로써 성능 향상이 가능하도록 해야한다.

 

 

 

 

※ PK에 의해 테이블 분할(파티셔닝)

1. RANGE PARTITION: 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 영역별로 트랜잭션이 분리되는 경우
2. LIST PARTITION: 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우
3. HASH PARTITION: 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리

 

 

 

※ 테이블에 대한 수평/ 수직분할의 절차

1. 데이터 모델링을 완성한다.
2. DB 용량산정을 한다.
3. 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.
4. 칼럼 단위로 집중화된 처리가 발생하는지, 로우 단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토.

 

 

- 컬럼 많음 → 1:1 분리

-데이터 많음 → 파티셔닝