on
정보처리기사 실기 정리 - 3. 데이터 입출력 구현
정보처리기사 실기 정리 - 3. 데이터 입출력 구현
3. 데이터 입출력 구현
데이터 모델
현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현한 모델
데이터 모델 절차 ★
요구사항 분석 -> 개념적 데이터 모델 -> 논리적 데이터 모델 -> 물리적 데이터 모델
논리적 데이터 모델링 종류
관계 데이터 모델: 테이블 형태
계층 데이터 모델: 트리 구조
네트워크 데이터 모델: 그래프
관계 대수 연산자의 종류
1. 일반 집합 연산자
합집합
교집합
차집합
카티션 프로덕트: 릴레이션에 속한 모든 튜플을 연결해 만들어진 새로운 튜플로 릴레이션을 구성
2. 순수 관계 연산자
셀렉트: 조건을 만족하는 튜플 반환
프로젝트: 주어진 속성들의 값으로만 구성된 튜플 반환
조인: 공통 속성을 이용해 릴레이션의 튜플들을 연결해 만들어진 튜플 반환
디비전: 릴레이션의 모든 튜플과 관련 있는 릴레이션의 튜플 반환
논리 데이터 모델링 속성
개체
속성
관계
E-R 다이어그램
현실 세계에 존재하는 데이터와 그들 간의 관계를 사람이 이해할 수 있는 형태로 명확하게 표현하기 위해
가장 널리 사용되고 있는 모델
E-R 다이어그램 기호
개체 - 사각형
관계 - 마름모
속성 - 타원
다중 값 속성 - 이중 타원
관계/속성 연결 - 선
정규화
데이터 모델에서 데이터의 중복성을 제거하여 이상현상을 방지하는 과정
이상 현상 ★
데이터의 중복성으로 인해 릴레이션을 조작할 때 발생하는 현상
삽입 이상: 정보 저장 시 정보의 불필요한 세부 정보를 입력한 경우
삭제 이상: 정보 삭제 시 원치 않는 다른 정보가 같이 삭제되는 경우
갱신 이상: 중복 데이터 중에서 특정 부분만 수정되어 중복된 값이 모순을 일으키는 경우
정규화의 단계 (그림 보고 어떤 정규형인지 맞출 수 있어야 함) ★
1정규형(1NF): 원자 값으로 구성
2정규형(2NF): 부분 함수 종속 제거
3정규형(3NF): 이행 함수 종속 제거
BCNF: 결정자 후보 키가 아닌 함수 종속 제거
4정규형(4NF): 다치(다중 값) 종속 제거
5정규형(5NF): 조인 종속 제거
반 정규화 ★
정규화된 엔티티, 속성, 관계에 대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리하는 과정
참조 무결성 제약조건
참조하는 외래키의 값은 항상 참조되는 릴레이션에 기본키로 존재해야 한다.
제한: 참조 무결성 원칙을 위배하는 연산을 거절하는 옵션
연쇄: 참조되는 릴레이션에서 튜플을 삭제하고, 이 튜플을 참조하는 튜플들도 함께 삭제하는 옵션
널 값: 참조되는 릴레이션에서 튜플을 삭제하고, 해당 튜플을 참조하는 튜플들의 외래 키에 NULL값 적용
인덱스
전체 데이터의 검색 없이 필요한 정보에 대해 신속하게 조회 가능하게 해주는 데이터 구조
파티션의 종류
레인지 파티셔닝: 연속적인 숫자나 날짜를 기준으로 파티셔닝
해시 파티셔닝: 파티션 키의 해시 함수 값에 의한 파티셔닝
리스트 파티셔닝: 특정 파티션에 저장될 데이터에 대한 명시적 제어 가능한 파티셔닝
컴포지트 파티셔닝: 레인지, 해시, 리스트 중 2개 이상의 파티셔닝 결합
데이터베이스
다수의 인원, 시스템, 또는 프로그램이 사용할 목적으로 통합하여 관리되는 데이터의 집합
데이터베이스의 종류
1. 파일 시스템: 파일에 이름을 부여하고 저장이나 검색을 위해 논리적으로 정의하는 방식
2. 관계형 데이터베이스 관리시스템(RDBMS): 관계형 모델을 기반으로 하는 가장 보편화된 데이터베이스 관리 시스템
3. 계층형 데이터베이스 관리시스템(HDBMS): 데이터를 계층형으로 관리하는 데이터베이스
4. 네트워크 데이터베이스 관리시스템(NDBMS): 데이터의 구조를 망상 형태로 표현한 데이터 모델
DBMS 유형
키-값 DBMS
컬럼 기반 데이터 저장 DBMS
문서 저장 DBMS
그래프 DBMS
빅데이터
시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리가 가능한 데이터를 넘어서는 비정형 데이터
빅데이터의 특성
데이터의 양
데이터의 다양성
데이터의 속도
HDFS
대용량 데이터의 집합을 처리하는 프로그램에 적합하도록 설계된 하둡 분산 파일 시스템
맵 리듀스
구글에서 대용량 데이터 처리를 위한 목적으로 제작한 소프트웨어 프레임워크
NoSQL ★
전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어로, 스키마가 필요하지 않고, 조인 연산을 사용할 수 없으며,
수평적으로 확장이 가능한 DBMS
NoSQL의 특성
Basically Available: 언제든지 데이터에 접근 가능
Soft-State: 노드의 상태는 외부에서 전송된 정보를 통해 결정
Eventually Consistency: 일정 시간이 지나면 데이터의 일관성 유지
NoSQL 유형
Key-Value Store
Column Family Data Store
Document Store
Graph Store
시맨틱 웹
온톨로지를 활용하여 서비스를 기술하고, 서비스 검색, 조합, 중재 기능을 자동화하는 웹
온톨로지
실세계에 존재하는 모든 개념들과 속성, 관계를 컴퓨터가 이해할 수 있도록 서술해 놓은 지식 베이스
데이터 마이닝 ★
대규모로 저장된 데이터 안에서 체계적이고 자동적으로 규칙이나 패턴을 찾아내는 기술
데이터 마이닝 주요 기법
분류 규칙
연관 규칙
연속 규칙
데이터 군집화
텍스트 마이닝
대량의 텍스트 데이터로부터 의미 있는 정보를 찾아내는 기법
웹 마이닝
웹으로부터 얻어지는 데이터로부터 분석하는 기법
from http://sooiing.tistory.com/33 by ccl(A) rewrite - 2021-10-04 23:26:21