22년 8월 26일_ETL 이란?

데이터 전환이라는 뜻으로 기존 정보 시스템에 축적되어 있는 데이터를 추출하고 새로 개발할 시스템에서 운영할 수 있도록 변환하고 적재하는 일련의 과정

 

 E는 추출의  Extract , T는 변환의  Transform, L은 로드의 Load를 나타내며 추출, 변환, 로드의 뜻으로  조직에서 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 혀용되는 방법이다.

 

이는 기존 데이터를 저장하거나 집계하여 분석한다

 

ETL이란 기업의 전 세계 모든 곳의 수많은 팀에서 관리하는 구조화된 데이터와 구조화되지 않은 데이터를 비롯한 전체 데이터를 가져와 비즈니스 목적에 실질적으로 유용한 상태로 변환하는 엔드 투 엔드 프로세스

 

데이터의 양과 속도에 대처할 수 있어야하기에 트랜잭션(데이터의 업무단위)을 수집, 보강, 관리하고 온 프레미스나 클라우드를 포함한 모든 소스에서 구조화된 데이터와 구조화되지 않은 데이터 모두를 실시간으로 지원하는 기능은 오늘날의 엔터 프라이즈 ETL 솔루션이 충족해야하는 기본적인 요건

 

클라우드 기반의 ETL 작동 방식

 

추출 : 온라인, 온프레미스( 기업의 서버를 클라우드 같은 원격 환경에서 운영하는 방식이 아닌, 자체적으로 보유한 전산실 서버에 직접 설치해 운영하는 방식), 기존 소스, SaaS(Software-as-a-Servce, SaaS) 클라우드 애플리케이션과 기본 IT인프라 및 플랫폼을 인터넷 브라우저를 통해 최종 사용자에게 제공하는 클라우드 컴퓨팅 형태, 등 하나 이상의 소스에서 데이터를 가져오는 프로세스, 가져오기, 즉 추출이 완료된 후에는 데이터가 스테이징 영역에 로드

 

변환 : 데이터를 갖고와서 정리하고 대상 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 저장 할 수 있도록 공통된 형식으로 만드는 작업이 포함, 정리에는 중복되거나, 불완전하거나, 잘못된 레코드를 제거하는 작업이 포함

 

로드 : 형식이 지정된 데이터를 대상 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 삽입하는 프로세스

 

 

 

결론 : 

모든 데이터를 한곳에 모아 활용가능한 정보를 만들고 이를 분석하여 경영진, 관리자, 기타 이해관계자가 해당 정보에 입각한 결정을 내릴 수 있도록 지원하는 수단

 

ETL 사용 사례

 

데이터 웨어하우징 - 데이터 웨어하우스는 비즈니스 목적을 위해 종합적으로 분석할 수 있도록 다양한 소스의 데이터를 결합한 데이터베이스입니다. ETL은 종종 데이터를 데이터 웨어하우스로 이전하는데 사용

 

IoT데이터 통합 - IoT는 하드웨어 내장된 센서를 통해 데이터를 수집하고 전송할 수 있는 연결된 기기들의 모음 IoT 기기에는 공장 장비, 네트워크 서버, 스마트폰 그 밖의 다양한 머신(웨어러블 기기 및 이식 기기 포함)이 될 수 있다. ETL 여러 IoT 소스의 데이터를 데이터 분석이 가능한 단일 위치로 이전해줍니다.

 

데이터베이스 복제 - 데이터베이스 복제는 Oracle, MySQL용 Cloud SQL, Microsoft SQL Server, PostgreSQL용 Cloud SQL, MongoDB등의 소스 데이터베이스에서 데이터를 가져와서 클라우드 데이터 웨어 하우스에 복사하는 작업입니다. 이 작업은 일회성 작업으로 수행할 수도 있고 데이터 업데이트 시 지속적인 프로세스로 수행할 수도 있으며, 데이터 복제를 복제하는 가정에서 ETL이 사용될 수 있습니다.

 

마케팅 데이터 통합 - 마케팅 데이터 통합에는 고객 데이터, 소셜 네트워킹 데이터, 웹로그 분석 데이터와 같은 마케팅 데이터를 분석하고 향후 계획을 수립할 수 있도록 모든 데이터를 한곳으로 이전하는 작업이 포함됩니다. ETL은 마케팅 데이터를 수집하고 준비하는데 사용됩니다.

 

 

출처 : https://cloud.google.com/learn/what-is-etl?hl=ko