230303 일 Redshift 특징 AWS 2PB OLAP 응답속도가 빠르지 않기 때문에 프로덕션 DB로 사용 불가 컬럼 기반 스토리지 레코드별로 저장하는 것이 아니라 컬럼별로 저장함 컬럼별 압축이 가능하며, 컬럼을 추가하거나 삭제하는 것이 아주 빠름 벌크 업데이트 지원 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로 일괄 복사 고정/가변 비용 SQL 엔진 Datashare 기능 다른 AWS 계정과 특정 데이터 공유 가능 (Snowflake를 따라 함) 다른 DW들과 동일하게 primary key uniqueness 보장 x Postgesql 8.x과 호환 하지만 완전 호환은 아님 (예를 들어 text 타입이 존재하지 않음) 스케일링 방식 용량이 부족해질 때마다 새로운 노드..
230509 화요일 학습 주제 - 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습 (2) 실습에 대하여 AWS 콘솔을 통해 Redshift cluster를 launch 하는 방법을 배웠다. 그리고 강사님께서 launch 하신 cluster에 접근하여 다양한 실습들을 해보는데 이때 사용할 예제 테이블에 대해 전달받았다. 웹서비스 사용자/세션 정보가 들어있는 테이블인데 이는 사용자 트래픽 분석이 가능하고 마케팅에 바로 직결되는 부분이다 보니 매우 흥미롭게 느껴졌다. 데이터를 다루기 전 기억할 것! - 항상 데이터를 믿을 수 있는지 의심할 것 => 실제 레코드를 몇 개 살펴보기(노가다) => 중복된 레코드 체크! => 최근 데이터의 존재 여부 체크!(freshness) =..
230508 월요일 학습 주제 - 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습 (1) 관계형 데이터베이스(RDB, Relational DataBase)란? 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지이다. 관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQL이다. 관계형 데이터베이스는 프로덕션 데이터베이스와 데이터 웨어하우스로 나누어진다. 프로덕션 데이터베이스 - MySQL, PostgreSQL, Oracle - OLTP(Online Transcation Processing) - 빠른 속도에 집중, 서비스에 필요한 정보 저장 - 사용자용 데이터 웨어하우스 - Redshift, Snowflake, BigQuery, Hive - OLAP(Online..
