데이터

참조 : https://engineering.videoblocks.com/web-architecture-101-a3224e126947

Web Architecture 101

 

오늘날 기업은 데이터를 얼마나 잘 활용하고 있는지에 따라 살고 죽습니다. 요즘 거의 모든 앱이 특정 규모에 도달하면 데이터 파이프 라인을 활용하여 데이터를 수집, 저장 및 분석 할 수 있습니다. 일반적인 파이프 라인에는 세 가지 주요 단계가 있습니다.

1. 이 앱은 일반적으로 사용자 상호 작용에 대한 이벤트 인 데이터를 "firehose"로 전송하여 데이터를 수집하고 처리하는 스트리밍 인터페이스를 제공합니다. 종종 원시 데이터가 변환되거나 기능 보강되어 다른 firehose로 전달되기도합니다. AWS Kinesis와 Kafka는이 목적을위한 가장 일반적인 기술입니다.
2. 원시 데이터와 최종 변환 / 증강 된 데이터는 클라우드 스토리지에 저장됩니다. AWS Kinesis는 "firehose"라는 설정을 제공하여 원시 데이터를 클라우드 스토리지 (S3)에 매우 쉽게 구성 할 수 있도록합니다.
3. 변환 / 증강 된 데이터는 종종 분석을 위해 데이터웨어 하우스에로드됩니다. 우리는 스타트 업 세계에서 점점 더 많은 부분을 차지하는 것처럼 AWS Redshift를 사용하지만 대기업은 종종 Oracle 또는 기타 독점웨어 하우스 기술을 사용합니다. 데이터 세트가 충분히 큰 경우 분석에 Hadoop과 유사한 NoSQL MapReduce 기술이 필요할 수 있습니다.

아키텍처 다이어그램에는 표시되지 않은 또 다른 단계 : 앱 및 서비스 운영 데이터베이스에서 데이터웨어 하우스로 데이터로드 예를 들어 Storyblocks에서는 VideoBlocks, AudioBlocks, Storyblocks, 계정 서비스 및 기고자 포털 데이터베이스를 매일 밤마다 Redshift에로드합니다. 이는 핵심 비즈니스 데이터와 사용자 상호 작용 이벤트 데이터를 함께 배치함으로써 분석가에게 전체적인 데이터 세트를 제공합니다.