목록2023/02 (7)
마짱짱의 지식창고
[GCP] Dataflow, BigQuery, GCS를 이용하여 ETL Pipeline 구축
0. 개요 GCS( https://cloud.google.com/storage?hl=ko ), Dataflow( https://cloud.google.com/dataflow?hl=ko , Apache Beam), BigQuery( https://cloud.google.com/bigquery?hl=ko ) 를 이용하여 ETL Pipeline 구축하기 모든 코드는 Cloud Shell 에서 실행합니다. 1. 샘플DATA 및 변수선언 gsutil -m cp -R gs://spls/gsp290/dataflow-python-examples . 샘플 데이터 파일 받기 export PROJECT=qwiklabs-gcp-00-e19d324b1356 gcloud config set project $PROJECT Proj..
[GCP] Dataprep을 이용한 파이프라인 구축
0. 개요 Dataprep(Trifacta) 은 분석을 위해 정형 및 비정형 데이터를 시각적으로 탐색, 정리 및 준비하기 위한 지능형 데이터 서비스입니다.이 포스팅에서는 Cloud Dataprep UI를 탐색하여 결과를 BigQuery로 출력하는 데이터 변환 파이프라인을 빌드합니다. https://cloud.google.com/dataprep?hl=ko BigQuery 데이터세트를 Cloud Dataprep에 연결합니다. Cloud Dataprep으로 데이터세트 품질을 살펴보세요. Cloud Dataprep으로 데이터 변환 파이프라인을 만드세요. BigQuery에 대한 변환 작업 출력을 실행합니다. 사용할 dataset은 BigQuery에 로드된 Google Merchandise Store 에 대한 수백..
[GCP] GKE에 Cloud Deploy를 사용하여 CD환경 구축하기
0. 개요 Cloud Deploy는 GKE, Cloud Run, Anthos 에 CD환경을 구축해주는 PaaS 제품 입니다. ( https://cloud.google.com/deploy?hl=ko ) 이번 포스팅에서는 Cloud Deploy를 사용하여 CD 파이프라인을 구축하고 Application의 Release를 형성하여 GKE에 배포합니다. 1. 필요한 변수 사전 정의 export PROJECT_ID=$(gcloud config get-value project) export REGION=us-west1 gcloud config set compute/region $REGION Cloud Shell 에서 ID 및 Resion 설정 2. GKE 생성 gcloud services enable \ conta..
[GCP] BigQuery Omni - AWS S3 연동하여 쿼리 날리기
0. 개요 BigQuery Omni를 사용하면 AWS S3 에 저장된 데이터에서 BigQuery 분석을 실행할 수 있습니다 . Google Cloud BigQuery와 AWS S3 사이에 승인된 연결을 만들고 데이터 이동 없이 S3 버킷에 있는 데이터를 쿼리하고 쿼리 결과를 다시 AWS S3 버킷에 씁니다. 1. AWS IAM 정책 설정하기 BigQuery Omni는 Google Cloud의 승인된 연결을 통해 Amazon S3 데이터에 액세스합니다. 각 연결에는 고유한 Amazon Web Services(AWS) Identity and Access Management(IAM) 사용자가 있습니다. AWS IAM 역할을 통해 사용자에게 권한을 부여합니다. AWS IAM 역할 내의 정책은 각 연결에 대해 B..
[GCP] Cloud Run으로 배포된 Application을 Canary 배포테스트
0. 개요 자동화된 카나리아 테스트 및 백분율 기반 트래픽 관리를 통해 개발자 분기에서 프로덕션으로 코드 진행을 실행하는 Cloud Run용 배포 파이프라인을 구현합니다. 1. 환경준비 GCP Console의 Cloud Shell 에서 진행합니다. export PROJECT_ID=$(gcloud config get-value project) export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)') export REGION=us-east1 gcloud config set compute/region $REGION Project, Region 변수 선언 및 gcloud region 세팅 gcloud ..
[GCP] Cloud Build 를 이용한 GKE 파이프라인 구축
0. 개요 Commit 된 코드를 컨테이너 이미지에 자동으로 Build하고 Artifact Registry에 이미지를 저장, Git 저장소에서 k8s Manifest를 업데이트 하고, 해당 Manifest를 사용하여 Application을 GKE에 배포하는 CI/CD를 만듭니다. 해당 포스팅에선 2개의 Git Repository를 생성합니다. 1. App Repository: Application 자체의 소스 코드를 포함합니다. 2. env Repository: k8s 배포에 대한 Manifest를 포함합니다. App Repository에 변경사항을 Push 하면 Cloud Build Pipeline이 테스트를 실행 하고 컨테이너 이미지를 빌드 한 다음 Artifact Registry에 Push 합니다...