마짱짱의 지식창고

0. 개요 해당 포스팅에서는 Kubernetes Engine에서 Jenkins를 사용하여 지속적 배포 파이프라인을 설정하는 방법을 배우게 됩니다. Jenkins는 공유 저장소에서 코드를 자주 통합하는 개발자가 즐겨 사용하는 자동화 서버입니다. 이 실습에서 빌드할 솔루션은 다음 다이어그램과 유사합니다. Jenkins 애플리케이션을 Kubernetes Engine 클러스터에 프로비저닝하기 Helm Package Manager를 사용하여 Jenkins 애플리케이션 설정하기 Jenkins 애플리케이션의 기능 살펴보기 Jenkins 파이프라인 생성 및 실습 Jenkins란 무엇인가요? Jenkins는 빌드, 테스트, 배포 파이프라인을 유연하게 조정할 수 있는 오픈소스 자동화 서버입니다. Jenkins를 사용하면 ..

0. 개요 해당 포스팅에서는 소프트웨어 제공 파이프라인을 조정하는 데 도움이 되도록 Google Kubernetes Engine에서 Jenkins를 설정하는 방법에 대해 알아봅니다. Kubernetes Engine으로 Kubernetes 클러스터 만들기 Jenkins 배포 및 서비스 만들기. 젠킨스에 연결 중입니다. 1. 환경준비 Cloud Shell 에서 Zone 설정 후 샘플코드 clone gcloud config set compute/zone us-central1-f git clone https://github.com/GoogleCloudPlatform/continuous-deployment-on-kubernetes.git cd continuous-deployment-on-kubernetes GKE..

0. 개요 GCP의 Database Migration Service는 IP 허용 목록, VPC 피어링, 역방향 SSH 터널을 비롯한 다양한 연결 옵션을 사용하여 데이터를 Cloud SQL로 마이그레이션하는 일회성 및 연속 작업 옵션을 제공 ( https://www.google.com/search?q=gcp+database+migration+service&oq=GCP+DATABASE+&aqs=chrome.1.69i57j0i512l8j0i30.3586j0j4&sourceid=chrome&ie=UTF-8 ) 해당 포스팅에서는 일회성 Database Migration Service 작업과 연결을 위한 IP 허용 목록을 사용하여 MySQL용 Amazon RDS 인스턴스에서 MySQL용 Cloud SQL로 MySQ..

0. 개요 GCS( https://cloud.google.com/storage?hl=ko ), Dataflow( https://cloud.google.com/dataflow?hl=ko , Apache Beam), BigQuery( https://cloud.google.com/bigquery?hl=ko ) 를 이용하여 ETL Pipeline 구축하기 모든 코드는 Cloud Shell 에서 실행합니다. 1. 샘플DATA 및 변수선언 gsutil -m cp -R gs://spls/gsp290/dataflow-python-examples . 샘플 데이터 파일 받기 export PROJECT=qwiklabs-gcp-00-e19d324b1356 gcloud config set project $PROJECT Proj..

0. 개요 Dataprep(Trifacta) 은 분석을 위해 정형 및 비정형 데이터를 시각적으로 탐색, 정리 및 준비하기 위한 지능형 데이터 서비스입니다.이 포스팅에서는 Cloud Dataprep UI를 탐색하여 결과를 BigQuery로 출력하는 데이터 변환 파이프라인을 빌드합니다. https://cloud.google.com/dataprep?hl=ko BigQuery 데이터세트를 Cloud Dataprep에 연결합니다. Cloud Dataprep으로 데이터세트 품질을 살펴보세요. Cloud Dataprep으로 데이터 변환 파이프라인을 만드세요. BigQuery에 대한 변환 작업 출력을 실행합니다. 사용할 dataset은 BigQuery에 로드된 Google Merchandise Store 에 대한 수백..

0. 개요 Cloud Deploy는 GKE, Cloud Run, Anthos 에 CD환경을 구축해주는 PaaS 제품 입니다. ( https://cloud.google.com/deploy?hl=ko ) 이번 포스팅에서는 Cloud Deploy를 사용하여 CD 파이프라인을 구축하고 Application의 Release를 형성하여 GKE에 배포합니다. 1. 필요한 변수 사전 정의 export PROJECT_ID=$(gcloud config get-value project) export REGION=us-west1 gcloud config set compute/region $REGION Cloud Shell 에서 ID 및 Resion 설정 2. GKE 생성 gcloud services enable \ conta..

0. 개요 BigQuery Omni를 사용하면 AWS S3 에 저장된 데이터에서 BigQuery 분석을 실행할 수 있습니다 . Google Cloud BigQuery와 AWS S3 사이에 승인된 연결을 만들고 데이터 이동 없이 S3 버킷에 있는 데이터를 쿼리하고 쿼리 결과를 다시 AWS S3 버킷에 씁니다. 1. AWS IAM 정책 설정하기 BigQuery Omni는 Google Cloud의 승인된 연결을 통해 Amazon S3 데이터에 액세스합니다. 각 연결에는 고유한 Amazon Web Services(AWS) Identity and Access Management(IAM) 사용자가 있습니다. AWS IAM 역할을 통해 사용자에게 권한을 부여합니다. AWS IAM 역할 내의 정책은 각 연결에 대해 B..

0. 개요 자동화된 카나리아 테스트 및 백분율 기반 트래픽 관리를 통해 개발자 분기에서 프로덕션으로 코드 진행을 실행하는 Cloud Run용 배포 파이프라인을 구현합니다. 1. 환경준비 GCP Console의 Cloud Shell 에서 진행합니다. export PROJECT_ID=$(gcloud config get-value project) export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)') export REGION=us-east1 gcloud config set compute/region $REGION Project, Region 변수 선언 및 gcloud region 세팅 gcloud ..

0. 개요 Commit 된 코드를 컨테이너 이미지에 자동으로 Build하고 Artifact Registry에 이미지를 저장, Git 저장소에서 k8s Manifest를 업데이트 하고, 해당 Manifest를 사용하여 Application을 GKE에 배포하는 CI/CD를 만듭니다. 해당 포스팅에선 2개의 Git Repository를 생성합니다. 1. App Repository: Application 자체의 소스 코드를 포함합니다. 2. env Repository: k8s 배포에 대한 Manifest를 포함합니다. App Repository에 변경사항을 Push 하면 Cloud Build Pipeline이 테스트를 실행 하고 컨테이너 이미지를 빌드 한 다음 Artifact Registry에 Push 합니다...

0. 기초설명 Cloud Code 란? GCP 에서 지원하는 IDE용 IDE 플러그인 집합으로 이를통해 GCP에 Application을 쉽게 제작,배포,통합을 할 수 있음 VSCode, PyCharm, GoLand 등 유명한 IDE 지원 Skaffold 통합을 통해 GKE, Cloud Run 개발 속도 향상 GCP 의 API를 쉽게 통합 디버깅 및 모니터링 지원 1. 사전 설치 Cloud Code를 설치하기 전 다음과 같은 사전 작업이 필요하다. 1. VS Code 설치 및 설정 https://code.visualstudio.com/download 2. 언어 설치 NodeJS, GO, Python, JAVA, .NET 중 택1 3. Git 설치 https://git-scm.com/book/en/v2/Ge..