기본 콘텐츠로 건너뛰기

GCP에서 딥러닝을 위한 VM 인스턴스 생성

GCP에서 딥러닝을 위한 VM 인스턴스 생성

구글 클라우드 플랫폼(Google Cloud Platform, GCP)에 딥러닝 환경을 구축하고 이를 통해 실습할 수 있는 방법에 대해 설명합니다.

이 문서에서 다루는 주요 내용은 다음과 같습니다.

  1. 딥러닝을 위한 VM 인스턴스 생성 과정
  2. 로컬 컴퓨터에서 VM 인스턴스에 연결하는 과정
  3. 로컬 컴퓨터에서 JupyterLab에 연결하는 과정

1. 브라우저에서 Google Cloud Console 연결

  1. 브라우저로 Google Cloud Console에 연결하고 로그인
  2. 프로젝트 선택하고 프로젝트 ID 확인
    • 프로젝트 ID: my_project

2. “Deep Learning VM” 이미지로 VM 인스턴스 생성

  1. 좌측 상단 탐색 메뉴에서 Marketplace 항목 선택
  2. 검색 창에 "deep learning vm"을 입력하고 엔터
  3. 검색 결과에서 아래 항목 클릭
    • Deep Learning VM - Google Click to Deploy - 가상 머신
      • OS: Debian 10 또는 11
  4. 실행 버튼 클릭
  5. 아래와 같이 입력 또는 선택 (항목별 값은 각자의 상황에 맞게 변경)
    • 배포 구성 예시 1 (예상 월별 총액 KRW 859,668/월)
      • Deployment
        • Deployment name: deeplearning-1
        • Zone: asia-northeast3-b
        • Machien type: GPU
          • GPU 유형: NVIDIA T4
          • GPU 수: 1
          • 머신 유형: n1-highmem-8(vCPU 8개, 코어 4개, 메모리 52GB)
          • Framework: PyTorch 2.4 (CUDA 12.4, Python 3.10)
      • GPU
        • Checked: Install NVIDIA GPU driver automatically on first startup?
      • Access to the Jupyter Lab
        • Checked: Enable access to JupyterLab via URL instead of SSH. (Beta)
      • Boot Disk
        • Boot disk type: SSD Persistent Disk
        • Boot disk size in GB: 1024
      • Networking
        • 네트워크 인터페이스: default
    • 배포 구성 예시 2 (예상 월별 총액 KRW 3,162,624/월)
      • Deployment
        • Deployment name: deeplearning-2
        • Zone: asia-northeast3-b
        • Machien type: GPU
          • GPU 유형: NVIDIA A100 40GB
          • GPU 수: 1
          • 머신 유형: a2-highgpu-1g(vCPU 12개, 코어 6개, 메모리 85GB)
          • Framework: PyTorch 2.4 (CUDA 12.4, Python 3.10)
      • GPU
        • Checked: Install NVIDIA GPU driver automatically on first startup?
      • Access to the Jupyter Lab
        • Checked: Enable access to JupyterLab via URL instead of SSH. (Beta)
      • Boot Disk
        • Boot disk type: SSD Persistent Disk
        • Boot disk size in GB: 1024
      • Networking
        • 네트워크 인터페이스: default
  6. 배포 버튼 클릭 (배포 완료까지 약 3~ 5분 소요)
  7. 좌측 상단 탐색 메뉴에서 VM 인스턴스 항목 선택
  8. 배포한 인스턴스 deeplearning-1-vm 또는 deeplearning-2-vm 클릭하여 세부 정보 확인

3. SSH로 VM 연결하기

3.1. 브라우저에서 SSH를 통해 연결

  1. Google Cloud Console 좌측 상단 탐색 메뉴에서 VM 인스턴스 항목 선택
  2. 인스턴스 목록에서 deeplearning-1-vm 항목의 SSH 옆에 있는 펼침 메뉴 클릭
  3. 펼침 메뉴에서 브라우저 창에서 열기 항목 클릭
  4. 브라우저 창으로 열린 터미널에서 쉘 명령어를 실행하거나 파일 업로드/다운로드 작업 수행

3.2. Cloud Shell에서 gcloud CLI로 SSH 연결

  1. Google Cloud Console 우측 상단 아이콘 메뉴에서 Cloud Shell 활성화 항목 선택
  2. Shell 창에서 gcloud compute ssh deeplearning-1-vm 명령 실행
    • 터미널 프로그램이 실행되면서 VM 인스턴스에 연결함
  3. 터미널 창에서 쉘 명령어를 실행

3.3. 로컬 컴퓨터에서 gcloud CLI로 SSH 연결

  1. gcloud CLI 설치
    • SSH 클라이언트 프로그램(예: PuTTY)을 실행하고자 하는 컴퓨터에서 gcloud CLI 설치
  2. Google Cloud SDK Shell 실행
    • Windows의 경우 전체 프로그램 목록에서 Google Cloud SDK Shell 항목 클릭
  3. SSH 연결
    • Google Cloud SDK Shell 창에서 아래와 같이 명령 실행
      gcloud compute ssh \
    --project my_project \
    --zone asia-northeast3-b \
    deeplearning-1-vm \
    -- -L 8080:localhost:8080
      PuTTY 터미널 프로그램이 실행되면서 VM 인스턴스에 연결함
  4. PuTTY 터미널 창에서 쉘 명령어를 실행

4. JupyterLab 연결하기

Deep Learning VM 이미지로 생성한 인스턴스를 시작하면 JupyterLab 세션이 초기화됩니다.

4.1. SSH 포트 전달을 통한 JupyterLab 연결

  1. Cloud Shell 또는 로컬 컴퓨터의 Google Cloud SDK Shell에서 Google Cloud CLI를 사용하여 다음 명령어 실행
    gcloud compute ssh \
    --project my_project \
    --zone asia-northeast3-b \
    deeplearning-1-vm
    -- -L 8080:localhost:8080
  2. 로컬 브라우저를 통해 http://localhost:8080 열기
    • Cloud Shell 터미널의 경우 우측 상단 웹 미리보기 아이콘 클릭
  3. JupyterLab에서 노트북을 생성하고 실행합니다.

5. 참고 문서

Written with StackEdit.

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

Intel MKL 예제를 Microsoft Visual C++로 빌드하기

Intel MKL 예제를 Microsoft Visual C++로 빌드하기 인텔 프로세서 시스템에서 아래의 영역에 해당하는 수학 계산을 빠르게 수행하고자 한다면 Intel MKL 라이브러리를 사용할 수 있습니다. Linear Algebra Fast Fourier Transforms (FFT) Vector Statistics & Data Fitting Vector Math & Miscellaneous Solvers 이 문서는 Intel MKL 이 제공하는 예제 파일을 Microsoft Visual C++ 로 컴파일하고 링크하여 실행 파일을 만드는 과정을 소개합니다. 빌드 환경 다음은 이 문서를 작성하는 과정에서 Intel MKL 예제를 빌드하기 위하여 사용한 환경입니다. 시스템 운영체제: Windows 10 (64비트) 프로세서: Intel Core i7 설치 제품 IDE: Microsoft Visual Studio Community 2019 (version 16) 라이브러리: Intel Math Kernel Library 2019 Update 5 환경 변수 명령 프롬프트 창을 엽니다. 아래 스크립트를 실행하여 환경 변수 INCLUDE , LIB , 그리고 PATH 를 설정합니다. @echo off set CPRO_PATH=C:\Program Files (x86)\IntelSWTools\compilers_and_libraries\windows set MKLROOT=%CPRO_PATH%\mkl set REDIST=%CPRO_PATH%\redist set INCLUDE=%MKLROOT%\include;%INCLUDE% set LIB=%MKLROOT%\lib\intel64;%LIB% set PATH=%REDIST%\intel64\mkl;%PATH% REM for OpenMP intel thread set LIB=%CPRO_PATH%\compiler\lib...
댓글 쓰기
자세한 내용 보기

Llama 3.2로 문장 생성 및 챗팅 완성 실습

Llama 3.2로 문장 생성 및 챗팅 완성 실습 Running Meta Llama on Linux 문서의 내용을 참고하여 Llama 3.2 1B 모델로 다음 두 가지 기능을 실습합니다. 문장 완성 챗팅 완성 실습 환경 Ubuntu 20.04.6 LTS Python 3.12.7 Llama3.2-1B, Llama3.2-1B-Instruct rustc 1.83.0 NVIDIA RTX 4090 24GB 프로그램 준비 실습에서 사용할 wget , md5sum 설치 sudo apt-get install wget sudo apt-get install md5sum NVIDIA GPU 설치 여부 확인 nvidia-smi 실습 디렉토리 만들기 mkdir llama3-demo cd llama3-demo git clone https://github.com/meta-llama/llama3.git Python 3.10 이상의 버전으로 가상환경 만들고 활성화 python -m venv llama-venv . llama-venv/bin/activate Rust 컴파일러 설치 How To Install Rust on Ubuntu 20.04 문서를 참고하여 Rust 컴파일러를 설치합니다. curl --proto '=https' --tlsv1.3 https://sh.rustup.rs -sSf | sh 위 명령을 실행하면 아래와 같이 세 가지 선택 옵션이 나타나는데 그냥 엔터를 쳐서 1번 옵션으로 진행합니다. ... 1) Proceed with installation (default) 2) Customize installation 3) Cancel installation 아래 명령을 실행하여 현재 쉘에 반영하고 설치된 컴파일러 버전을 확인합니다. source $HOME/.cargo/env rustc --version 의존 라이브러리 설치 pip install ...
댓글 쓰기
자세한 내용 보기