Vast.ai를 활용한 GPU서버 임대하는 방법!! Feat.AI Node

안녕하세요! 이번시간엔 Vast.ai를 활용해 GPU를 임대하는 방법에 대해 알아보려고 합니다.

많은 분들이 GPU를 비싼걸 사기엔 부담스럽고, 그러자니 또 싼걸하기엔 AI관련 Node를 운용하는데 힘이 부치는 등등의 상황을 겪고 계실텐데요!
 

그래서 이번엔 제~~일 저렴하게 GPU를 임대해서 Linux 서버를 임대할 수 있는 Vast.ai를 활용한 가상서버(VPS) 사용방법에 대해 알려드리려고 합니다.

 
물론 가격은 본인이 어떠한 GPU를 임대하냐에 따라 다르겠지만, 그래도 구글의 GCP나 아마존의 AWS, 마이크로소프트의 AZURE보다는 훨씬 저렴하니 이용하는 편이 좋겠죠?

그럼 Vast.ai를 활용한 GPU서버 임대 방법에 대해 설명드리겠습니다!

---

1. Vast.ai 이용하기

https://cloud.vast.ai/?ref_id=120342

Vast.ai | Console

위 링크를 통해 사이트 접속해주시구요.

그럼 이런 창으로 접속이 될텐데 우측의 Sign In을 눌러주세요.

그 다음 Create Account를 눌러서 
 

구글로 가입해주셔도 되구요. 그다음 로그인해주세요.

그럼 이렇게 우측에 로그인된게 확인됩니다.

이제 화면에서 Any GPU라고 적힌 부분을 눌러서

원하는 GPU로 선택하시면 되구요.
 

우측의 이건 각 GPU별 시간당 금액이니 저렴한걸로 선택하시면 될 것 같습니다.

참고로 Max Duration은 한 번 유지보수를 위해 재기동되는 날까지 남은 기한이기 때문에 넉넉한 걸로 골라주셔야 됩니다.
아니면 다시 재기동해야될 수 있어요.
 
일단
 
Template 설정을 위해
https://cloud.vast.ai/templates/

Vast.ai | Console

위 링크 접속해주시면
 
 
혹은 
 

좌측의 EDIT IMAGE & CONFIG를 눌러주시고

Recommended를 눌러서도 선택은 가능합니다만 위 사이트를 통해서 접속하는게 더 많은 Template을 구경할 수 있습니다.

아무튼 접속하시면

되게 다양한 Template이 존재한다.

다양한 Template을 구경하실 수 있는데 그 중 아래로 내려서 Popular로 가주신 뒤

동그라미 친

• Nvidia/Cuda:12.3.2-Devel-Ubuntu22.04
• Nvidia/Cuda:12.3.1-Devel-Ubuntu22.04

둘 중 하나를 설치해주시는게 더욱 좋습니다.

저는 12.3.1을 선택했습니다.
☞의미는 없습니다.

선택은 Select를 눌러주시면 되고

좌측의 위 부분을 조절하실 수 있습니다.

1. Disk Space To Allocate : 해당 GPU 가상서버 임대시 사용할 저장공간(SSD/HDD 용량) - 크게 잡을 수록 다른 서버랑 동시 채굴 가능
2. Availability - Host Reliablitiy : 호스트와 연관된 사용가능 조건 - 안건드려도 됨
3. Availability - Max Instance Duration : GPU 임차인이 본인이 원할 때 마음대로 끌 수 있을 때까지의 기간. Duration이 길게 남아있을 수록 안정성이 높다.

위와 같이 설정을 완료하신다면

고르셨다면 RENT를 누르면 됩니다.

이제 본인이 임대할 GPU를 자세히 보시면 정보들을 확인하실 수 있습니다.

1. GPU RAM 용량
2. CPU 정보 및 RAM 용량
3. SSD 정보 및 용량
4. 시간당 가격
5. 인증까지 남은 기한(이후 종료되어 재인증 될때까지 대기상태 돌입) - 위의 Max Duration 설정값에 의해 필터링된 항목들의 Max Duration이다.

특히, 가격부분에 마우스를 가져가면 이렇게 총 비용도 확인 가능하니 임대에 참고하시면 됩니다.

 
이렇게 정보를 확인할 수 있기 때문에 본인에게 맞는 GPU와 성능 등을 고르시면 되겠습니다. 

이런 원하는 성능과 용량 등을 찾았다면 RENT 누르기

고르신 뒤 RENT를 누르셨다면

결제는 PAY WITH STRIPE를 눌러주시면 됩니다.

RENT를 누르면 결제할 카드 입력하라고 나오니까 ADD CARD 눌러서 카드 추가해주시고 결제도 진행해주세요.

그 다음 다시 RENT를 누르면

이런 메세지가 뜨는데요.

creating이 끝나면 Connect로 바뀐다.

왼쪽의 INSTANCES를 누르면 이렇게 생성완료된 GPU가 보이게 됩니다.

자 이제 Connect를 눌러주시고

동그라미 친 ADD SSH KEY눌러주시면

이런 SSH 명령어가 나오는데요.

동그라미친 Direct ssh connect의 SSH 명령어를 메모장에 복사해주세요.

그리고 

중지버튼을 눌러서 일단 돈 안빠져나가게 중지해줍시다.

---

2. Putty로 서버 연결하기

이제 putty를 다운받아줍시다.
https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

Download PuTTY: latest release (0.80)

위 링크로 접속하신 다음

이 내용 중 본인에게 맞는걸 다운받고 putty를 설치해주세요.
☞대부분은 맨 위의 64-bit x86입니다.

설치 완료가 되었다면 PuTTYgen이라는 프로그램을 열어주세요

빨간색 박스의 프로그램이다

그 다음 Generate버튼을 눌러서 좀 기다리시면

이런거 나오는데 마우스 막 움직이면서 기다리시면 됩니다.

그러면 이렇게 나타나는데요.

이 키를 이런식으로 복사해줍시다.
 

복사하셨으면 Vast.ai 사이트 왼쪽의

Account를 눌러주시면

Change SSH Key라고 있습니다. 여기의 Add ssh key를 눌러주세요.

그리고 이 SSH key라는 빈칸 부분에 아까 PuTTYgen에서 생성해서 복사했던 SSH key를 붙여넣고

우측 하단의 ADD버튼을 눌러주세요.

그리고 멈췄던 instance를 재생버튼을 눌러서 실행해주세요.

그리고

key를 누르면 

이 parameters 뭐시기가 나오는데 눌러주세요.

이렇게 설정을 바꾼 뒤

Save private key를 눌러 ppk파일을 저장해줍시다.

Putty 실행해주시구요.
 
아까 복사했던 걸 보면

ssh -p 숫자(포트번호) root@IP주소 -L 8080:localhost:8080

이런 형식으로 되어있을겁니다.
 
이제 

이렇게 그대로 옮겨서 Saved Session에 이름을 작성한 뒤 Save버튼을 눌러주시구요.

왼쪽의 SSH-Auth-Credentials를 누르면 된다.

Credentials 경로로 가서 Browse를 눌러 저장했던 ppk파일을 선택해주신 뒤 open 버튼을 눌러주시면 됩니다.

☞순서 꼭 지켜야 접속됩니다.

---

다시 한 번 Putty로 접속하는 순서 알려드립니다.

1. Putty를 킨다.
2. 본인이 접속하기 위해 save한 서버선택 후 Load버튼 클릭한다.
3. 이후 왼쪽의 Connection - SSH - Auth - Credentail을 누른다.
4. 우측의 Private Key file for authentication의 Browse..를 누른다.
5. 저장했던 ppk 파일을 선택해준다.
6. credential 창 아래의 open 버튼을 눌러준다.

---

만약 그랬는데

위와 같은 에러가 뜬다면
Vast의 본인 Instance에서 Open SSH Interface를 누르시고 PuttyGEN에서 생성한 Key를 복사해서 Interface SSH Key에 붙여넣으신 뒤 실행하시면 된다고 합니다!

그럼 이런 창이 뜨는데 accept를눌러주세요.

그럼 이렇게 접속 완성!

---

여기까지가 Vast.ai를 이용해서 사용하는 방법이었습니다.

아무래도 고사양의 GPU와 함께 컴퓨터를 새로 풀 셋팅하는게 부담이 가실 수도 있는데요.

특히, 짧게 짧게 이용하시는 분들은 이 Vast.ai를 활용해 GPU를 임대해서 토큰 채굴이나 WL작업 등등을 이용하시면 어떨까 싶습니다.

 

현재 제일 저렴하게 GPU서버를 임대할 수 있는 방법이니까 말이죠!

소식과 내용을 빠르고 다양하게 접하고 싶으시다면 아래 그림(텔레그램)을 클릭해주세요!!