728x90 반응형 SMALL 메모리2 GPU 메모리 초기화 방법 (feat. ubuntu) 1. 글을 쓰게 된 계기 모델을 학습시키다가 중지시키게 되면GPU에 남은 메모리를 정리해야하는 경우가 생기게 된다. 2. GPU 메모리 초기화 방법 특정 프로세스 종료sudo kill -9 # sudo kill -9 1234 특정 GPU 메모리 전체 초기화# 0번 GPU의 모든 프로세스를 종료합니다.sudo fuser -v /dev/nvidia0sudo fuser -v /dev/nvidia0 -k 2024. 6. 17. LLM 학습 시 메모리 고려(feat. LLaMA-7B) 1. 메모리 사용량 계산 (모델의 파라미터가 fp32일 때) 파라미터 당 bytes : 32 bits / 8 bits = 4 bytes 2. 모델 학습 시 메모리 사용량 고려 Forwarding을 위해 필요한 모델 파라미터를 N이라고 가정했을 때, 모델 메모리는 4 * N Optimizer 메모리 - 4 * 4 * N Gradient 메모리 - 4 * N 예시 모델 : LLaMA-7B 모델 메모리는 4 * 7B = 28GB Optimzer(AdamW) 4 * 4* 7B = 112GB Gradient 4 * 7B = 28GB 총 메모리 사용량 = 28 + 112 + 28 = 168GB LLaMA-7B 모델 훈련을 위해서는 168GB 이상의 vRAM이 소요 한정된 자원에서 모델을 훈련시키는데에 메모리가 너무.. 2024. 1. 13. 이전 1 다음 728x90 반응형 LIST
