728x90 SMALL Python/AI1 LLM 학습 시 메모리 고려(feat. LLaMA-7B) 1. 메모리 사용량 계산 (모델의 파라미터가 fp32일 때) 파라미터 당 bytes : 32 bits / 8 bits = 4 bytes 2. 모델 학습 시 메모리 사용량 고려 Forwarding을 위해 필요한 모델 파라미터를 N이라고 가정했을 때, 모델 메모리는 4 * N Optimizer 메모리 - 4 * 4 * N Gradient 메모리 - 4 * N 예시 모델 : LLaMA-7B 모델 메모리는 4 * 7B = 28GB Optimzer(AdamW) 4 * 4* 7B = 112GB Gradient 4 * 7B = 28GB 총 메모리 사용량 = 28 + 112 + 28 = 168GB LLaMA-7B 모델 훈련을 위해서는 168GB 이상의 vRAM이 소요 한정된 자원에서 모델을 훈련시키는데에 메모리가 너무.. 2024. 1. 13. 이전 1 다음 728x90 LIST
