728x90 SMALL 전체 글114 현재 열려있는 포트확인 및 제거(닫기) feat. mac 1. 특정 포트를 찾아 포트를 닫고 싶으면 다음과 같이 쳐서 PID를 알아낸다. sudo lsof -i :port sudo lsof -i :8888 여기서 8888이 포트번호이다. 2. 위에서 나온 PID를 다음 명령어에 넣으면 포트가 닫힌다. sudo kill -9 PID sudo kill -9 95636 2024. 1. 14. LLM 학습 시 메모리 고려(feat. LLaMA-7B) 1. 메모리 사용량 계산 (모델의 파라미터가 fp32일 때) 파라미터 당 bytes : 32 bits / 8 bits = 4 bytes 2. 모델 학습 시 메모리 사용량 고려 Forwarding을 위해 필요한 모델 파라미터를 N이라고 가정했을 때, 모델 메모리는 4 * N Optimizer 메모리 - 4 * 4 * N Gradient 메모리 - 4 * N 예시 모델 : LLaMA-7B 모델 메모리는 4 * 7B = 28GB Optimzer(AdamW) 4 * 4* 7B = 112GB Gradient 4 * 7B = 28GB 총 메모리 사용량 = 28 + 112 + 28 = 168GB LLaMA-7B 모델 훈련을 위해서는 168GB 이상의 vRAM이 소요 한정된 자원에서 모델을 훈련시키는데에 메모리가 너무.. 2024. 1. 13. Docker-compose로 django 세팅하기 1. 글을 작성하게 된 계기 오랜만에 회사일로 django를 구축해야하는 일이 생겨 나중에 기억하고자 문서를 작성한다. 2. docker-compose 세팅 방법 - 만들고 싶은 디렉토리에 Dockerfile 파일 생성 # syntax=docker/dockerfile:1 FROM python:3 ENV PYTHONDONTWRITEBYTECODE=1 ENV PYTHONUNBUFFERED=1 WORKDIR /code COPY requirements.txt /code/ RUN pip install -r requirements.txt COPY . /code/ - requirements.txt 파일 생성 Django>=3.0,=2.8 - docker-compose.yml 파일 생성 version: "3.9" se.. 2024. 1. 3. Docker 설치 in Ubuntu Docker는 Containerization - 컨테이너화 하는 기술이다. Build Once, Run Anywhere 이라고 할 수 있다. Docker를 이용한다면 개발을 Mac OS, Window, Ubuntu 등 어디서 개발했는지까지 고려하지 않아도 괜찮다. 1. 설치방법 공식문서 - https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu Jumpstart your client-side server applications with Docker Engine on Ubuntu. This guide details prerequisites and multiple methods to install Docker Engine .. 2023. 12. 31. MLOps 기술들 설명 (데이터, 모델, 서빙 등) 1. 데이터 - 데이터 수집 파이프라인 (Data Ingestion Pipeline): Sqoop: Apache Hadoop과 관계형 데이터베이스 사이에서 대량의 데이터를 효율적으로 전송하는 도구. Flume: 대량의 로그 데이터를 효율적으로 수집, 집계 및 이동하는 분산형, 안정적이고 사용 가능한 서비스. Kafka: 이벤트 스트리밍을 위한 분산 플랫폼으로, 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용됨. Flink: 대용량 데이터 처리 및 분석을 위한 오픈 소스 스트림 처리 프레임워크. Spark Streaming: 배치 처리 엔진인 Spark의 확장으로, 스트림 처리를 지원함. Airflow: 워크플로우를 프로그래밍 방식으로 작성, 예약 및 모니터링하는 플랫폼. - 데이터 .. 2023. 12. 29. 23년도 후반기 회고록('23.12.26) 1. 글을 쓰게 된 계기 미친듯이 빠르게 반년이 지나갔다. 앞으로는 연마다 회고록에는 KPT도 같이 쓰려고 한다. 연구실에서 처음으로 작성했는데 회고록에 작성하면 내년에 한 해를 돌아보는데 좋을 것 같다고 생각이 들었다. 23년도 후반기에 진행한 큰 주제들은 아래와 같다. - 미국여행 (7/4~8/2) - 스타트업 합류 (초기멤버 + 이사) - 2023 나의 KPT 2. 회고록 - 미국여행 (7/4~8/2) 한 달동안 미국 서부쪽을 여행했다. 전역하고 가벼운 마음으로 샌디에고에 사는 친구를 만나러 가고 싶어서 계획을 했고, 미국에 가서 크게 뭘 하고 싶다는 것은 없었다. (그저 실리콘밸리가 궁금하다 정도) But there were so many things I felt in America. LA, Sa.. 2023. 12. 26. 이전 1 ··· 6 7 8 9 10 11 12 ··· 19 다음 728x90 LIST
