728x90 SMALL 전체 글114 Ray를 활용한 Python 병렬 처리 하기 (feat. gpt api) 1. 글을 작성하게 된 계기 - GPT API를 호출하는 경우가 많다. - GPT API를 호출할 때 순차적으로 하면 너무 오래 걸린다. - API 호출을 병렬로 처리해서 처리해 보자. 2. Ray 이해하기 2-1. Ray 구성 이해하기 1. Task - 호출하는 곳과 다른 프로레스에서 실행되는 함수 또는 클래스 - @ray.remote 라는 데코레이터로 감싸면 그 함수는 task가 된다. - Remote Function이라 부르며, 호출자와는 비동기적으로 실행 - remote()를 사용해서 호출 가능, ObjectRef 라는 값을 반환한다. 이때, ray.get(ObjectRef)를 하면 Task를 실행하고 값을 반환받을 수 있음. 2. Object - Task를 통해 반환되거나 ray.put()을 통.. 2023. 8. 22. 23년도 전반기 회고록('23.5.31) 1. 글을 쓰게 된 계기 이제 전역이 정말 한 달 앞으로 돌아왔다. 앞으로는 회고록을 써서 나를 돌아보는 시간을 가져보려고 한다. 23년 전반기에 진행했던 큰 주제들은 다음과 같다. - (부경)대학원 진로 결정 - Reboott 사업 JOIN - 나도손님 프로젝트 잠정 종료 - 지게차 자격증 시험 - 헬스, 태닝, 미국여행(7/4~8/2) 계획 등 2. 회고록 - (부경)대학원 진로 결정 취업을 할까? 공부를 할까?라는 고민은 대학교 졸업과 동시에 계속했던 고민이었다. ROTC로 군대에 온 뒤 벌써 2년3개월 이란 시간이 흘렀다. 꾸준히 하던 고민에 대한 결정을 해야하는 때가 벌써 온 것이다. 진로 결정에 앞서 나는 무엇이 되고 싶은가? 생각을 먼저 해보았다. 나는 행복한 가정을 꾸리고 싶음과 동시에 한.. 2023. 5. 31. (Mac) port 확인 방법 및 5000 port 삭제 방법 1. 글을 작성하게 된 계기 docker-compose를 사용하는 도중 5000 port가 이미 사용 중이라는 아래 사진과 같은 오류를 보내고 있다. 5000 port에서 어떤게 돌아가고 있고 삭제하는 방법에 대해서 작성하려고 한다. 2. 해결방법 - 현재 열려있는 포트 확인 및 닫기 1. 현재 열린 포트 확인 sudo lsof -PiTCP -sTCP:LISTEN 2. 특정 포트를 찾는다. (5000 포트 확인) sudo lsof -i :5000 3. 위에서 나온 PID를 아래와 같이 넣으면 포트가 닫힌다. sudo kill -9 PID - Mac에서 5000 port 사용 방법 1. 아래와 같이 5000 port를 확인하고 kill해도 계속 살아나는 것을 볼 수 있다. 2. commplex-main은 .. 2023. 5. 16. Unable to lock directory /var/lib/apt/lists/ 오류 해결 방법 1. 글을 쓰게 된 계기 Unable to lock directory /var/lib/apt/lists/ 다음과 같은 오류를 다시 발견했을 때 해결하기 위해서이다. 2. 해결 방법 이 오류는 lock 파일을 삭제하는 방법으로 해결 가능하다. 삭제한 뒤 다시 sudo apt-get update를 진행하면 된다. sudo rm /var/lib/apt/lists/lock sudo rm /var/cache/apt/archives/lock sudo rm /var/lib/dpkg/lock 2023. 5. 7. AI 관련 용어 정리 ('23.05.05 update) 1. 글을 쓰게 된 계기 AI에 대해서 본격적으로 공부를 시작하려고 한다. 그러나 아직 모르는 용어도 많고 공부해야 할 내용도 방대하다는 것을 느끼고 있다. 그래서 나만의 AI 관련 용어 정리집을 만드려고 한다. 해당 게시글은 그때그때 업데이트가 진행될 예정이며, 내가 나중에 헷갈리는 용어가 나왔을 때 다시 찾기 위해서 작성하게 되었다. 2. 용어 정리 - MMLU : Massive Multitask Language Understanding(대규모 다중 작업 언어 이해) 제로샷 및 퓨샷 설정에서만 모델을 평가하여 사전 교육 중에 습득한 지식을 측정하기 위해 설계된 새로운 벤치마크 (벤치마크에는 인류학, 사회과학, 의학, 일반상식 등 57개 과목을 포괄한다.) - Zero-shot learning : 훈련.. 2023. 5. 5. Mac 업그레이드 이후 xcrun: error: invalid active developer path 에러 해결하기 1. 글을 쓰게 된 계기 맥북을 업그레이드 한 이후로 평소처럼 git을 불렀지만 사진과 같은 에러를 뿜어내서 해결방법을 정리하고자 한다. 에러 내용 : xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun 2. 해결 방법 CommandLineTools를 식별하지 못해 생기는 문제로 아래 코드와 같이 xcode-select 명령으로 CommandLineTools(command line developer tools)를 설치하여 해결 가능합니다. xcode-select --install 이렇게 소.. 2023. 2. 19. 이전 1 ··· 10 11 12 13 14 15 16 ··· 19 다음 728x90 LIST
