728x90 SMALL 분류 전체보기111 Orca: Progressive Learning from ComplexExplanation Traces of GPT-4 (정리중) - 제목 : Orca: Progressive Learning from Complex Explanation Traces of GPT-4 - Abstract 최근 연구들은 대규모 생성 모델(LFM)을 바탕으로 모방 학습을 통해 더 작은 모델의 기능을 향상시키는데 초점을 맞추고 있다. shallow LFM 결과물로 제한된 학습으로 만들어지고, 소규모의 균질한(동일한) 훈련 데이터 그리고 가장 주목할 것은 엄격한 평가의 부족으로 인해 작은 모델의 기능을 과대 평가하는 스타일은 모방하는 법은 배우지만, LFM의 추론과정을 배우지는 않고, 이러한 모델의 품질에는 여러가지 이슈들이 영향을 미칩니다. 출처 Orca: Progressive Learning from Complex Explanation Traces of G.. 2023. 9. 19. 좋은 논문, 좋은 Journal 검색 방법(feat. 과학기술 자료) 1. 과학기술 자료의 종류 과학기술자료 : Science & Technology Reference 1. Text Book : 기본자료 - 과학기술 자료로서 사용가능하지만, 논문에 쓰거나 할 때 참고서적으로 사용하기는 어렵다. - 그 이유는 text book에 나와있는 내용은 해당 분야에서는 당연하게 사용되고 있는 것이기 때문에 reference로 사용하진 않는다. - 공부하는 용도로 보통 사용하는 것이 가장 적합한 기술자료라고 할 수 있음. -> 과학기술자료로 사용할 수 없음. 2. Web Searching : 전문성과 신뢰성의 문제가 있음. ex) 뉴스, 위키피디아, 나무위키 등 - 과학기술 자료라고 할 수 없다. 전문가가 작성해서 전문적일 수도 있지만, 전문성과 신뢰성이 있기는 어렵다. - 웹서핑으로.. 2023. 9. 16. AWS를 이용한 EC2 무중단 서비스 만들어보기(feat. ALB) 1. 글을 쓰게 된 계기 처음 로드밸런싱 alb를 이용하면서 무중단 서비스를 배포하는 경험을 하게되어 정리하고자 한다. 2. 무중단 서비스가 뭐야? 무중단서비스는 한개의 서버가 종료되거나 문제가 생겼을 때 다른 서버가 이를 대신 처리하여 중단되지 않는 서비스를 의미한다. 3. 어떻게 만들어? 1. 2개의 무중단 서비스에 필요한 EC2를 생성한다. 2. 로드 밸런싱 - 로드밸런서에 들어가서 로드 밸런서를 생성한다. 3. 대상그룹에서 대상등록을 통해 EC2를 연결해준다. 로드밸런서를 이용해서 대상 그룹으로 여러개의 서버를 연결해주는 방법이 있다. 4. 로드 밸런싱을 사용하는 이유가 뭐야? 로드밸런싱을 이용하게 되면 여러가지 장점이 있겠지만 첫번째로는 ip가 변경되어도 해당 alb로 접속하여 연결할 수 있도록.. 2023. 9. 5. AWS docker기반 FastAPI 404 Error 해결(feat.로드밸런싱) 1. 글을 쓰게 된 계기 docker 기반의 FastAPI를 AWS에 ec2로 업로드 하고 로드밸런서로 연결했다. 그랬더니 docker의 로그를 확인해보니 계속해서 404 Not Found 에러가 발생하고 있었다. 이를 해결하기 위한 방법이다. 2. 에러가 나는 이유 - 해결에 앞서 이렇게 에러가 나는 이유가 뭘까? 그 이유는 로드밸런싱의 상태 검사를 생각해보면 좋다. 상태 검사는 30초 간격으로 해당 ec2를 호출해서 정상적인 상태인지 확인하게 되는데 이때 요청한 결과가 정상적이지 않아 나타나게 되는 오류이다. 3. 해결방법 1. 아래 코드를 추가해준다. @app.get("/") async def read_root(): return {"message": "Hello, World"} 추가 해주는 이유는 .. 2023. 9. 5. 동일 API 호출에 대한 처리 방법(feat. asyncio) 1. 글을 쓰게 된 계기 동일 API를 호출하는 경우들이 굉장히 많다. 현재 상황은 다음과 같다. API요청이 들어왔을 때 해당 API에서 동작되는 함수들이 실행되고 최종적으로는 해당 결과가 db에 저장되도록 되어있다. 여기서 불필요한 API호출를 방지하기 위해 1. db에 있는 경우 함수가 작동되지 않도록 했다. 2. 함수가 작동되고 있는 경우 (기존과 동일한 요청에서 대해서) 함수가 작동되지 않도록 했다. 내가 글을 작성하는 내용은 2번의 상황을 해결하는 것이다. 2. 해결 방법 간단하게 asyncio.Lock()을 사용하면 해결할 수 있다. emailUid_locks = {} # emailUid = "test1234" if emailUid in emailUid_locks: logging.info(f.. 2023. 9. 5. Load Key "~~.pem": bad permissions 해결방법 1. 글을 작성하게 된 계기 ssh를 자주 이용하다 보면 보안 이슈로 비밀번호만 설정하는 것이 아니라 pem 파일을 통해서 서버에 접속하는 경우들이 많다. 이때 pem 파일을 잘못 복사하게 되면 permission error로 권한 문제가 생기게 된다. 이에 대한 해결방법이다. 2. 해결 방법 . pem 파일 이름은 : test.pem 파일이라고 가정한다. 터미널에서 ls -al 을 치면. pem 파일에 대해서 아래 사진과 같은 형태로 나오게 된다. ls -al - 아래와 같이 명령어를 입력하면 아래와 같이 권한이 변경된 것을 확인할 수 있다. chmod 600 test.pem 이제 그럼 해당 파일을 통해서 아래 명령어로 서버에 접속할 수 있다. ssh -i test.pem username@host 2023. 8. 27. 이전 1 ··· 8 9 10 11 12 13 14 ··· 19 다음 728x90 LIST
