본문 바로가기
728x90
SMALL

전체 글115

Mac 업그레이드 이후 xcrun: error: invalid active developer path 에러 해결하기 1. 글을 쓰게 된 계기 맥북을 업그레이드 한 이후로 평소처럼 git을 불렀지만 사진과 같은 에러를 뿜어내서 해결방법을 정리하고자 한다. 에러 내용 : xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun 2. 해결 방법 CommandLineTools를 식별하지 못해 생기는 문제로 아래 코드와 같이 xcode-select 명령으로 CommandLineTools(command line developer tools)를 설치하여 해결 가능합니다. xcode-select --install 이렇게 소.. 2023. 2. 19.
DataFrame에서 줄 바꿈, 띄어쓰기 중복 제거 1. 글을 쓰게 된 계기 python DataFrame에서 실제 데이터셋을 수집하다 보면 띄어쓰기 또는 줄 바꿈이 여러 번 반복되는 경우를 쉽게 찾아볼 수 있다. 그럴 때 DataFrame에서 replace를 이용해서 쉽게 한 줄로 띄어쓰기 한 번으로 변환하는 코드를 설명하고자 한다. 2. 사용 방법 df['컬럼이름'].str.replace('\s+', ' ') 다음과 같이 사용하면 해당 컬럼이름에 해당하는 값들을 string 값으로 변경하고 줄 바꿈, 띄어쓰기를 띄어쓰기 1번으로 모두 줄일 수 있다. 예시코드는 다음과 같다. test_data = ['test\n\n\n\ntest111', '22test\n\n\n test'] for i in test_data: print(i) df = pd.DataFr.. 2023. 2. 10.
한국어 문장 분리기 (kss - korean sentence splitter) 사용방법 1. 글을 쓰게 된 계기 한국어 데이터 전처리를 진행하게 되면 자주 한국어 문장 분리기를 사용하곤 해서 사용 방법을 정리했습니다. 2. 한국어 문장 분리기 (kss) 사용방법 - KSS(Korean Sentence Splitter) : 한국어 문장을 분리할 수 있는 모듈 (github repo) from kss import split_sentences test_txt = "카페를 왔는데 원두 종류도 여러가지로 너무 맛있었다. 8시가 되면 불이 꺼지는데 은은하게 분위기도 있다. 다음에 또 와봐야지 ㅋㅋ" print(split_sentences(test_txt)) # 출력값 : ['카페를 왔는데 원두 종류도 여러가지로 너무 맛있었다.', '8시가 되면 불이 꺼지는데 은은하게 분위기도 있다.', '다음에 또 .. 2023. 2. 10.
jupyter notebook(jupyter lab) 가상환경 연결하기 1. 글을 쓰게 된 계기 새로운 프로젝트를 시작할 때는 항상 새로운 가상환경을 만들어서 시작하곤 합니다. 그럴 때마다 jupyter notebook과 새로운 가상환경 커널을 연결해주어야 합니다. 그래서 이번 글에서는 jupyter notebook(jupyter lab)과 가상환경을 연결하는 법에 대해서 알아보려고 합니다. 2. jupyter notebook(jupyter lab)과 가상환경 연결하기 - 가상환경 만들기 conda create -n 가상환경 이름 python=파이썬 버전 # 예시) conda create -n python_39 python=3.9.15 - 가상환경 활성화(접속)하기 conda activate 가상환경 이름 # 예시) conda activate python_39 - jupyt.. 2023. 1. 30.
M1 Mac에서 tensorflow, keras 설치하기 1. 글을 쓰게 된 계기 프로젝트에서 데이터 전처리를 하며 자연어처리를 하는 과정 중 m1 anaconda 환경에서는 tensorflow와 keras를 지원하지 않는 것을 확인했다.... (얼른 anaconda 환경에서도 tensorflow와 keras를 지원해 주었으면 좋겠다 ㅠㅠ) 그래서 어떻게하면 m1에서 사용할 수 있는지 정리하게 되었다. 2. Miniforge를 이용해 tensorflow, keras 설치하기 - Miniforge란 쉽게 말해서는 anaconda 축소 버전이라고 볼 수 있으며 다양한 CPU 아키텍처(apple m1을 포함한) 지원에 중점을 두고 있다고 말합니다. GitHub - conda-forge/miniforge: A conda-forge distribution. A cond.. 2023. 1. 29.
문자열 중간 다중 공백 제거하는 방법 1. 글을 작성하게 된 계기 데이터 전처리를 하다 보면 데이터에 문자열 중간중간에 다중 공백이 있는 경우들이 많다. 그래서 해당 공백들을 제거하는 여러 방법과 속도 측면에서 어떤 것이 좋을지에 대해서 정리하고자 한다. 2. 다중 공백 제거하는 방법 방법 1) 문자열을 리스트로 나누고 다시 문자열로 합치기 (split → join) contents = 'This cafe is a good restaurant.' text = ' '.join(contents.split()) print(text) # This cafe is a good restaurant. 방법 2) 정규표현식(re) 이용하기 import re contents = 'This cafe is a good restaurant.' text = re.s.. 2023. 1. 28.
728x90
LIST