본문 바로가기

전체 글116

M1 칩 Mac에서 tensorflow 사용하기 나는 pytorch만 쓰는데 주변에서 mac에서 tensorflow가 안된다고 해서 세팅해줬다. 1. Anaconda 환경 설정 conda create --name tf_env python=3.9 conda activate tf_env 먼저 conda 가상환경을 세팅하자 2. Tensorflow 및 패키치 설치 conda install -c apple tensorflow-deps pip install tensorflow-macos tensorflow-metal tensorflow-metal은 apple의 metal API를 통해 GPU 가속을 가능하게 해주는 플러그인이다. 3. Jupyter lab에서 환경 설정 (optional) conda install -c conda-forge jupyterlab .. 2024. 4. 4.
Huggingface SSL error 방화벽 때문에 huggingface에서 pre-trained model 불러오는게 안 됐다. pip install requests==2.27.1 requests 버전이 문제가 될 줄 이야,,,, import os os.environ['CURL_CA_BUNDLE'] = '' 다음 코드로 환경 변수를 사용해서 SSL 검증을 비활성화 시킨다. 그리고 pre-trained model을 불러오면 로드가 가능하다. 2024. 4. 4.
[vscode] Setting up SSH Host: Copying VS Code Server to host with scp vscode로 SSH 연결할때 특정 파일들을 다운로드해야 하는데 방화벽 이슈로 파일을 다운로드 받지 못할 때 다음과 같은 문장이 나오면 stuck된다. 이럴때는 직접 파일을 다운로드하고 세팅해줘야 해결할 수 있다.  1. On server, get the commit idls ~/.vscode-server/bin 옵션의 'Help' -> 'About'에서 확인할 수 있다.   2. Download tarball replacing $COMMIT_ID with the the commit number from the previous stepFor Stable Versionhttps://update.code.visualstudio.com/commit:$COMMIT_ID/server-linux-x64/stable.. 2024. 2. 19.
fatal: not a git repository (or any of the parent directories): .git git add . 를 했을때 fatal: not a git repository (or any of the parent directories): .git 이런 에러가 나와 git에 추가가 안된다 원인은 현재 폴더에 git에 대한 정보를 담은 파일이 없기 때문에 발생하는 에러이다. 해결방법 git init git remote add origin (github 아이디) 2024. 1. 4.
Container 생성시 gpu 할당 제한 모든 GPU 할당할때 docker run -it --gpus all 특정 GPU만 할당할때 docker run -it --gpus '"device=0,1,2"' 2023. 12. 27.
컨테이너 내부 통신 시 공유 메모리 부족 도커 컨테이너로 작업을 하다보면 [ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory] 이런 에러가 나올때가 있다. 이건 컨테이너 내부 통신 시 공유 메모리 부족할때 발생하는 에러이다. 따로 추가 설정을 하지 않을 시 기본 --shm-size = 4mb이다 도커 컨테이너 안에서 부족한 공유메모리를 재 설정 해줘야한다. 공유 메모리만 설정했을때 오류가 다시 발생해서 ipc 옵션도 추가했다. ipc 옵션을 host로 주면 특정한 세그먼트만 메모리에 연길되지 않아 메모리 크기에 따른 에러가 없어진다. docker run -it --name test --shm-size=8G --ip.. 2023. 10. 12.
[FastAPI] 서버 실행할때 FastAPI로 백엔드를 구성하고 서버를 실행시킬 때 다음 명령어로 실행시킨다. 파일명이 main.py일때 uvicorn main:app 2023. 10. 4.
vscode ssh 연결 무한로딩일때 서버에 ssh 접속을 하려고 하니까 "Setting up ssh host $ip: copying vs code server to host with scp" 단계에서 stuck된 상태가 되었다.별거 다 해봐도 ssl 문제도 아닌거 같았는데 127.0.0.1 서버에 이미 할당된게 있는거로 보였다 $ vim ~/.config/code-server/config.yaml을 입력하면cert: False로 되어있었다True로 바꿔주니까 ssh 연결이 잘 되었다 2023. 6. 19.
pip package install SSL 인증서 Error 해결 (error: [SSL: CERTIFICATE_VERIFY_FAILED]) pip를 이용해서 원하는 패키지를 설치하려고 할때 pip package install SSL 인증서 Error 해결 (error: [SSL: CERTIFICATE_VERIFY_FAILED]) 에러가 발생했다. 네트워크 환경이 바뀌면서 그런거 같다 $ pip install --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org 설치할패키지이름 로 설치하면 된다 2023. 5. 1.