DataScience17 파이썬 패키지 오프라인 환경에 설치하기 폐쇄망을 사용하면 패키지나 라이브러리 설치하고 호환성을 맞추는게 여간 번거러운게 아니다.특히나 서버는 Linux인데 로컬PC가 Window라면 ㅠㅠ 1. 로컬 pc에 wsl로 ubuntu를 설치해준다. 서버의 버전과 동일하게 세팅하는게 좋다. 2. 인터넷이 되는 환경에서, 설치할 패키지를 "다운로드" 받는다.설치가 아니라 다운로드이고, 이때 의존성 패키지까지 한꺼번에 설치해야 한다.pip download 패키지 -d ./directory 3. 다운로드한 파일을 오프라인 환경으로 옮긴다. 4. 오프라인 환경에서 다운받은 패키지를 설치해준다.pip install 패키지.whl -f ./ --no-index ps. 파이썬 버전이나 다른 패키지와의 호환성 등 꽤나 번거롭지만 어쨋든 해야되니깐 !!이것도 안되면?.. 2025. 3. 1. 기본 SQL 1. DB에 접속 mysql -u db_name -p 2. DBs 확인 SHOW DATABASES; 3. 특정 DB 선택 USE board; > "Database changed"가 나오면 잘 선택된거다 4. DB가 없을때 생성 CREATE DATABASE board; 5. 테이블 구조 확인 SHOW TABLES; 6. 테이블 데이터 검토 SELECT * FROM table_name LIMIT 10; 2024. 4. 16. M1 칩 Mac에서 tensorflow 사용하기 나는 pytorch만 쓰는데 주변에서 mac에서 tensorflow가 안된다고 해서 세팅해줬다. 1. Anaconda 환경 설정 conda create --name tf_env python=3.9 conda activate tf_env 먼저 conda 가상환경을 세팅하자 2. Tensorflow 및 패키치 설치 conda install -c apple tensorflow-deps pip install tensorflow-macos tensorflow-metal tensorflow-metal은 apple의 metal API를 통해 GPU 가속을 가능하게 해주는 플러그인이다. 3. Jupyter lab에서 환경 설정 (optional) conda install -c conda-forge jupyterlab .. 2024. 4. 4. Huggingface SSL error 방화벽 때문에 huggingface에서 pre-trained model 불러오는게 안 됐다. pip install requests==2.27.1 requests 버전이 문제가 될 줄 이야,,,, import os os.environ['CURL_CA_BUNDLE'] = '' 다음 코드로 환경 변수를 사용해서 SSL 검증을 비활성화 시킨다. 그리고 pre-trained model을 불러오면 로드가 가능하다. 2024. 4. 4. pip package install SSL 인증서 Error 해결 (error: [SSL: CERTIFICATE_VERIFY_FAILED]) pip를 이용해서 원하는 패키지를 설치하려고 할때 pip package install SSL 인증서 Error 해결 (error: [SSL: CERTIFICATE_VERIFY_FAILED]) 에러가 발생했다. 네트워크 환경이 바뀌면서 그런거 같다 $ pip install --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org 설치할패키지이름 로 설치하면 된다 2023. 5. 1. warning ignore vscode로 개발하다가 라인 단위로 확인할게 많아서 다시 jupyter로 넘어와서 개발중인데 warning이 넘 시끄럽네 import warningswarnings.filterwarnings('ignore') 2023. 2. 13. 비모수 검정 1. 비모수 통계학 모수 통계학은 모집단이 정규분포라는 가정이 필요하지만, 비모수 통계학은 분포에 대한 가정없이 가설검정을 할 수 있다. 모수 데이터 : 알려진 확률분포를 지닌 모집단에서 나온 데이터 비모수 데이터 : 확인되지 않은 확률분호를 지닌 모집단에서 나온 데이터 모수 통계학에서는 평균이 중요하고, 비모수 통계학에서는 median이 중요하다. 검정하는 내용도 둘 이상의 데이터셋이 같은 평균을 가지는지 확인하는 모수 통계학과는 달리, 비모수 통계학에서는 둘 이상의 데이터셋의 중심 위치가 같은지를 검정한다. 데이터가 먼저 정규분포를 따르는지 확인하고 따르지 않으면 비모수 통계학의 방법을 사용하면 된다. 2. 정규성 확인 먼저 데이터가 정규분포를 따르는지 확인해야 한다. 확인하는 방법에는 여러가지가 있.. 2022. 5. 23. Effect size 1. Introduction 두 집단의 평균 차이 검증에 T-test가 일반적으로 많이 사용된다. 두 표본의 평균 차이가 모집단 차원에서도 있는 것인지 아니면 표본에서만 우연히 차이가 있는지 검증하는 방법이다. 이 검증 방법은 포본이 충분히 크면 대부분 통계적으로 유의하다고 나온다. 그래서 통계적 유의성 뿐만 아니라 효과 크기(effect size)값도 함께 제시하는 것이 좋다. 2. 효과 크기 (effect size) 효과 크기 값은 cohen's D라고 부르며 공식은 다음과 같다. 효과크기 d = 두 표본 집단의 평균 차이 / 추정된 표준편차 3. 효과 크기의 의미 빨간색 화살표는 표준편차의 크기이다. 따라서 효과크기(d)의 값이 크면, 두 집단이 겹치는 부분이 작아 두 집단은 많이 다른 것이고 효과.. 2022. 5. 23. confusion matrix 식 2022. 5. 17. [pandas] pd.merge() pd.merge는 데이터프레임을 합쳐준다. SQL에서 join과 같은 역활 - left : 왼쪽 데이터프레임 - right : 오른쪽 데이터프레임 - on : (두 데이터프레임의 기준열 이름이 같을 때) 기준열 - how : 조인 방식 {'left', 'right', 'inner', 'outer'} default = 'inner' 1. how = JOIN Left join : 왼쪽 데이터프레임을 기준으로 조인한다. 오른쪽 데이터프레임에 없는 값은 NaN으로 리턴한다. Right join : 오른쪽 데이터프레임을 기준으로 조인한다. 왼쪽 데이터프레임에 없는 값을 NaN으로 리턴한다. Inner join : 교집합을 의미한다. 양쪽에 공통으로 있는 값을 리턴한다. Outer join : 모든 값이 나타나도록.. 2022. 2. 21. 이전 1 2 다음
