도찐개찐

VSCode vs Jetbrains – Revisited (Updated 2024) | Shade It’s been about a year and a half since I’ve switched from the VSCode ecosystem. A lot of the stuff that is written below was indeed from the last year or so, so there have been some improvements. www.shade.inc 전체 면책조항: 저는 JetBrains나 VSCode의 후원을 받지 않습니다. 이는 저의 솔직한 의견이며, 저희 팀의 정서를 바탕으로 한 것입니다. 필요하다면 나를 미쳤다고 불러주세요. 하나의 IDE에서 5년 동안 코딩을 하고 나면 VS..

Issue Docker container 만들고 처음엔 학습이 됐는데 갑자기 No CUDA GPUs are available nvidia-smi 찍어보면 Failed to initialize NVML: Unknown Error in Docker after Few hours 호스트가 데몬 다시 로드(또는 유사한 활동)를 수행합니다. 컨테이너가 systemd를 사용하여 cgroup을 관리하는 경우 daemon-reload는 "NVIDIA GPU에 대한 참조가 있는 모든 유닛 파일을 다시 로드하도록 트리거합니다." 그러면 컨테이너가 다시 로드된 GPU 참조에 액세스할 수 없게 됩니다. 문제로 인해 문제가 발생했는지 확인하는 방법 : 컨테이너에 여전히 GPU 액세스 권한이 있는 경우 " host " 터미널을 열..

0. 정리 - pipeline은 간단한 사용법을 제시한 것으로 기본 모델 말고 모델을 지정할 때에는 모델마다 작동 여부가 다름 - max_length, return_sequences 등의 파라미터도 모델에 따라서 적용 여부가 다름 - NLP를 단순하게 소개 하거나, 기초자를 대상으로 할 때 흥미를 가지는 용도로 사용 1. pipeline 이란? - transformers 라이브러리의 가장 기본 객체 - 전처리 + 후처리 과정을 모델과 연결하여 쉽게 NLP 모델을 사용할 수 있게 함. - 사용전에 transformers 라이브러리 설치 !pip install transformers 2. pipeline 활용 가. pipline을 사용할 때 모델을 지정하지 않으면 기본 모델이 들어가고, 특정 모델을 지정하고..

맥북에서 tar 로 압축한 파일을 리눅스에서 압축을 해제할 때 이런 오류가 발생하는 경우가 있습니다. 이 오류는 gnu-tar 와 bsd-tar 을 차이에서 발생하는 오류입니다. tar --version 을 입력하면 현재 tar 파일의 버전을 알수 있고 이를 통해 맥북은 bsd 버전의 tar 인 것을 알 수 있습니다. 이때는 맥북에 gnu tar 을 설치하고, gtar 명령을 이용해서 gnu tar 를 사용할 수 있습니다. # 맥북 bsdtar ➜ ~ tar --version bsdtar 3.5.3 - libarchive 3.5.3 zlib/1.2.11 liblzma/5.0.5 bz2lib/1.0.8 # ubuntu GNU tar $ tar --version tar (GNU tar) 1.29 Copyri..

현재 버전의 protobuf 업그레이드: 최신 버전의 protobuf를 설치합니다. 이 과정에서 builder.py 파일이 포함된 최신 버전의 protobuf가 설치됩니다. pip install --upgrade protobuf builder.py 파일 복사: 최신 버전의 protobuf에서 builder.py 파일을 찾아서 복사해둡니다. 이 파일은 site-packages/google/protobuf/internal 디렉토리에 위치해 있을 것입니다. pip show protobuf 명령을 사용하면 protobuf가 설치된 경로를 알 수 있습니다.이 명령의 출력에서 'Location' 항목을 찾아 해당 경로로 이동하면 google/protobuf/internal 폴더를 찾을 수 있고, 여기서 builde..

jupyter 를 사용하다보면 쉘을 통해 가상환경 및 커널에 pip intsall 과 같은 명령어로 python 패키지를 설치해야 하는 경우가 있습니다. 이를 해결하기 위해서는 jupyter이 떠있는 서버 접속 후 아래 명령어를 실행하면 됩니다. 가상 환경의 커널 추가 또는 업데이트 Jupyter Notebook에 ml_jupyter 가상 환경을 커널로 추가하거나 업데이트합니다. 다음 명령어를 사용합니다 $ python -m ipykernel install --user --name {가상환경이름} --display-name "~~~" $ python -m ipykernel install --user --name ml_jupyter --display-name "Python (ml_jupyter)"

CPU는 빠르고 순차적인 방식으로 많은 일반 작업을 처리할 수 있는 반면, GPU는 병렬 컴퓨팅을 사용하여 엄청나게 복잡한 문제를 여러 개의 작은 동시 계산으로 분해합니다. 따라서 기계 학습에 필요한 대규모 분산 계산 프로세스를 처리하는 데 이상적입니다. 이 기사에서는 CPU와 GPU의 차이점과 기계 학습, 신경망 및 딥 러닝을 사용한 각각의 애플리케이션을 비교해 보겠습니다 . CPU란 무엇입니까? 중앙 처리 장치 또는 CPU는 산술, 논리 기능, I/O 작업과 같은 컴퓨터의 기본 명령을 처리하는 프로세서입니다. 일반적으로 컴퓨터 마더보드에 통합된 작지만 강력한 칩입니다. CPU는 대부분의 컴퓨터 하드웨어 및 소프트웨어 명령을 해석하고 실행하기 때문에 컴퓨터의 두뇌로 간주됩니다. CPU의 표준 구성 요소..

1. NVIDIA Container Toolkit 설치 NVIDIA Docker는 이제 NVIDIA Container Toolkit으로 대체되었습니다. 이를 설치하려면, 먼저 NVIDIA의 GPG 키와 저장소를 추가해야 합니다. 다음 명령어를 실행합니다 $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) $ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - $ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/..