본문 바로가기
반응형

전체 글258

LLama.cpp 설치하고 실행해보기 LLama.cpp 설치하고 실행해보기 Huggingface 최신 모델인 Upstage의 SOLAR를 llama.cpp를 사용하여 실행하는 방법에 대해 알아보겠습니다. 이 예제에서 사용된 SOLAR-10.7B 모델은 107억 개의 매개변수를 가진 강력한 언어 모델로, 자연어 처리(NLP)에서 탁월한 성능을 자랑합니다. 기존의 대형 모델들과 비교하여도 뛰어난 성능을 보이며, 간단한 미세 조정을 통해 이를 더욱 향상시킬 수 있습니다. 이 튜토리얼은 WSL2에서 Ubuntu 22.04와 Python 3.10.12 환경에서 테스트되었습니다. 사전에 transformer 와 huggingface-cli 가 설치되어있음을 가정합니다. llama.cpp 설치하기 llama.cpp 소스 코드 다운로드 및 빌드 먼저, l.. 2024. 1. 14.
Docker에서 Transformers를 이용하여 Phi-2 모델 실행해보기 Transformers를 이용하여 로컬에서 Phi-2 모델 실행해보기 마이크로소프트 리서치 팀의 최신 언어 모델인 'Phi-2'가 지난달 'Microsoft Ignite 2023' 행사에서 발표되었습니다. Phi-2 모델은 27억 개의 파라미터를 갖추고 있으며, 이는 상대적으로 작은 모델에 속함에도 불구하고 최대 25배 크기의 대형 모델과 동등한 성능을 발휘한다고 알려졌습니다. 'Phi' 시리즈는 트랜스포머(Transformer) 기반의 언어 모델로, 첫 번째 버전인 'Phi-1'은 파이썬 코딩에서 뛰어난 성능을 보여준 13억 개의 파라미터 모델입니다. 그 후속작인 'Phi-1.5'는 일반 추론과 언어 이해 능력을 향상시켜, 작은 크기에도 불구하고 5배 큰 모델과 비슷한 성능을 제공했습니다. Phi-2는.. 2024. 1. 1.
작지만 강력한 Phi 모델 혁명 소형 언어 모델 혁신: Phi 1과 Phi 1.5의 탄생 Microsoft Research Redmond 연구팀이 개발한 혁신적인 언어 모델, Phi 1과 Phi 1.5에 대해 정리하였습니다. 이 모델들은 기존 대형 언어 모델의 경계를 넘어, 작지만 강력한 새로운 방향을 제시합니다. 2023 년 11 월 일본에서 열린 AI forum 에서 Sebastien 이 발표한 내용을 참고 하였습니다. https://www.microsoft.com/en-us/research/event/ai-forum-2023/agenda/ AI Forum 2023 - Microsoft Research We are living in an exhilarating era where Artificial Intelligence (AI) i.. 2024. 1. 1.
Jekyll에서 Just the Docs 테마 적용하기 Jekyll에서 Just the Docs 테마 적용하기 이 포스팅은 Jekyll 사이트에 Just the Docs 테마를 적용하는 방법을 단계별로 정리합니다. 이 작업은 GitHub 계정이 필요하며, Docker와 Docker-compose가 설치된 WSL2(Ubuntu 22.04) 환경에서 테스트 하였습니다. Just the Docs 테마 fork 하기 1. 테마 fork 먼저, Just the Docs의 GitHub 페이지로 이동하여 'Fork' 버튼을 클릭해 자신의 GitHub 계정으로 테마를 복제합니다. 2. 테마 동작 확인 위와 같이 GitHub에서 fork한 후, Setting > General 에서 Repository name 을 아래와 같은 형식으로 변경합니다. 그리고, 브라우저를 사용해서.. 2023. 12. 30.
우분투 22.04에서 Jekyll 설치하기 우분투 22.04에서 Jekyll 설치하기 Jekyll은 간단하고, 블로그 지향적인 정적 사이트 생성기입니다. Ruby로 작성되었으며, 마크다운이나 텍스트 파일을 사용하여 정적 HTML 웹사이트를 생성합니다. 이 글에서는 우분투 22.04에서 Jekyll을 설치하는 방법을 단계별로 정리합니다. 2023년 12월 기준으로 최신 우분투 22.04 LTS 버전(Jammy Jellyfish)을 사용하였습니다. $ cat /etc/issue Ubuntu 22.04.3 LTS \n \l 1. 필요한 종속 모듈 설치 Jekyll을 설치하기 전에 필요한 종속 모듈을 설치합니다. $ sudo apt install make build-essential curl git tree -y $ sudo apt install rub.. 2023. 12. 29.
WSL에서 NVIDIA GPU 드라이버 설치하기 WSL에서 NVIDIA GPU 드라이버 설치하기 Windows Subsystem for Linux (WSL)에서 NVIDIA GPU를 사용하는 방법에 대해 알아보겠습니다. 특히 Windows 를 사용하는 소프트웨어 개발자와 데이터 엔지니어들에게 유용할 것입니다. WSL을 통해 Linux 환경에서 소프트웨어를 개발하는 동안 NVIDIA GPU의 강력한 성능을 활용할 수 있습니다. 1. CUDA Keyring 설치하기 먼저, NVIDIA CUDA 저장소의 GPG 키를 추가해야 합니다. 이는 저장소가 안전하고 신뢰할 수 있음을 보장합니다. $ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.. 2023. 12. 27.
반응형

티스토리툴바