본문 바로가기
반응형

분류 전체보기255

GoPro 타임랩스 이미지를 비디오로 변환 파이선을 이용해서 GoPro 타임랩스 이미지로 비디오 만들기 GoPro 카메라로 촬영한 타임랩스는 멋진 순간들을 연속적으로 담아내는 데 탁월합니다. GoPro 의 타입랩스 기능을 사용하면 정해진 간격으로 이미지를 생성합니다. 하지만, 이 많은 이미지들을 관리하고 비디오로 만드는 것은 쉬운 일이 아닙니다. 이 블로그에서는 Python 스크립트 두 개를 사용하여 GoPro 타임랩스 이미지들을 쉽게 정리하고, 이를 사용해 비디오를 만드는 과정을 안내합니다. GoPro 타임랩스 이미지 정리하기 GoPro 의 타입랩스 기능을 사용하면 정해진 간격으로 이미지를 생성합니다. 예를 들면 Gopro 의 이미지를 가져오면 다음과 같습니다. group_files.py 스크립트 group_files.py는 이미지 파일들을 수.. 2024. 1. 19.
LLM 학습과정에서 RLHF 란? RLHF(Reinforcement Learning from Human Feedback) 란 RLHF(Reinforcement Learning from Human Feedback)는 인간의 피드백을 통해 대규모 언어 모델(Large Language Models, LLMs)을 미세 조정하는 고급 기술입니다. 이 접근 방식은 모델의 성능을 인간의 평가를 기반으로 향상시키는 데 유용하게 사용될 수 있습니다. RLHF의 과정 모델 생성: 먼저, 사전 훈련된 모델을 기반으로 초기 어시스턴트 모델을 생성합니다. 이 모델은 일반적인 언어 이해 능력을 가지고 있습니다. 세밀한 조정 단계 2 (Fine-tuning Phase 2): 이 단계에서 모델은 특정 작업에 대한 이해를 심화시키기 위해 추가적인 훈련을 받습니다. 비.. 2024. 1. 18.
LLM 의 기본 구조와 모델 대규모 언어 모델(Large Language Model, LLM)의 구조와 작동 원리 대규모 언어 모델(LLM)은 최근 몇 년간 인공지능 분야에서 눈부신 발전을 이루었습니다. 이 포스팅에서 LLM의 기본 구조와 작동 방식, 그리고 이 모델들이 어떻게 훈련되는지에 대해 간단히 정리합니다. 기본적인 내용은 "Andrej Karpathy" 님의 유튜브 영상의 내용을 참고 하였습니다. LLM 구조와 동작원리 LLM의 기본 구조 LLM은 크게 두 가지 주요 파일로 구성됩니다: 파라미터 파일과 이 파라미터를 실행하는 코드입니다. 예를 들어, Llama2 70b 모델은 700억 개의 파라미터를 포함하고 있으며, 이는 메타 AI에 의해 개발된 모델입니다. 이러한 파라미터는 신경망의 'Weight'을 나타.. 2024. 1. 18.
LLama.cpp 설치하고 실행해보기 LLama.cpp 설치하고 실행해보기 Huggingface 최신 모델인 Upstage의 SOLAR를 llama.cpp를 사용하여 실행하는 방법에 대해 알아보겠습니다. 이 예제에서 사용된 SOLAR-10.7B 모델은 107억 개의 매개변수를 가진 강력한 언어 모델로, 자연어 처리(NLP)에서 탁월한 성능을 자랑합니다. 기존의 대형 모델들과 비교하여도 뛰어난 성능을 보이며, 간단한 미세 조정을 통해 이를 더욱 향상시킬 수 있습니다. 이 튜토리얼은 WSL2에서 Ubuntu 22.04와 Python 3.10.12 환경에서 테스트되었습니다. 사전에 transformer 와 huggingface-cli 가 설치되어있음을 가정합니다. llama.cpp 설치하기 llama.cpp 소스 코드 다운로드 및 빌드 먼저, l.. 2024. 1. 14.
Docker에서 Transformers를 이용하여 Phi-2 모델 실행해보기 Transformers를 이용하여 로컬에서 Phi-2 모델 실행해보기 마이크로소프트 리서치 팀의 최신 언어 모델인 'Phi-2'가 지난달 'Microsoft Ignite 2023' 행사에서 발표되었습니다. Phi-2 모델은 27억 개의 파라미터를 갖추고 있으며, 이는 상대적으로 작은 모델에 속함에도 불구하고 최대 25배 크기의 대형 모델과 동등한 성능을 발휘한다고 알려졌습니다. 'Phi' 시리즈는 트랜스포머(Transformer) 기반의 언어 모델로, 첫 번째 버전인 'Phi-1'은 파이썬 코딩에서 뛰어난 성능을 보여준 13억 개의 파라미터 모델입니다. 그 후속작인 'Phi-1.5'는 일반 추론과 언어 이해 능력을 향상시켜, 작은 크기에도 불구하고 5배 큰 모델과 비슷한 성능을 제공했습니다. Phi-2는.. 2024. 1. 1.
작지만 강력한 Phi 모델 혁명 소형 언어 모델 혁신: Phi 1과 Phi 1.5의 탄생 Microsoft Research Redmond 연구팀이 개발한 혁신적인 언어 모델, Phi 1과 Phi 1.5에 대해 정리하였습니다. 이 모델들은 기존 대형 언어 모델의 경계를 넘어, 작지만 강력한 새로운 방향을 제시합니다. 2023 년 11 월 일본에서 열린 AI forum 에서 Sebastien 이 발표한 내용을 참고 하였습니다. https://www.microsoft.com/en-us/research/event/ai-forum-2023/agenda/ AI Forum 2023 - Microsoft Research We are living in an exhilarating era where Artificial Intelligence (AI) i.. 2024. 1. 1.
반응형

티스토리툴바