Nacho

모델 학습을 위해 형의 컴퓨터를 ssh로 연결해서 gpu를 빼다 쓰는 발칙한 생각을 하였다...    우선 많은 시행착오가 있었다... 그림과 같은 과정을 통해 wsl에 외부 접속을 할 수 있다. 대충 보고 마지막에 다시보면 이해가 될 것이라 믿는다. 우선 wsl2가 설치되었다는 가정하에 포스팅을 이어가겠다. WSL2에서 ssh 실행ssh server 설치sudo apt updatesudo apt install openssh-server sshconfig 수정sudo nano /etc/ssh/sshd_config nano를 실행하여 수정을 진행Port 22 # wsl 에서 사용항 port 번호 (변경 가능)ListenAddress 0.0.0.0PubkeyAuthentication yes PasswordA..

본문에서는...끝까지 해결하지 못한 오류OpenAi 한테 호구당한 이야기Flask 서버EC2LLama3.1 파인튜닝웹 크롤링 (완료)과 같은 내용을 다룹니다.. 8. Flask 서버 구축Flask 는 대표적인 파이썬 프레임워크로 작은 프로젝트를 할 때 주로 사용한다고 알려져 있습니다.레시피 api 또한 굉장히 작은 프로젝트이기 때문에 Flask를 사용 했습니다. FLASK_APP/ ├── public/ │ └── index.html ├── static/ │ ├── script.js │ └── styles.css └── app.py 우선 필요한 라이브러리를 import 합니다.from flask import Flask, request, jsonify, rende..

본문에서는...끝까지 해결하지 못한 오류OpenAi 한테 호구당한 이야기Flask 서버EC2LLama3.1 파인튜닝웹 크롤링 (완료)과 같은 내용을 다룹니다..  5. OpenAi API 사용하기Llama3.1 모델 로드를 실패하고 Colab 비용을 확인하니 chat gpt 비용이랑 별 다를 게 없는 슬픈 사실을 발견.. 어차피 모델 로드도 안되는 거 GPT API나 사용해보자는 심정으로 GPT 결제하고 API 충전했다. API 키를 발급받고나서 사용할만큼 지갑을 채워준다. gpt-4o 기준 답변 1개당 14원 정도였다.  발급받은 api 키를 복사해서 환경변수에 선언해준다.vi ~/.zshrc #vi ~/.bashrc export OPENAI_API_KEY = "여기에 키 입력" 사용하는 zsh, ba..

본문에서는...끝까지 해결하지 못한 오류OpenAi 한테 호구당한 이야기Flask 서버EC2LLama3.1 파인튜닝웹 크롤링 (완료)과 같은 내용을 다룹니다..3. Llama 3.1 파인튜닝 AI 학습에 있어 가장 중요한 역량이 있다. 이전엔 수학, 영어 등 학문적인 고민을 했지만 생각이 바뀌었다. 가장 중요한 요소는 "돈"이다. 이전 포스팅에 밝힌바 있지만,  난 돈도 없고 능력도 없다. LLM 깔짝 쓰고 싶은 나에게 저렴한 ai는 없다.  따라서, 직접 만든다..! (파인튜닝에 앞서 나는 Google Colab Pro 를 구독하여 사용하였다.)A100 을 사용해야 GPU 메모리에 Llama가 간신히 올라간다.. !pip install -U accelerate==0.29.3 peft==0.10.0 tr..

시작은 이러하다.어머니는 왜 자꾸 이상한 요리를 만드는가.제발 그만... 어머니가 저녁으로 만들어주신 "카레 + 그린커리"의 맛은 일본과 태국 사이 그 어딘가 그 쯤 바다에 표류하는해적선에서 먹을 것 같은 오묘한 맛.. 그래서 시작되었다.레시피 AI 만드는 여정...!! 본문에서는...끝까지 해결하지 못한 오류OpenAi 한테 호구 당한 이야기Flask 서버EC2LLama3.1 파인튜닝웹 크롤링과 같은 내용을 다룹니다..(눈물)  1. 프로젝트 구상우선 첫 목표는 레시피를 기가막히게 작성하는 Ai가 필요하다.돈도 없고 능력도 없는 "나" GPU 도 없다..! 1. 조용히 Colab pro를 구독하고 Llama3.1-8B 모델을 불러온다.2. 기깔나는 만개의 레시피 명예의 전당 레시피를 긁어모은다.3. 깔..