Nacho

본문에서는...끝까지 해결하지 못한 오류OpenAi 한테 호구당한 이야기Flask 서버EC2LLama3.1 파인튜닝웹 크롤링 (완료)과 같은 내용을 다룹니다..3. Llama 3.1 파인튜닝 AI 학습에 있어 가장 중요한 역량이 있다. 이전엔 수학, 영어 등 학문적인 고민을 했지만 생각이 바뀌었다. 가장 중요한 요소는 "돈"이다. 이전 포스팅에 밝힌바 있지만,  난 돈도 없고 능력도 없다. LLM 깔짝 쓰고 싶은 나에게 저렴한 ai는 없다.  따라서, 직접 만든다..! (파인튜닝에 앞서 나는 Google Colab Pro 를 구독하여 사용하였다.)A100 을 사용해야 GPU 메모리에 Llama가 간신히 올라간다.. !pip install -U accelerate==0.29.3 peft==0.10.0 tr..

멜론차트를 데이터프레임으로 만들어보자..! 우선 라이브러리를 불어온다. import pandas as pd import requests from bs4 import BeautifulSoup pandas : 데이터를 데이터프레임으로 만든다. requests : 파이썬에서 명령어로 서버에 요청을 보내는 역할 BeautifulSoup : requsts 로 받아온 html의 parsing을 위한 라이브러리 Melon Top 100 사이트는 서버에 json 형태의 데이터를 요청하여 정보를 업데이트하는 동적사이트가 아닌, html을 다시 받아오는 정적사이트 형태이다. 따라서, BeautifulSoup을 이용하여 원하는 데이터를 parsing 해줄 것이다. 멜론 차트 TOP 100 개발자도구 network 탭에서 h..