목록전체 글 (25)

Nacho

(Python) Web Crowling 웹크롤링 (멜론 차트 TOP 100)

멜론차트를 데이터프레임으로 만들어보자..! 우선 라이브러리를 불어온다. import pandas as pd import requests from bs4 import BeautifulSoup pandas : 데이터를 데이터프레임으로 만든다. requests : 파이썬에서 명령어로 서버에 요청을 보내는 역할 BeautifulSoup : requsts 로 받아온 html의 parsing을 위한 라이브러리 Melon Top 100 사이트는 서버에 json 형태의 데이터를 요청하여 정보를 업데이트하는 동적사이트가 아닌, html을 다시 받아오는 정적사이트 형태이다. 따라서, BeautifulSoup을 이용하여 원하는 데이터를 parsing 해줄 것이다. 멜론 차트 TOP 100 개발자도구 network 탭에서 h..
Python 2024. 3. 10. 22:27
(Python) 모평균 검정 (t-test, ANOVA)

빅분기 시절 공부 했던 이론을 다시 꺼내어 정리해 봤다. ( Feature, x ) : 범주 이고, (Target, y ) : 연속 일 때, T-test, ANOVA, Wilcoxon, 등등.. 정리가 안돼서 머리 아픈 청춘을 위해하여... 정규성 검사 import spicy.stats as stats statistic, pvalue = stats.shapiro(df['column']) 단일 표본 t 검정 statistic, p_value = stats.ttest_1samp(df['column'], popmean= mean, alternative='greater or less or two-sided') 윌콕슨 부호순위 검정 statistic, pvalue = stats.wilcoxon(df['colums..
Python 2024. 2. 28. 19:37
(Python) 평균 추청과 신뢰구간 (모평균 추청, 중심극한정리)

예제로 이해해 보자. 목표 주사위의 표본을 달리하여 표본 평균을 구하고 모평균과 비교해 보자. 표본 평균이 정규부포를 따르는지 확인해 보자. 우선 우리가 알고 싶은 것이 무엇인지 정확히 이해해야 한다. 💡 우리의 목표 : 직접 주사위 30000개를 굴려서 평균을 구할 수 없기 때문에 주사위를 조금만 굴려서 대충 신뢰할만한 표본의 평균값을 구하고 싶은 것이다. 하지만, 우선 답은 알아야 문제를 잘 풀었는지 알 수 있으니 모평균(모집단의 평균 = 30000개의 주사위 값 평균)을 구해보자. import random dices_30000 = [random.randrange(1,7) for _ in range(30000)] print(round(sum(dices_30000)/30000,3)) # Output: ..
Python 2024. 2. 28. 17:53
Pandas 데이터프레임 Concat(), Merge()

자. 데이터프레임을 주물러보자. pd.concat() axis 값을 통해 결합 방향을 설정한다. join을 사용하여 결합 방식을 설정한다. 🔍 두 DataFrame을 사용하여 결합 방식을 살펴보자. axis = 0, 행으로 결합 (세로 방향), 우선 세로 방향으로 데이터가 추가하자. 공통되는 열을 기준으로 표를 재배치해본다면 다음과 같다. 표가 생긴게 이상하지만 중간 과정이라고 생각하면 이해가 쉬워진다 join = 'inner' 공통된 열만 합치기. join = 'outer' 모든 열 합치기. 남은 빈칸을 결측치로 채워 반환한다. axis = 1, 열로 결합 (가로 방향), 우선 가로 방향으로 데이터를 추가하자. 공통되는 행을 기준으로 표를 재배치해본다면 다음과 같다. 표가 생긴게 이상하다. 맞다. jo..
Python 2024. 2. 26. 21:55
(mac) Homebrew로 JAVA 17 JDK (8, 11, 17, 20) 설치하기.

brew 캐시 삭제 brew cleanup 이전 버전의 jdk 설치를 위한 cask-versions 설치 brew tap homebrew/cask-versions jdk 17 설치 brew install --cask temurin17 .zshrc 파일 수정 echo 'export PATH="/opt/homebrew/opt/openjdk@17/bin:$PATH"' >> ~/.zshrc ( 버전 교체 ) 이미 설정된 자바 버전이 있다면 vi 편집기로 ~ /.zshrc 파일 내 해당 버전을 주석처리 하면 된다. vi ~/.zshrc vi ~/.bashrc .zshrc 파일 적용 source ~/.zshrc # zsh source ~/.bashrc # bash 설치된 자바 버전 종류 확인 /usr/libexec..
Java 2024. 2. 25. 00:39
Python 빠른 입출력(I/O) sys.stdin.readline(), sys.stdout.write()

a = input() 입력으로 input() 함수를 사용한다면 문자열을 받아오는 데 시간이 생각보다 많이 소요된다. 입력값이 많은 문제를 만나면 시간초과를 일으키는 경우도 있다... sys.stdin.readline() import sys # 아묻따 import 갈겨버리기 a = sys.stdin.readline() 이때 sys.stdin.readline()을 사용하면 된다. 프로그래머스에서 코테 공부를 진행한 나로서는 생소한 함수였는데 에이블스쿨 코딩마스터스에서 처음 만났다. sys.stdin.readline() 은 개행문자 "\n"을 포함하기 때문에 .strip()로 제거해줘야 한다. 사용법 정수 하나를 입력으로 받을 때 import sys a = int(sys.stdin.readline()) 문자열..
코딩테스트 2024. 2. 23. 21:42
이전 Prev 1 2 3 4 5 Next 다음