DS_Circle

[멋사 AI 7기] 랜덤포레스트

2022-10-26T00:00:00+00:00

:octocat: modeling

DecisionTree

장점
baseline model로 좋다
부스팅 모델의 기반이고 빠르며, 피처 중요도 보기 좋음
단점
랜덤성에 따라 결과 또는 성능의 변동 폭이 크다
계층적 접근 방식이기 때문에 중간에 에러 발생하면 다음 단계로 에러가 계속 전파
노이즈에 민감하다 ~ 과적합 가능성, 일반화하여 사용하기 어렵다

랜덤포레스트

bagging : bootstrap + aggregating
조금씩 다른 훈련 데이터에 대해 훈련된 기초 분류기(base learner)들을 결합(aggregating)시키는 방법이다.
비상관화된 여러 트리들의 집계는 노이즈에 대해 강인
랜덤화를 통해 좋은 일반화 성능

주요 파라미터

n_estimators : 트리수
n_jobs=k : Parallelization, -1 일때는 사용가능한 모든 코어 사용)

트리가 많아서 시각화 하기가 힘들다
시각화 방법

검증

Hold-out Validation
빠르게 평가가 가능
Cross Validation
장점
모든 데이터 셋을 평가에 활용할 수 있고, 평가에 사용되는 데이터셋의 편향을 막을 수 있다
=> 데이터 부족으로 인한 underfitting 방지
=> 평가 결과에 따라 좀 더 일반화된 모델을 만들 수 있다
~ 정확도를 향상시킬 수 있다.

단점 모델 훈련 및 평가 시간이 오래 걸린다

평가

MAE(Mean Absolute Error)
R^2 결정계수

오늘의 이모저모

기타사항
wandb : 튜닝을 하고 기록을 해주는 라이브러리

:bulb:올바른 이력서 쓰기
날짜순 내림차순
zip x
본인 소개엔 기여점 쓰기. 기술 / 협업 / 소통
기술스택 - 할 수 있는 것(주력기술)들 모호하지않게 한줄정리
무관한 경력이라도 쓰는 것 추천. 조직생활 경험이나 성실성 등을 보여줄 수 있다. 어떻게 풀어쓰느냐!
이력서

:bookmark:출처

- DecisionTree
https://scikit-learn.org/stable/index.html
https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
- RandomForest
asdasdsadsad
https://github.com/andosa/treeinterpreter
- 99CON : 주니어 개발자의 이력서 쓰기 - 이동욱
https://speakerdeck.com/weirdx/99con-junieo-gaebaljayi-iryeogseo-sseugi-idongug
https://jojoldu.github.io/

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] 머신러닝 기본

2022-10-25T00:00:00+00:00

:octocat: scikit-learn

ML Tools

scikit-learn

the most popular ML framework
사이킷런으로 할 수 있는 6가지 일

Classification - Supervised learning
Regression - Supervised learning
Clustering - Unsupervised learning
Dimensionality reduction
Model selection
Preprocessing - 수치형 변수로 바꿔주는 등

장점
Numpy, Scipy, Matplotlib 기반 제작 => 높은 접근 가능성과 재사용성
간단하고 효율적인 도구
오픈 소스, 상업적 사용가능

단점
딥러닝 및 강화학습은 지원하지 않음
아키텍처를 정의 하기위해 많은 vocabulary를 필요로 하고, 효율적인 컴퓨팅을 위해 GPU가 추가로 필요하기 때문에 사이킷런에서는 지원하지 않음

:pushpin:sklearn.neural_network에서 간단한 다층 퍼셉트론을 구현
이 모듈에 대한 버그 수정만 허락 중
더 복잡한 딥 러닝 모델을 구현하려면 tensorflow, keras 및 pytorch와 같은 인기 있는 딥 러닝 프레임워크로 전환바람

XGBoost / LightGBM / CatBoost
PyCaret
Prophet

딥러닝
TensorFlow / Keras / PyTorch
Fast.ai - 교육용 목적
Caffe
MXNet

XAI : 설명가능한 인공지능

scikit-learn 과 ML

기계학습
지도학습(분류, 회귀) + 비지도학습(군집화, 변환, 연관) + 강화학습 + etc

choosing the right estimator

	범주형	수치형
지도학습	분류	회귀
비지도학습	군집화	차원축소

비지도 학습 - feature engineering

머신러닝 과정

fit : 학습 => predict : 예측 => evaluate : 평가

예시) 의사결정나무

모델설정 : model = DecisionTreeClassifier(randoms_state,,,)
학습 : model.fit(X_train, y_train)
예측 : y_predict = model.predict(X_test)
의사결정나무 시각화
plot_tree(model, max_depth, feature_names, filled,,,)
피처의 중요도
model.feature_importances_
정확도 측정
1) model.score(X_test, y_test)
2) accuracy_score(y_test, y_predict)

데이터 전처리, Feature

데이터전처리방법

Normalization : 0에서 1사이의 값으로 만들어줌
수치변수의 범위가 다양할때 normalization을 통해 머신러닝 모델이 데이터를 더 자세히 관찰할 수 있게 함
Outlier 다른 데이터 예측할 때 영향이 있는 경우가 있다. 사용 여부 고려
Imputation : 결측치
데이터에 결측치가 있으면 모델링을 할 수 없음
결측치를 채우거나, 제거하거나, 대체하거나 해야 함
Encoding
문자형태는 머신러닝 알고리즘이 학습 할 수 없음
종류 원핫인코딩 등

수치형 변수를 범주화하는 이유 몇 가지
머신러닝 알고리즘에 힌트를 줄 수도 있고 과적합을 방지할 수도 있다.

Modeling

알고리즘

의사결정나무
나무를 뒤집어 놓은 모양
스무고개와 유사하게 예/아니오 질문을 이어가며 학습
질문이나 정답을 담을 네모 상자를 노드라 하며 분기가 거듭될 수록 그에 해당되는 데이터가 줄어듬.

CART(Classification And Regression Tree): 분류와 회귀에 모두 사용할 수 있는 Tree

주요 파라미터
criterion: 가지 분할의 품질을 측정(gini, entropy)

지니불순도
엔트로피

max_depth: 트리의 최대 깊이
min_samples_split:내부 노드를 분할하는 데 필요한 최소 샘플 수
min_samples_leaf: 리프 노드에 있어야 하는 최소 샘플 수
max_leaf_nodes: 리프 노드 숫자의 제한치
random_state: 추정기의 무작위성을 제어 => 실행했을 때 같은 결과가 나오도록 한다

훈련

overfitting / optimum / underfitting

오늘의 이모저모

선형 대수학 관점에서 행렬(예: 디자인 행렬 X)은 대문자 라틴 문자를 사용하고,
벡터(응답 벡터 y)에는 소문자 라틴 문자를 사용하는 것이 일반적 - 출처
no free lunch

:bookmark:출처

- scikit-learn
https://scikit-learn.org/stable/index.html
https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
- stackexchange
https://stats.stackexchange.com/questions/389395/why-uppercase-for-x-and-lowercase-for-y

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] Git과 Streamlit

2022-10-18T00:00:00+00:00

:octocat: git/github & streamlit

Git 과 GitHub

git : 분산(여러 사용자들의 작업/수정) 버전 관리 시스템
컴퓨터 파일의 변경사항을 추적하는 시스템
여러 명의 사용자들 간에 해당 파일들의 작업을 조율하기 위한 스냅샷 스트림 기반의 분산 버전 관리 시스템
git은 빠른 수행 속도에 중점을 두고 있는 것이 특징이며 데이터 무결성, 분산, 비선형 워크플로를 지원
github : 소스코드 관리 + 저장 + 소셜코딩
분산 버전 관리 툴인 깃 저장소 호스팅을 지원하는 웹 서비스이다.

commit / git commit

버전관리의 일환
버전은 의미 있는 변화를 뜻하며, 작업이 완결된 상태
이렇게 의미 있는 변화에 대해 기록하는 것이 바로 commit
변경을 기록하는 커밋, 파일 및 폴더의 추가/변경 사항을 저장소에 기록

repository 만들기

gitignore : 파일을 git의 추적에서 제외 - 올릴 필요없는 캐시/로그 등의 파일 저장하지마라
Project에 원하지 않는 Backup File이나 Log File , 혹은 컴파일 된 파일들을 Git에서 제외시킬수 있는 설정 File이다.
항상 최상위 Directory에 존재해야함
규칙을 작성하여 특정 확장자를 제외할 수 있다.
LICENSE 참고
README.md
깃헙 마크다운 문서

imgur : 이미지 업로드 후 링크 사용할 때 괜찮은 사이트

pip freeze > requirements.txt : 설치된 패키지를 목록으로 만들기
requirements.txt
필요한 모듈/라이브러리 알려주는 약속
배포 할 때 사용하면 서버에 필요한 패키지를 설치해 줌
pandas=1.5 처럼 버전을 지정해서 목록화 할 수 있다.

streamlit 시작하기

st.markdown
st.sidebar

markdown
header
selectbox
multiselect

st.dataframe

Chart element

line_chart
bar_chart
pyplot

@st.cache : 캐시 적용하기
첫 로드 후 이후 기존 로드한 데이터를 사용하여 부담을 줄여준다.
캐시를 적용하지 않으면 데이터를 매번 가져와야 해서 속도가 떨어짐

:pushpin: plotly express 그래프 호환 잘되는편

오늘의 이모저모

데이터센터나 클라우드 서버를 사용하는 이유?
안전성, 확장성, 이원화
전력사용 및 대용량, 발열 때문

:bulb: 서버 관리에 대한 불편함
24시간 계속 가동되어야하는데 서버가 버티지 못해서 주기적으로 교체 해야함

이모지 단축키: window + .

:bookmark:출처

- Commit
https://backlog.com/git-tutorial/kr/intro/intro1_3.html
https://steady-coding.tistory.com/m/277
- LICENSE
https://pandas.pydata.org/docs/reference/api/pandas.to_numeric.html
- GitHub basic writing and formatting syntax
https://docs.github.com/en/get-started/writing-on-github/getting-started-with-writing-and-formatting-on-github/basic-writing-and-formatting-syntax
- imgur
https://imgur.com/
- Streamlit
https://docs.streamlit.io/library/get-started

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] 절약

2022-10-17T00:00:00+00:00

:octocat:Saving

오늘의 키워드 : 절약

현업에서 다루는 데이터는 실습에서 다루는 데이터보다 대부분 큰 용량
이 때 컴퓨터 RAM 용량만큼 불러올 수 있음
더 많은 데이터를 불러와서 분석하거나 모델을 만들기 위해서는 메모리를 효율적으로 사용할 수 있어야 함

:bulb: 절약하는 방법

메모리 절약 => downcast
절약을 통해 더 많은 데이터를 불러와서 더 많이 분석할 수 있을지?
스토리지(디스크공간) 절약 => parquet
파일 크기를 줄여서 더 많은 파일을 저장할 수 있을까?

메모리 절약 by downcast

데이터의 범위(int64, uint32 등)에 따라 메모리에서 차지하는 용량이 다르다.

downcast 는 pd.to_numeric 을 사용한다.
downcast : {‘integer’, ‘signed’, ‘unsigned’, ‘float’}, default None
If not None, and if the data has been successfully cast to a
numerical dtype (or if the data was numeric to begin with),
downcast that resulting data to the smallest numerical dtype
possible according to the following rules:

- ‘integer’ or ‘signed’: smallest signed int dtype (min.: np.int8)
- ‘unsigned’: smallest unsigned int dtype (min.: np.uint8)
- ‘float’: smallest float dtype (min.: np.float32)

int
음수가 없을 때 unsigned
음수가 있을 때 signed = integer
float => float - 소수점이나, 결측치 고려
bool => int8 - 거의 차이 없음
object
범주형 형태일 때 => df.astype(“category”)
게시글 내용처럼 범주의 수가 너무 많다면 적합하지 않다.

스토리지 절약 - 파일 크기 줄이기 by parquet

csv : 행단위 vs parquet : 열단위
열 단위 구분이 압축에 유리하다.

:pushpin: pyarrow 와 fastparquet 도 설치한다.
engine 에서 쓰이기 때문

pandas.DataFrame.to_parquet

engine : {‘auto’, ‘pyarrow’, ‘fastparquet’}, default ‘auto’ Parquet library to use.
If ‘auto’, then the option io.parquet.engine is used.
The default io.parquet.engine behavior is to try ‘pyarrow’,
falling back to ‘fastparquet’ if ‘pyarrow’ is unavailable.
compression : {‘snappy’, ‘gzip’, ‘brotli’, None}, default ‘snappy’
Name of the compression to use. Use None for no compression.

parquet 파일은 메타 정보를 포함하고 있다.
=> 데이터 수가 적을 때에는 오히려 csv 보다 파일 크기가 클 수 있다.

파일 크기 비교

os : 기타 운영 체제 인터페이스

이 모듈은 운영 체제 종속 기능을 사용하는 이식성 있는 방법을 제공합니다.

os.stat(path, *, dir_fd=None, follow_symlinks=True)
파일 또는 파일 기술자의 상태를 가져옵니다.
주어진 경로에 대해 stat() 시스템 호출과 같은 작업을 수행합니다.
stat_result 객체를 반환합니다.

st_size
일반 파일 또는 심볼릭 링크면, 바이트 단위의 파일의 크기.
심볼릭 링크의 크기는 포함하고 있는 경로명의 길이이며, 끝나는 널 바이트는 포함하지 않습니다.

os.path : 일반적인 경로명 조작

os.path.isfile(path)
path가 존재하는 일반 파일이면 True를 반환합니다.

대시보드

streamlit

A faster way to build and share data apps

오늘의 이모저모

PySpark Koalas

리눅스 계열 명령어
ls : 현재 디렉토리 폴더 내부 확인 (윈도우는 dir)

cd : Change 디렉토리, 현재 디렉토리 위치에 존재하거나 상위 다른 디렉토리로 이동

~ : root 디렉토리 이동
.. : 상위 디렉토리 이동

mkdir dirName : 현재 디렉토리 위치에서 새로운 디렉토리를 생성

mv 디렉토리 혹은 파일 이동경로 : 현재 디렉토리 내 디렉토리 또는 파일 이동
mv 디렉토리 혹은 파일 newName : 현재 디렉토리 내 디렉토리 또는 파일 이름 변경

cp 현재파일명 복사할파일명 : 현재 디렉토리 내 파일 복사
cp -R dir/ : 현재 디렉토리 내 디렉토리 복사

rm fileName : 현재 디렉토리 내 파일 삭제
rm -rf : 현재 디렉토리 내 디렉토리 삭제

:bookmark:출처

- Data type
https://github.com/rougier/numpy-tutorial#quick-references
- pd.to_numeric
https://pandas.pydata.org/docs/reference/api/pandas.to_numeric.html
- pandas.DataFrame.to_parquet
https://builtin.com/data-science/numpy-random-seed
- Parquet read performance
https://wesmckinney.com/blog/python-parquet-update/
- os
https://docs.python.org/ko/3/library/os.html#module-os
- streamlit
https://streamlit.io/
- PySpark Koalas
https://spark.apache.org/docs/latest/api/python/migration_guide/koalas_to_pyspark.html#
https://koalas.readthedocs.io/en/latest/getting_started/10min.html
https://spark.apache.org/docs/latest/api/python/migration_guide/koalas_to_pyspark.html#
https://www.youtube.com/watch?v=Y9kdUq_qIa8

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] EDA 이모저모

2022-10-13T00:00:00+00:00

:octocat:EDA

파일시스템의 대소문자 구분

대/소문자 구분 조정
“Windows 및 Linux 대/소문자 구분 간의 차이점”
Linux 및 Windows 파일 및 디렉터리 둘 다로 작업할 때 대/소문자 구분 처리 방법을 조정해야 할 수 있다.
표준 동작:
Windows 파일 시스템은 파일 및 디렉터리 이름을 대/소문자를 구분하지 않는 것으로 처리 ex) FOO.txt 및 foo.txt 동일한 파일로 처리
Linux 파일 시스템은 파일 및 디렉터리 이름을 대/소문자를 구분하는 것으로 처리 ex) FOO.txt 및 foo.txt 고유 파일로 처리

Random Generator

numpy.random.seed() vs numpy.random.default_rng() - 사용 권장
Stop Using NumPy’s Global Random Seed
global random state vs own random state
default_rng의 이점
함수와 클래스 사이에 난수 생성기를 전달할 수 있다.
즉, 각 개인 또는 함수는 전역 시드를 재설정하지 않고도 고유한 random state 를 가질 수 있다.
또한 각 스크립트는 재현 가능 함수에 난수 생성기를 전달할 수 있다.
=> 프로젝트의 각 부분에서 어떤 난수 생성기가 사용되는지 정확히 알 수 있다.

Pandas

to_datetime(arg, format)
dt accessor
options and setting
pd.options.display.max_columns = None

merge

df1.merge(df2, on=”key”)

how : {‘left’, ‘right’, ‘outer’, ‘inner’, ‘cross’}, default ‘inner’
on : label or list
Column or index level names to join on.
These must be found in both DataFrames.
If on is None and not merging on indexes then this defaults to the intersection of the columns in both DataFrames.

groupby 메서드 체이닝

groupby 메서드로 생성된 결과물은 DataFrameGroupBy object로 DataFrame과 다르다.
DataFrameGroupBy object에는 여러 메서드를 적용할 수 있다.
:bulb: 메서드 체이닝: 여러 메서드를 붙여 사용하는 것

map function

map lambda 안 써줘도 되는 경우 - dict
gender_dict = {1 : “남자”, 2 : “여자”}
df[“성별”] = df[“성별코드”].map(gender_dict) / map(lambda x : gender_dict(x))

:pushpin: map 대신 replace 사용가능
map과 replace의 차이
map은 기존의 값들을 맵핑하여 변환하기 때문에, 딕셔너리에 값이 존재하지 않으면 맵핑할 수 없어 NaN을 반환
replace는 값을 바꿔주는 용도이기 때문에, 값이 존재하지 않아도 기존 값을 그대로 유지

시각화

heatmap 상관계수

numpy 이용 mask 만들기
np.ones(shape) == np.ones_like(array_like)
np.triu[tril]
seaborn heatmap
sns.heatmap(corr, annot=True, fmt=”.2f”, cmap=”coolwarm”, vmin=-1, vmax=1, mask=mask)
vmin/vmax 지정해주지 않으면 데이터 및 기타 키워드 인수에서 추론 - 데이터의 최소/최대

:bookmark:출처

- 대/소문자 구분 조정
https://learn.microsoft.com/ko-kr/windows/wsl/case-sensitivity
- Random Generator
https://numpy.org/doc/stable/reference/random/generator.html
- Stop Using NumPy’s Global Random Seed
https://builtin.com/data-science/numpy-random-seed
- pandas.to_datetime
https://pandas.pydata.org/docs/reference/api/pandas.to_datetime.html
- Datetime properties
https://pandas.pydata.org/docs/reference/series.html#api-series-dt
- Options and settings
https://pandas.pydata.org/pandas-docs/stable/user_guide/options.html
- pandas.DataFrame.merge
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.merge.html
- map과 replace의 차이 https://abluesnake.tistory.com/142

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] EDA2

2022-10-11T00:00:00+00:00

:octocat:EDA

Pandas

:bulb: Tidy Data
깔끔한 데이터 / 분석하기 좋은 데이터
각 변수가 열이고 각 관측치가 행이 되도록 배열된 데이터 - Hadley Wickham

melt로 Tidy data 만들기
pd.melt(df, id_vars, value_vars, var_name, value_name)

Subset Observations - rows

df.nlargest(n, “value”)
df.nsmallest(n, “value”)

Subset Variables - columns

select single column with specific name

df[“colname”]
df.colname * 특수문자, 띄어쓰기 등 주의

Reshaping Data

Pandas Crosstab

normalize : bool, {‘all’, ‘index’, ‘columns’}, or {0,1}, default False
Normalize by dividing all values by the sum of values - 해당 항목의 수 / 전체 빈도수

If passed ‘all’ or True, will normalize over all values
If passed ‘index’ will normalize over each row
If passed ‘columns’ will normalize over each column
If margins is True, will also normalize margin values

컬럼 제거하기

df.drop(labels=[“col1”, “col2”], axis=1)
df.drop(columns=[“col1”, “col2”])
labels는 명시적으로 axis 설정 필요

컬럼명 변경하기

df.columns = [colname_list]
df = df.rename(columns={“변경전” : “변경후”})

데이터 타입 변경

pd.to_numeric
- errors : {‘ignore’, ‘raise’, ‘coerce’}, default ‘raise’
  If ‘raise’, then invalid parsing will raise an exception.
  If ‘coerce’, then invalid parsing will be set as NaN.
  If ‘ignore’, then invalid parsing will return the input.

Series

Handling

	Series	DataFrame	대체값 일치여부
replace	O	O	완전히 일치 시 대체 (정규 표현식은 일부여도 OK)
str.replace	O	X	일부만 일치해도 대체

:pushpin: 참고

정규 표현식
메타문자는 기억해둘 만하다
regex=True
Series Accessor
.str 접근자는 시리즈 문자열 형식에만 사용할 수 있습니다.

str.split(pat, expand=True)
expand : bool, default False
Expand the split strings into separate columns.

If True, return DataFrame/MultiIndex expanding dimensionality.
If False, return Series/Index, containing lists of strings.

:pushpin: 함수 적용되는 형태 주의

Pandas Style

background_gradient
bar 등

값 찾기(Filtering)

str.isin Dataframe.isin
str.contains

오늘의 이모저모

시각화

Seaborn

heatmap
pairplot 각 열의 조합에 대해서 산점도를 그리고, 같은 데이터가 만나는 대각선 영역에는 해당 데이터의 히스토그램을 그린다.

범주 위치 조정
plt.legend(loc, bbox_to_anchor)

loc : 바운딩 박스 안에서 위치 조정
bbox_to_anchor : 바운딩 박스 밖에서 위치 조정

annot : 과학적 표기법 출력 여부
fmt : 표기 형식
cmap : 색상 - print(plt.colormaps())
palette

point plot : 점과 ci ->errorbar

hist => kde(density) => violin
scatter => strip => swarm

Plotly

plotly.express
px.histogram : seaborn 의 barplot 과 유사한 기능
hisfunc : seaborn 의 estimate 기능과 유사함
histfunc: str (default ‘count’ if no arguments are provided, else ‘sum’)
One of ‘count’, ‘sum’, ‘avg’, ‘min’, or ‘max’.Function used to aggregate values for summarization (note: can be normalized with histnorm).
The arguments to this function are the values of y(x) if orientation is ‘v’(‘h’).

color
barmode
facet_row[col]
marginal

option

모든 컬럼 출력 설정
pd.options.display.max_columns = None

:bookmark:출처

- Tidy Data
https://vita.had.co.nz/papers/tidy-data.pdf
- Pandas Cheat Sheet
https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf
- Pandas Crosstab
https://pandas.pydata.org/docs/reference/api/pandas.crosstab.html
- 정규 표현식
https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%ED%91%9C%ED%98%84%EC%8B%9D
- Pandas Style
https://pandas.pydata.org/docs/reference/style.html
- pairplot
https://velog.io/@addison/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-3-7-%ED%83%90%EC%83%89%EC%A0%81-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-%EC%83%81%EA%B4%80%EA%B4%80%EA%B3%84-%EB%B6%84%EC%84%9D
- Seaborn
https://seaborn.pydata.org/tutorial/function_overview.html#
- 범주 위치 조정 https://dailyheumsi.tistory.com/97

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] EDA1

2022-10-06T00:00:00+00:00

:octocat:EDA

:pushpin:태도
꾸준히 연습을 통해 안목을 기르는 게 중요하다. 한 가지 도구에 익숙해지면 새로운 도구에도 적응할 수 있음
수영, 자전거 타기와 같다

시각화 라이브러리(Pandas/Seaborn/Plotly)

Pandas

pandas는 필요한 정보를 미리 계산할 수 있는 장점을 활용할 수 있다.
이를 통해 시각화 속도 이슈를 줄일 수 있다.

Plotly

Plotly Express 사용권장

high-level interface for data visualization
seaborn 과 비슷한 사용법
사용법이 plotly.graph_objects 에 비해 비교적 간단한 편

points 옵션을 통해 strip plot 대체가능 * 다양한 옵션을 사용해 보자

Cufflinks
다양한 라이브러리를 참조해서 버전 호환성 문제가 있을 수 있다.

EDA

라이브러리 로드

pandas
numpy
matplotlib.pyplot

시각화 폰트 설정

koreanize_matplotlib
%config InlineBackend.figure_format = ‘retina’

일부 데이터 보기

head()
tail()
sample()

데이터 합치기

pd.concat() * axis

중복 제거

duplicated() : 중복 확인
drop_duplicates() : 중복 제거 * df[df.duplicated()] 확인

인덱스 값 설정

set_index()

정렬

sort_index() * ascending

판다스 attributes

shape
dtypes
columns
index

데이터 요약

info()

결측치 보기

isnull() *sum(), mean()

기술통계

describe() * include
unique() : column에서 고유한 값을 가진 리스트, series에서만 사용 가능
nunique() : column에서 고유한 값의 개수

오늘의 이모저모

Pandas Accessors

Data Type	Accessor
Datetime, Timedelta, Period	dt
String	str
Categorical	cat
Sparse	sparse

데이터 타입 변경

astype(“type”)

문자
astype(str) <= pandas series
str() <= python 문자열
날짜
pd.to_datetime()
Datetime properties
pd.date_range(start, end)

map / apply/ applymap

차이 복습
참고 사이트
USE CASE

map
map is meant for mapping values from one domain to another, so is optimised for performance (e.g., df[‘A’].map({1:’a’, 2:’b’, 3:’c’}))
apply
apply is for applying any function that cannot be vectorised (e.g., df[‘sentences’].apply(nltk.sent_tokenize))
applymap
applymap is good for elementwise transformations across multiple rows/columns (e.g., df[[‘A’, ‘B’, ‘C’]].applymap(str.strip))

빈도수 구하기

한 개의 변수

value_counts()

두 개의 변수

crosstab
pivot_table
group by

기타

결측치 채우기
fillna(value)

to_frame()

컬럼 삭제
del df[“col”]

==판다스내부 벡터끼리의 연산, 비트와이즈 연산==

:bookmark:출처

- Plotly Express
https://plotly.com/python-api-reference/plotly.express.html
- Pandas Accessors
https://pandas.pydata.org/docs/reference/series.html#accessors
- Datetime properties
https://pandas.pydata.org/docs/reference/series.html#datetimelike-properties
- map / apply / applymap 차이 stackoverflow
https://stackoverflow.com/questions/19798153/difference-between-map-applymap-and-apply-methods-in-pandas

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] 데이터 시각화

2022-10-05T00:00:00+00:00

:octocat:Plot

Jupyter Notebook

Jupyter Extension
결과창 줄이기
더블클릭 / ESC + o
도움말 shift + tab + tab

Plot

:pushpin: 시각화 할 때 데이터가 많으면 오래 걸린다. 속도를 개선 해보는 방법은?
대표값을 표시해야한다면 그래프에서 계산하지 않고 미리 계산해서 시각화 하기

matplotlib / koreanize-matplotlib

그래프에 retina display 적용
%config InlineBackend.figure_format = ‘retina’

Customizing Matplotlib with style sheets
plt.style.use(“style”) # fivethirtyeight, ggplot 추천
style 지정 - 기존 값들을 초기화 하지 않는다.
=> 다시 지정할 때 restart 해주는 게 편하다.

plt.legend(bbox_to_anchor)
secondary_y
plt.axhline(val, color)
로그 안뜨게 하는 방법
plt.show(), 변수할당, ;

plotly

JavaScript 기반 동적

# plotly offline mode
from plotly.offline import iplot, init_notebook_mode
from plotly.subplots import make_subplots
init_notebook_mode()

color : seaborn의 hue처럼 색상에 따라 다른 데이터들을 구분해주는 역할을 하는 속성

오늘의 이모저모

	Series	DataFrame	사용예
map	O	X	df[“컬럼명”].map(함수 or dict)
apply	O	O	df.apply(함수)
applymap	X	O	df.applymap(함수)

벡터연산으로 반복문 보다 빠르다.
lambda를 사용해도 되지만, 가독성 떨어질 경우 함수를 사용하는 편이다.
tqdm의 progress_map

Series.to_list()
return a list of the values

merge/join

on : key
how inner / left / right / outer
보통 right로 merge를 할 일이 있어도 left가 더 직관적이기 때문에
두 데이터프레임의 순서를 바꿔주고 how=’left’를 많이 사용해주는 편

resample / 분할

pandas.DataFrame.resample / time series
pd.cut() : 같은 길이로 나누기 예) 시험의 절대 평가
pd.qcut() : 같은 갯수로 나누기 예) 시험의 상대평가

cp949의 인코딩 범위에 아스키코드는 포함되지 않는다.

:bookmark:출처

- koreanize-matplotlib
https://github.com/ychoi-kr/koreanize-matplotlib
- matplotlib customizing
https://matplotlib.org/3.3.3/tutorials/introductory/customizing.html
- resampling
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.resample.html
https://pandas.pydata.org/docs/getting_started/intro_tutorials/09_timeseries.html#min-tut-09-timeseries

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] 웹 데이터 ETC

2022-10-04T00:00:00+00:00

:octocat:Web | DataFrame

WEB

:pushpin:참고사항
네이버 증권 게시판에 글을 쓰면
데이터베이스권은 네이버에 있으며 저작권은 글쓴이에게 있음

get : 필요한 데이터를 Query String 에 담아 전송
post : 전송할 데이터를 HTTP 메시지의 Body의 Form Data에 담아 전송
get 과 post 여부는 브라우저의 네트워크 탭의 Headers > Request Method 를 통해 확인

referer
헤더에 담겨 있는 현재 페이지에 요청한 이전 페이지의 url 정보
서버는 referer 참조함으로써 현재 표시하는 웹페이지가 어떤 웹페이지에서 요청되었는지 알 수 있음
참고 사이트

비동기 통신

XHR(XMLHttpRequest)
필요한 부분만 서버에 요청하고 해당하는 내용만 받음
=> 대역폭의 낭비를 줄이고 필요한 부분만 요청하는 상호작용
참고 사이트

웹 데이터 수집

Pandas read_html

데이터를 수집할 URL을 찾고, pd.read_html(url)을 통해 table 태그의 데이터를 가져온다.
한글 깨짐 방지!

BeautifulSoup

상세정보를 위한 링크정보 수집
=> bs를 사용하여 수집한 html 문서에서 링크 정보를 찾는다

html tag에서 사용하는 css class 지정방식과 bs에서 사용하는 방법의 차이가 있다. 확인 필요
nth-child를 지원하지 않아 nth-of-type을 바꿔줘야함

get_text() 는 메소드, text 는 attr 그 외에 차이가 안보임

예외 처리

try except 구문
try 구문에서 오류가 나면 except 구문으로 빠짐
함수를 반복적으로 돌릴 때 중간에 오류가 나서 멈추는 경우를 방지

예외 사항에서 꼭 고쳐야 하는 심각한 것에는 무엇이 있을까?
보안 이슈

크로스 사이트 스크립팅(Cross Site Scripting, XSS)
‘공격자’의 웹사이트에서 피해자가 친숙하다고 느끼는 웹사이트에 악성 스크립트를 주입하는 행위
웹사이트 사이를 넘어서 공격한다는 의미에서 크로스 사이트 스크립팅이라는 용어가 생겨남.

참고 사이트

DataFrame 화

T = 전치행렬 transpose()
set_index(index로 만들 column)
pd.concat([df1, df2,..], axis) 1 : 옆으로
map, apply: 데이터프레임(특정 컬럼)에 반복문을 사용하지 않고 함수 일괄 적용

:bookmark:출처

- referer
https://inpa.tistory.com/entry/WEB-%F0%9F%93%9A-HTTP-referer-%EB%9E%80
- XHR
https://velog.io/@ldaehi0205/ajax-fetch-xhr-%EB%B9%84%EB%8F%99%EA%B8%B0%ED%86%B5%EC%8B%A0-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0
- XSS
https://nordvpn.com/ko/blog/xss-attack/

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.

[멋사 AI 7기] 멜론 TOP100

2022-09-29T00:00:00+00:00

:octocat:Web Scraping

import pandas as pd
import requests

url = "https://www.melon.com/chart/index.htm"

# 로봇으로 인식하는 것 같음
# pd.read_html(url)

HTTPError: HTTP Error 406: Not Acceptable
사용자 에이전트에서 정해준 규격에 따른 어떠한 콘텐츠도 찾지 못했을 때
로봇으로 인식해 정보를 받지 못하므로 user-agent를 설정 해줘야 함

response = requests.get(url, headers={"user-agent": "Mozilla/5.0"})
response

table = pd.read_html(response.text)

temp = table[0]
temp.head(3)
temp.tail(3)

temp.columns

[‘Unnamed: 0’, ‘순위’, ‘순위등락’, ‘앨범이미지’, ‘곡 상세가기’, ‘곡정보’, ‘앨범’, ‘좋아요’, ‘듣기’, ‘담기’, ‘다운’, ‘뮤비’]

‘Unnamed: 0’ : 선택버튼 무의미한 컬럼
[‘곡 상세가기’, ‘듣기’, ‘담기’, ‘다운’, ‘뮤비’] : 추가 기능

‘순위등락’ : 전처리 해서 사용가능
‘곡정보’ : 제목이랑 가수 구분 필요
‘좋아요’ : 모두 0으로 나오는 데 홈페이지상으론 수치가 나옴, 이유가 뭘까?
‘앨범이미지’ : NaN으로 받아와짐, 추가 처리 필요
[“순위”, “순위등락”, “곡정보”, “앨범”] : 사용

def rank_transform(str_rank):

    str_num = str_rank[0]
    
    return int(str_num)

순위 컬럼 수치형 데이터로 변환
ex) 1위 -> 1

df["순위_변환"] = df["순위"].apply(rank_transform)
df[["순위_변환"]].head(3)

unique_list = df["순위등락"].unique()
unique_list

[‘순위 동일 0’, ‘단계 상승 1’, ‘단계 하락 2’, ‘단계 하락 1’, ‘단계 상승 2’, ‘단계 하락 3’, ‘단계 상승 4’, ‘단계 상승 3’, ‘단계 하락 4’, ‘단계 하락 9’, ‘순위 진입’]

# https://codingspooning.tistory.com/138
# https://kynk94.github.io/devlog/post/re-match-hangul
import re
def regex_hangul(s):

    hangul = re.compile('[^ㄱ-ㅣ가-힣+]') # 한글과 띄어쓰기를 제외한 모든 글자
    result = hangul.sub('', s) # 한글과 띄어쓰기를 제외한 모든 부분을 제거
    
    return result

슬라이싱을 통해 5글자를 추출해도 되겠지만, 정규표현식을 사용해서 추출해봤음
유니코드 ㄱ : 12593, ㅣ : 12643, 가 : 44032, 힣: 55203
ㄱ-힣으로 지정한다면 12644 ~ 44031의 문자도 포함되므로 ㄱ-ㅣ가-힣으로 지정한다.

for idx, unique in enumerate(unique_list):
    unique_list[idx] = regex_hangul(unique)
set(unique_list)

{‘단계상승’, ‘단계하락’, ‘순위동일’, ‘순위진입’}
set로 중복제거

def regex_num(s):

    num = re.compile(r'\d+')
    result = num.findall(s)[0] # 리스트 형식으로 나와서 0번째 인덱스 값을 가져옴

    return int(result)

숫자를 찾아오는 정규표현식

def rank_updown(rank_change):
    
    if regex_hangul(rank_change) == "단계상승":
        val = regex_num(rank_change)
    elif regex_hangul(rank_change) == "단계하락":
        val = -regex_num(rank_change)
    elif regex_hangul(rank_change) == "순위동일":
        val = 0
    else:
        val = "new"

    return val

단계하락 => 음수, 순위동일 => 0
새롭게 순위에 진입한 경우는 “new”로 변환. 추후 분석 시 수치형 데이터로 변환할 필요가 있어 보임

df["순위등락_변환"] = df["순위등락"].apply(rank_updown)
df[["순위", "순위_변환","순위등락_변환"]].head(20)

from bs4 import BeautifulSoup as bs
html = bs(response.text)

Pandas로 추출하지 못한 내용들 BeautifulSoup으로 시작

# 제목
# #lst50 > td:nth-child(6) > div > div > div.ellipsis.rank01 > span > a

title = html.select("div.ellipsis.rank01 span a")

title_list = []
for t in title:
    title_list.append(t.text)
print(len(title_list))

df["제목"] = title_list

제목을 추출해와서 list로 모은 후 DataFrame 컬럼으로 추가

# 가수
#lst50 > td:nth-child(6) > div > div > div.ellipsis.rank02 > a
#lst50 > td:nth-child(6) > div > div > div.ellipsis.rank02 > span > a
#lst50 > td:nth-child(6) > div > div > div.ellipsis.rank02 > span 단 class="checkEllipsis"

# musician = html.select("div.ellipsis.rank02 a") # 여기로 접근하면 span에 있는 a 도 불러와져서 가수가 2번씩 뽑힘
# musician = html.select("div.ellipsis.rank02 span a") # 가수가 여러명이면 여러개 뽑힌다

musician = html.select("div.ellipsis.rank02 span.checkEllipsis")

musician_list = []
for m in musician:
    musician_list.append(m.text)    
print(len(musician_list))

df["가수"] = musician_list

가수를 추출해와서 list로 모은 후 DataFrame 컬럼으로 추가

df[["제목", "가수"]].head()

# 앨범 이미지
#lst50 > td:nth-child(4) > div > a > img
# https://cdnimg.melon.co.kr/cm2/album/images/110/45/985/11045985_20220905151107_500.jpg/melon/resize/120/quality/80/optimize
# optimize를 없애야 큰 이미지를 얻을 수 있겠다

image = html.select("div a img")

img_list = []
for img in image[2:]: # 첫 줄 melon img, 둘째줄 불필요 
    img_list.append(img["src"].split("/melon")[0])
print(len(img_list))

/melon 뒤로 resize optimize를 없애줘야 본 크기의 이미지를 얻어올 수 있다.

df["앨범이미지_변환"] = img_list
df[["앨범이미지_변환"]].head()

#lst50 > td:nth-child(8) > div > button > span.cnt
# 이것도 0으로 뜸, 문제가 뭘까?
html.select("span.cnt")[9]

requests get을 사용해 불러오면 수치가 0으로 나온다.
BeautifulSoup으로 변환해도 마찬가지

# 멜론에서 Javascript를 사용해서 좋아요 수를 실시간으로 불러옴
# BeautifulSoup은 정적 페이지 정보만 가져옴 Selenium 같은 동적 정보 가져오는 툴이 필요
# BeautifulSoup만 사용해서 가져오는 방법이 없을까
# https://sdallman.medium.com/web-scraping-dynamic-content-only-using-beautiful-soup-631496473c0e

# 좋아요 javascript code
# likeAttr = data-song-no
# SUMMCNT가 좋아요 수 
html.select("script")[5]

(JavaScript Like Func)

위의 JavaScript Like Func를 보면 좋아요 데이터는 Javascript를 통해 동적으로 불러온다.
Selenium을 사용해 불러와도 되겠지만, 팀장님이 알려주신 위 출처 사이트를 통해 BeautifulSoup으로도 가능하다는 걸 알게 됐다.

#lst50 > td:nth-child(8) > div > button
button = html.select("button.button_etc.like")
data_song_no = []
for b in button:
    data_song_no.append(b["data-song-no"])
print(len(data_song_no))

Like Func의 attr인 data-song-no를 추출해와서 리스트에 넣어준다.

# 여러개를 한번에 뽑기 위해서는 "song_no1, song_no2,, song_noN"의 형태로 넣어줘야함  
song_no = ", ".join(data_song_no)
cashflow = f"https://www.melon.com/commonlike/getSongLike.json?contsIds={song_no}"
cf = requests.get(cashflow, headers={"user-agent": "Mozilla/5.0"})
cfdata = cf.json()

리스트에 있는 데이터를 콤마 구분자 형식의 문자열로 만들기 위해 join을 사용

df_like = pd.DataFrame(cfdata["contsLike"])
df_like.head()

df["좋아요_변환"] = df_like["SUMMCNT"]

필요한 SUMMCNT : 좋아요 수 만 뽑아서 DataFrame 컬럼에 추가한다.

df_last = df[["순위_변환", "순위등락_변환", "앨범이미지_변환", "제목", "가수", "앨범", "좋아요_변환"]]
df_last.head(3)

df_last.columns = ["rank", "rank_change", "img_url", "title", "musician", "album", "like"]

알아보기 쉽게 컬럼명 바꿔준다.

# 이미지 저장
# https://www.delftstack.com/ko/howto/python/download-image-in-python/

# def jpg_load(name, url):
#     f = open(name + '.jpg','wb')
#     response = requests.get(url)
#     f.write(response.content)
#     f.close()

# https://stackoverflow.com/questions/16476924/how-to-iterate-over-rows-in-a-dataframe-in-pandas
# for idx, row in df_last.head().iterrows():
#     jpg_load(row["title"], row["img_url"])

저장할 이미지의 이름과 URL을 Parameter로 가지는 이미지 저장 함수
지금까지 만든 DataFrame으로 이미지를 저장하고 싶다면 위 코드를 실행하면 된다.

#conts > div.multi_row > div.calendar_prid.mt12 > span.yyyymmdd > span class="year"
#conts > div.multi_row > div.calendar_prid.mt12 > span.hhmm > span class="hour"

today = html.select("span.year")[0].text + "_" + html.select("span.hour")[0].text
file_name = f"top100-{today}.csv"
df_last.to_csv(file_name, index=False)

스크래핑한 URL의 날짜와 시간을 받아와서 만들 csv의 이름 설정
top100-yyyy.mm.dd_hh:mm.csv로 저장

pd.read_csv(file_name)

:bookmark:출처

- 멜론차트 TOP100
https://www.melon.com/chart/index.htm
- 정규표현식 텍스트 전처리
https://codingspooning.tistory.com/138
https://kynk94.github.io/devlog/post/re-match-hangul
- Web scraping dynamic content only using beautiful soup
https://sdallman.medium.com/web-scraping-dynamic-content-only-using-beautiful-soup-631496473c0e
- 이미지 저장
https://www.delftstack.com/ko/howto/python/download-image-in-python/
- DataFrame iterrows
https://stackoverflow.com/questions/16476924/how-to-iterate-over-rows-in-a-dataframe-in-pandas

:mortar_board:포스팅 공지

작성한 포스팅은 멋쟁이 사자처럼 AI SCHOOl의 수업 내용입니다.