본문 바로가기

반응형

분류 전체보기

(239)
주식분석(1), 퀀트와 머신러닝(랜덤포레스트)을 이용 chatGPT 입력 명령어 판다스를 이용하여 258,259,260,261열이 23열에, 258,259,260,261열이 24열에, 258,259,260,261열이 25열에 미치는 중요도에 대해 랜덤포레스트를 이용하여 확인하고 싶은데 7열의 값이 500 이상만 훈련할수 있도록 코드 작성해줘 import pandas as pd from sklearn.ensemble import RandomForestRegressor df = pd.read_csv('/content/sample_data/퀀트.csv', error_bad_lines=False, encoding='euc-kr') df_filled = df.fillna(0) X = df_filled.iloc[:, [73, 260, 261]].values y_23 ..
릿지(Lidge), 라쏘(Lasso), 엘라스틱넷(Elastic net) 규제 릿지(Ridge)와 라쏘(Lasso)는 선형 회귀 모델에서 사용되는 규제(regularization) 기법입니다. 이들은 모델의 복잡성을 제어하고, 과적합(Overfitting)을 방지하기 위해 사용됩니다. 릿지(Ridge) L2 규제 파라미터(가중치)의 제곱에 피례하는 패널티 부과 라쏘(Rasso) L1 규제 파라미터(가중치)의 절댓값에 비례하는 패널티 부과 엘라스틱넷(Elastic net) 릿지와 라쏘의 혼합 r = 0이면 릿지 회귀와 같고, r = 1이면 라쏘 회귀와 같음 릿지가 기본이 되지만 쓰이는 특성이 몇 개 뿐이라고 의심되면 라쏘나 엘라스틱넷이 낫다 조기종료 from copy import deepcopy poly_scaler = Pipeline([ ("poly_features", Polyno..
다항회귀 함수 정의 및 학습곡선 함수정의 from sklearn.metrics import mean_squared_error from sklearn.model_selection import train_test_split def plot_learning_curves(model, X, y): X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=10) train_errors, val_errors = [], [] for m in range(1, len(X_train) + 1): model.fit(X_train[:m], y_train[:m]) y_train_predict = model.predict(X_train[:m]) y_val_predict ..
배치 경사하강법 / 확률적 경사하강법 / 미니배치 경사하강법 활용처 배치 경사하강법(Batch Gradient Descent) 작은 규모의 데이터셋 정확한 최적화를 필요로 하는 경우 볼록 손실함수 모델이 충분한 메모리를 가지고 있는 경우 과적합이 없는 경우 확률적 경사하강법(Stochastic Gradient Descent) 대규모 데이터셋 온라인학습 비선형 최적화(그래디언트를 계산하기 어렵거나, 미분 불가할대) 규제(SGD는 L1, L2규제와 함께 사용되어 오버피팅 방지 신경망 학습 미니배치 경사하강법(Mini-Batch Gradient Descent) - 임의의 샘플에 대해 gradient 계산 대규모 데이터 셋 메모리 제약이 있는 경우 노이즈 계산 효용성(배치보다 속도가 빠름) 행렬 연산에 최적화된 하드웨어, 특히 GPU 출처: 핸즈온 머신러닝
[육아] 생후 49일 기적이 일어나는 중 지금의 육아의 고됨이 힘든 부분도 있지만 행복을 주는게 더 많아서 폭풍성장하고 있는 지금 이 순간을 기록하고 싶다. 우리 도아는 4월 1일에 태어났다. 오늘이 5월 19일이니깐 49일째 지금 시간은 6시 13분. 5시쯤에 애기가 살짝 잠꼬대? 하길래 먼저 잠에서 깨고 일어날 때까지 기다리는 중이다. 그런데 일어나질 않는다. 50일의 기적인가? 생후 30일 이후부터 조금씩 패턴을 보이기 시작했다. 주로 새벽 4시 전후로 깨나면서 새벽 수유를 한번 하더니 그게 5시가 되고 오늘은 6시를 넘겼다. 생후 2달까지는 부모의 요구대로 패턴을 만들지 말고 아이가 먹고싶은 때, 자고 싶은 때에 할 수 있도록 하라는 얘기가 있었는데 이제는 좀 패턴을 만들어도 되지 않나 싶다. 그래서 생각 한 것이 3 6 9 12이다. ..
[코딩] 09-1,2 순환신경망 순환신경망 : 이전에 처리했던 샘플을 재사용, 은닉층의 활성화 함수는 tanh(하이퍼블릭 탄젠트를 사용) 타임스텝의 은닉상태에 곱해지는 가중치가 하나 더 있음. 타임스텝 : 샘플을 처리하는 한 단계 셀 : 순환 신경망에서의 층 은닉상태 : 셀의 출력 모델 파라미터 수 : Wx + Wh + 절편 순환층은 일반적으로 샘플마다 2개의 차원을 가짐 하나의 샘플을 시퀀스라고 함 시퀀스 안에는 여러 개의 아이템이 있음('I', 'am', 'a', 'boy') 시퀀스의 길이가 타임스텝의 길이. 순환층을 통과하면 2차원 배열이 1차원 배열로 바뀜 이 1차원 배열의 크기는 순환층의 뉴런 개수에 의해 결정 순환층은 마지막 타임스텝의 은닉 상태만 출력으로 내보냄 데이터 준비 from tensorflow.keras.datas..
[코딩] 08-2 합성곱 신경망을 사용한 이미지 분류 데이터 불러오기 from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.load_data() train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train_scaled, train_target, test_size=0.2, random_state=42) 합성신경망 만들기 model = ..
[코딩] 08-1 합성신경망 CNN(Convolutional Neural Network, 합성신경망) 필터 : 뉴런의 개수 커널 : 입력에 곱해지는 가중치 from tensorflow import keras keras.layers.Conv2D(10, kernel_size = (3,3), activation = 'relu') #10은 필터의 개수, kernel_size 는 보통 (3,3) 또는 (5,5)를 권장 패딩 : 입력 배열의 주위를 가상의 원소로 채우는 것 세임패딩 : 입력 주위에 0으로 패딩 밸리드 패딩 : 패딩 없이 순수 입력 배열로만 합성곱 하는 경우 keras.layers.Conv2D(10, kernel_size = (3,3), activation = 'relu', padding = 'same') 스트라이드 : 필터(도..

반응형