미식가의 개발 일기

미션상품별 판매량을 예측하는 시계열 모델링 데이터셋판매 정보상품 기본 정보매장 기본 정보일별 매장별 고객 방문 수일별 유가 과제 수행3가지 핵심 상품의 특정 매장에 대한 이틀 후 판매량 예측  1. 데이터 탐색 및 가설 도출다양한 기간으로 시계열 데이터 패턴 찾기판매량에 영향을 주는 요인 탐색고객 관점에서 생각하기  2. 데이터 전처리 및 base line 모델 생성데이터 탐색을 통해 발견한 패턴 기반 상품별 데이터프레임 구성모델링을 위한 전처리(결측치 처리, 가변수화, 스케일링, 데이터 분할)base line 모델 생성(Dense, LSTM, CNN)  3. 모델 성능 튜닝 및 평가 base line 모델 기반 다양한 모델링 시도성능 평가파이프라인 함수 생성(전처리 과정을 사람의 개입 없이 처리)비즈니..

미션이번 프로젝트는 따로 과제가 주어지는 것이 아닌 AICE Associate 자격증을 대비할 수 있도록 각자 기출을 풀어보고 팀원과 공유하는 시간을 가졌습니다!   AICE란? AICEKT가 개발하여 한국경제신문과 함께 주관하는 인공지능 능력시험입니다.aice.study AICE는 AI Certificate for Everyone의 약자로 KT가 개발한 인공지능 능력시험입니다! FUTURE부터 PROFESSIONAL까지 난이도별로 구성되어 있어서 초등학생 부터 성인까지, 비전공자부터 AI 개발자까지 모두 도전 가능합니다.   이중에서도 이번 프로젝트에서는 Associate 과정을 대비하는 시간을 가졌는데 기출 문제 3개를 제공받고 문제 풀이 후에 답안도 공유받을 수 있었습니다!  느낀점Associate..

미션나와 다른 사람을 구분하는 얼굴 인식 모델 만들기 데이터 셋Keras 모델용: 약 13,000개의 이미지 데이터(약 5,700명의 사람 얼굴)YOLO 모델용: 약 10,000개의 이미지와 텍스트 데이터직접 수집한 내 얼굴 데이터  과제 수행 1. 데이터 수집내 얼굴 이미지 직접 수집 2. 데이터 전처리 데이터 증강: keras layers, Albumentations 활용  keras layers로 증강을 하여 학습했을 때는 성능에 큰 변화가 없었습니다. 더 더양한 증강 기법을 찾던 중 Albumentations라는 훨씬 다양한 증강 기법을 제공하는 라이브러리를 발견했고, 이를 적용하여 학습을 하니 성능이 향상되었습니다. 데이터 라벨링: 온라인 라벨링(roboflow) or 로컬 라벨링 처음에는 ro..

미션스마트폰 센서 기반 데이터를 활용한 행동 인식   데이터셋features: 561개의 센서 신호target: 6개의 행동(서기, 앉기, 눕기, 걷기, 계단 올라가기, 계단 내려가기) 과제 수행데이터 탐색기본 정보 확인변수 중요도 확인값 분포 확인기본 모델링다양한 알고리즘으로 분류 모델 생성하이퍼파라미터 튜닝성능 비교단계별 모델링정적/동적 행동을 구분하는 모델 생성세부 동장을 구분하는 모델 생성모델을 통합하는 파이프라인 구축  느낀점 이번 3차 미니 프로젝트는 딥러닝을 활용하여 과제를 수행했어요!561개라는 엄청난 양의 features가 주어졌는데 지금까지 다뤄본 데이터 중 가장 많았습니다. 😶첫째 날은 모든 features를 다 분석할 수 없기 때문에 RandomForestClassifer로 간단한..

모델의 복잡도단순적정복잡underfitting(과소적합) train, val 성능 감소train, val 성능 증가overfitting(과적합) train 성능 증가, val 성능 감소 → 과적합으로 모델이 복잡해지면 학습용 데이터의 패턴을 과하게 반영하여 그 이외의 데이터셋에서 성능 저하→ 따라서 적절한 복잡도를 찾아나가는 과정이 중요  Early Stopping검증 성능(val loss)이 개선되지 않으면 학습 멈추기  학습할 때 callbacks로 지정 from keras.callbacks import EarlyStopping# 모델 선언 후 설정(생략)# EarlyStoppinges = EarlyStopping(monitor = 'val_loss', min_delta=0.001, patience=..

딥러링의 기본 구조와 작동하는 전체 프로세스에 대해 배웠어요!딥러닝과 머신러닝의 구조는 기본적으로 비슷하지만, 딥러닝에서는 신경망의 여러 층을 사용하여 더 복잡한 모델을 구축합니다.머신러닝은 사용자가 수동으로 특징을 추출하고 도메인 지식을 활용하여 분석해야 했지만 딥러닝은 신경망이 자동으로 특징 추출 후 학습하는 형태입니다. 회귀, 이진 분류, 다중 분류에 대해 스케일링, 활성화 함수, 손실 함수 설정을 달리 해줘야 했는데 이 부분이 가장 주의해야 하는 부분이라고 말씀해주셨어요! 다음주에는 성능 관리와 시계열 데이터 모델링에 대해 배우는데 이번 실습에서 과적합으로 학습 곡선이 이상하게 나왔던 부분을 개선할 수 있는 방법에 대해 배울 것 같습니다. 딥러닝이라는 이름만 들었을 때는 엄청 어려울 것 같고 진입..

미션새롭게 건설할 공공 임대 아파트 단지의 등록 차량 수 예측하기 데이터셋features: 총 세대수, 전용면적, 전용면적 별세 대수, 임대료, 준공 일자 등target: 실 차량수 과제 수행데이터 전처리결측치 처리가변수화스케일링데이터 분리(학습 데이터, 검증 데이터)데이터 집계, 병합 탐색적 데이터분석단변량 분석: 히스토그램, KDE plot 등이변량 분석: 상관분석, 산점도, heatmap 등모델링다양한 알고리즘의 성능을 테스트 한 후 최종 알고리즘 선택데이터 예측파이프라인 구축 후 test셋으로 테스트 수행 느낀점두 번째 미니 프로젝트!! 이번에도 역시 이틀간 진행 되었습니다. 첫 번째와 다르게 다시 한 번 랜덤으로 팀원이 배정 되었는데요. 저희 반은 총 16명에 8명씩 1팀으로 배정이 되어서 첫 ..

미니프로젝트가 끝난 후 기대하던 머신러닝 수업이 시작됐어요! 😊다음 주까지 총 5일간 진행되는데 이번 주는 머신러닝의 개념과 분류에 대해 학습하고, 모델링을 한 후 성능 평가를 하는 법을 배웠습니다! 머신러닝을 하기 위해서는 전에 배웠던 데이터 처리와 분석 과정이 필수적으로 요구됐습니다. 데이터를 전처리하는 과정에서 데이터 처리에 배웠던 기법들을 활용해야 했고, 필요한 데이터를 추출하는 과정에서 데이터 분석에서 배웠던 단변량 분석과 이변량 분석이 선행되어야 한다는 것을 알게 되었습니다! 다시 한번 데이터 전처리에 대한 중요성을 깨닫게 되었고, 강사님께서도 거듭 강조해서 중요하다고 말씀해 주셨습니다! 개념들이 쏟아져 나와서 이전 강의들에 비해 난이도가 있었지만 직접 배운 내용을 활용하여 전처리 한 후 모..