낼름낼름 동동이

5월 29일의 기록어제 저녁에 뷰티 광고 유튜브들의 음성 데이터의 푸리에 변환까지 해두었는데, 이제 변환된 각 특성들이 무엇을 의미하는지, 어떻게 활용해야 할지를 공부해야겠다. 오늘은 CNN과 image의 구조를 배우다보니까 시각적으로 보이는 것 덕분에 이해가 잘되서 기분이 좋다. 목차Fashion_MNIST 데이터셋을 활용한 CNN 구조의 OptunaImage_intro( 이미지의 활용 방법 학습)  1. Fashion_MNIST 데이터셋을 활용한 CNN 구조의 Optuna CNN 구조의 최적화를 자동으로 해주는 Optuna를 활용해보자. Optuna 설치!pip install optuna패키지 import & 데이터셋 불러오기import optunaimport timeimport tensorflow ..

5월 24일의 기록딥러닝 과정의 수업 내용을 한번 듣고 이해하는건 어려우니까... 블로그로 정리하면서 시간 날때마다 정리해보는 습관을 만들자..!Neural Networks신경망 구조실제 인간의 뉴런과 동일한 방식대로 동작하는 것이 아니라 그 구조가 동일하여 붙여진 이름이다.다음 한층으로 넘어갈 때 마다 행렬의 곱의 형태로 이루어져 있다.  활성함수 (Activation Fuction)비선형성을 만들자.어떤걸 사용하냐에 따라 성능이 달라진다 → 즉, 하이퍼 파라미터 튜닝의 영역기본적으로는 무엇이 좋을지는 한번 써보면서 결정해야 한다.시그모이드 계열은 연산 속도도 느리고 그레디언트 소실의 원인이 되어 신경망 학습에는 좋지 않지만 값을 고정 범위로 만들어주는 기능이 필요한 구조에서 다양하게 활용된다.  하이..

5월 7일의 기록오늘은 드디어 머신러닝 팀프로젝트 주제를 좀 정할 수 있었다. 이번 주말 내내 생각을 했었지만 좀처럼 괜찮은 답을 내리기 어려워서 걱정을 많이 했었는데, 해결 되어 진짜 다행이다.고민하던 걸 글로 써내면서 끝까지 최대한 논리적인 결론을 지어야겠다 생각하면서 최대한 내가 생각하는 괜찮은 아이디어를 바탕으로 팀원들에게 이야기를 했더니 아이디어에 부족한 부분을 보충해줘서 그 덕분에 할 수 있는 것들이 많이 생긴 것 같다.KNNK Nearest-Neighborhood기본 개념: 끼리끼리, 초록은 동색 → 그 사람에 대한 사항을 판단할 때, 그 사람의 친구로 판단하겠다는 일상 개념을 모델링화분류 & 회귀 모두 가능하다.Instance Model: 학습 개념이 아닌 주어진 데이터들의 거리 계산으로 ..

4월 30일의 기록머신 러닝을 하는 이유에 대해서 우선적으로 이해하면서 이론적인 공부를 하니 왜 이렇게 해야하는지, 수학적인 관점에서 왜 이런 계산식을 쓰는지 더 명확해진다. 내가 이해한 흐름대로 최대한 블로그를 쓰면서 제대로 이해했는지 검증해야겠다.목차수, 벡터, 행렬, 텐서(3차원 이상)데이터의 분리Learning이란?Learning : Parameter Estimation모델 평가 방법  수, 벡터, 행렬, 텐서수(Scalar) : 0차원벡터(Vector) : 1차원행렬(Matrix) : 2차원 행렬텐서(Tensor): 3차원 이상의 값머신러닝에서는 기본적으로 2차원의 행렬(Matrix)을 사용하게 된다.1개의 sample data → 여러 개의 측정값 → 여러 개의 값을 모아두는 Vector 표현..

4월 16일의 기록 오늘은 수업이 조금 일찍 끝나서 로스트아크 api 구조를 좀 살펴보면서 어떻게 데이터를 끌어낼 수 있을지 확인해봤다. 우선 가진 장비나 아이템 레벨등의 정보를 가져오기위해선 해당 캐릭터 이름이 필요한데, 캐릭터 이름을 데이터로 받는 api는 없었다. 따라서, 캐릭터 이름을 수집하기 위해서는 로아와 같은 통계 사이트에서 크롤링을 통해 캐릭터 이름을 받아와야 할 것으로 보인다. 하나씩 해보면서.. 더 구체화시켜봐야지 1. 태블로 시각화의 중요성 월별로 높은 매출을 기록하고 있는 카테고리가 무엇인지 확인 할 때 한눈에 들어온다. 이처럼 시각화를 잘 활용하면 누구나 이해하기 쉬운 데이터 대시보드를 만들어낼 수 있다. 각 경쟁사들을 한눈에 비교하기 누구나 참여 가능한 대화형 데이터를 시각화 할..

웹사이트 동작 방식 Client -> Server에 접속하기 위해 network에 접속 라우팅하는데 네트워크를 사용하고 서버는 응답을 하고 클라이언트는 그 응답을 받는다. 클라이언트를 서버가 찾기 위해서는 확인하기 위해서는 IP주소가 필요한데, IP주소가 있어야 원하는 서버에 요청을 보내고 받을 수 있다. 이는 메일을 보내고 받는 과정과 너무 유사하다. 전통적인 IT 구조 home, garage에 물리적 서버가 있었고 점점 처리해야 할 데이터가 많아지면서 office data center가 만들어졌다. 이 방법은 오래동안 사용되었지만 문제가 있었음. 왜냐면 필요할 때마다 서버를 증설했다가 또 필요 없어지면 들였던 비용이 부담이 되기 때문이었다. 데이터 센터를 유지하는 것의 단점 rent, datacent..

4월 15일의 기록 날이 더웠다가 추웠다가 일교차가 심해지고 있다. 벌써 ASAC 과정도 한달이 넘게 지났고, 이제는 개인 프로젝트를 앞두고 있다. 어떤 주제를 가지고 첫 프로젝트를 해야할지 고민이 아직 많이 되지만, 요새 드는 생각에는 적당히 고민하고 시작을 먼저 해서 결과를 보는 것도 중요한 것 같다. 빨리 시작해서 무언가를 하다가 깨닫는 것도 있고 지금은 보이지 않는 것도 그때는 보일 수도 있으니까? 물론.. 헛걸음이 될수도 있지만… 그리고, 추후에 좋은 아이디어는 나 혼자서 끝까지 혼자 빌드해서 만들고나서 블로그에 다 써놓는다면 이것 또한 매력적으로 풀 수 있지 않을까? 라는 생각에 잠겨본다. 오늘은 지난 시간에 했던 DART 공시 데이터를 셀레니움으로 받아오는 과정을 진행하고 또 한번 정리한 데..

4월 12일의 기록 오전에는 실업 급여 인정을 위해 수업을 가지 못하였다. 오전에 놓쳤던 부분은 점심 시간에 따로 공부를 하면서 실습을 따라해보았다. 오히려 혼자서 블로그에 정리해가면서 실습 내용을 따라가니 빠른 시간에 고효율을? 낼 수 있는 것 같아서 좋았다! 다음주부터는 수업 진도가 살짝 느리니까… 코테 문제나 자격증 공부를 좀 해두고 점심시간에 혼자 정리해봐야겠다. 물론 너무 어려우면 수업을 들어야겠지만.. 1. Crawling 크롤링의 목적: 기본적으로 명확하게 데이터를 주고 받으려면 API를 활용해야 한다. 단, 하루 할당량, 주간 할당량이 제한되어 있고 일반적인 사이트에서는 API를 제공하지 않는 곳도 존재함. 기능 체크 방법 숨겨져 있는 주소는 어떻게 찾지? ⇒ 브라우저 개발도구 일반적인 h..