전체 글
-
[ML] Catboost train & valid metric인공지능 2022. 4. 15. 01:31
부스트캠프를 진행하며, Catboost를 추천시스템에 활용할 기회가 생겼다. Catboost는 ML 라이브러리인 sklearn과 같은 방식으로 학습과 예측을 실행하면 됐는데 한가지 아쉬운점이 있었다. 학습(training)과정을 반복(iteration) 할때마다 validition metric을 보고 몇번의 itertation이 최적인지, 그 값을 wandb에 업로드를 하고 싶었지만, 설정을 따로 해줘야 했는데, 어떻게 코드를 짜야하는지 알지 못했다. 열심히 공식 문서를 뒤져봐도 확실한 예제를 못찾았지만, 공식 github의 가이드문서로 사용법을 알게 됐고, 이를 정리하게 되었다. catboost의 Classifier를 기준으로 설명하겠다. sklearn과 마찬가지로, 우선 Catboost의 객체를 생성..
-
[Github] Clone personal access tokenCS 2022. 3. 21. 22:41
부캠 2번째 P스테이지 오픈날, 팀의 repo를 clone하려고 하자, 아이디와 암호를 입력하라고 하여, 아이디와 아이디의 비밀번호를 입력했고 이런 오류가 발생했다. remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information. fatal: Authentication failed for 'https://url' 구글링 해보니, per..
-
[RecSys] 5. Item2Vec and ANN인공지능/부스트캠프 Ai Tech 2022. 3. 17. 16:54
In [1]: from IPython.core.display import display, HTML display(HTML("")) Item2Vec and ANN¶Item2Vec은 Word2Vec을 추천분야에서 응용한 버전이다. ANN은 주어진 벡터와 가장 가까이 있는 벡터를 근사적으로 찾는 방법이며, 실제 서빙할때 많이 사용하는 기법이다. Word2Vec & Item2Vec¶Item2Vec은 Word2Vec을 추천분야에서 응용한 버전이다. Word2Vec의 학습방법론 - SGNS¶Skip-Gram 에 Negative Sampling을 추가한 방법론, Negative Sampling의 갯수는 모델의 하이퍼 파라미터로, 기존의 Skip-Gram 방식은 다중 분류였지만, SGNS의 방식으로 바뀌면서 이진분류(..
-
[L1_P_stage] 개인 회고인공지능/부스트캠프 Ai Tech 2022. 3. 12. 14:27
부스트캠프 3기 첫번째 프로젝트였던 마스크 분류 과제를 한 후, 느꼈던 점 및 아쉬운점을 정리해보았습니다. 나는 내 학습 목표를 달성하기 위해 무엇을 어떻게 했는가? 우리 팀과 나의 학습 목표 : 팀원 다수가 대회 형태의 프로젝트를 경험해 본적이 없었고 AI 분야에 익숙하지 않았다. 그래서 이번 P_stage에서는 각자 낸 아이디어를 구현하는 것과 깃허브를 활용한 협업을 수행하는 것을 목표로 하였다. 개인 학습 측면 : 오픈소스를 가져와서 단순히 jupyter 형태로 코드를 작성하는것이 아닌 python project 형태로 구현하여 baseline 코드와의 연동할려는 시도를 하였다. 또한 팀원들과 지속적인 협업을 위해 github와 notion을 사용하여 각자의 개발이 충돌하지 않도록 관리하고자 하였다..
-
[RecSys] 4-4. Collaborative Filtering - MBCF_MF인공지능/부스트캠프 Ai Tech 2022. 3. 11. 18:30
In [1]: from IPython.core.display import display, HTML display(HTML("")) 협업필터링(Collaborative Filtering, CF)¶CF 분류¶ Neighborhood-based CF (Memory-based CF) 2. Model-based CF * Singular Value Decomposition * Matrix Factorization(SGD, ALS, BPR) * Deep Learning Hybrid CF Matrix Factorization(MF)¶User-Item 행렬을 저차원의 User와 Item의 latent factor 행렬의 곱으로 분해하는 방법 SVD의 개념과 유사하나, 관측된 선호도(평점)만 모델링에 활용해, 관측되지 않..
-
[RecSys] 4-3. Collaborative Filtering-MBCF_SVD인공지능/부스트캠프 Ai Tech 2022. 3. 11. 18:26
In [1]: from IPython.core.display import display, HTML display(HTML("")) 협업필터링(Collaborative Filtering, CF)¶'많은 유저들로부터 얻은 기호 정보'를 통해 유저의 관심사를 자동으로 예측하는 방법 더 많은 유저/아이템 데이터가 축적될수록 협업의 효과는 커지고 추천이 정확해질 것이란 가정에서 출발 목적 : 유저 u가 아이템 i에 부여할 평점을 예측 방법 주어진 데이터를 활용해 유저-아이템 행렬 생성 유사도 기준을 정하고, 유저 혹은 아이템 간의 유사도를 구함 주어진 평점과 유사도를 활용해 행렬의 비어 있는 값(아직 소비하지 않은 평점) 예측 TF-IDF와는 달리 아이템이 가진 속성을 사용하지 않고 추천을 한다. CF 분류¶ N..
-
[RecSys] 4-2. Collaborative Filtering - Rating Prediction인공지능/부스트캠프 Ai Tech 2022. 3. 11. 18:17
In [1]: from IPython.core.display import display, HTML display(HTML("")) 협업필터링(Collaborative Filtering, CF)¶'많은 유저들로부터 얻은 기호 정보'를 통해 유저의 관심사를 자동으로 예측하는 방법 더 많은 유저/아이템 데이터가 축적될수록 협업의 효과는 커지고 추천이 정확해질 것이란 가정에서 출발 목적 : 유저 u가 아이템 i에 부여할 평점을 예측 방법 주어진 데이터를 활용해 유저-아이템 행렬 생성 유사도 기준을 정하고, 유저 혹은 아이템 간의 유사도를 구함 주어진 평점과 유사도를 활용해 행렬의 비어 있는 값(아직 소비하지 않은 평점) 예측 TF-IDF와는 달리 아이템이 가진 속성을 사용하지 않고 추천을 한다. CF 분류¶ N..
-
[RecSys] 4-1. Collaborative Filtering인공지능/부스트캠프 Ai Tech 2022. 3. 11. 18:14
In [1]: from IPython.core.display import display, HTML display(HTML("")) 협업필터링(Collaborative Filtering, CF)¶'많은 유저들로부터 얻은 기호 정보'를 통해 유저의 관심사를 자동으로 예측하는 방법 더 많은 유저/아이템 데이터가 축적될수록 협업의 효과는 커지고 추천이 정확해질 것이란 가정에서 출발 목적 : 유저 u가 아이템 i에 부여할 평점을 예측 방법 주어진 데이터를 활용해 유저-아이템 행렬 생성 유사도 기준을 정하고, 유저 혹은 아이템 간의 유사도를 구함 주어진 평점과 유사도를 활용해 행렬의 비어 있는 값(아직 소비하지 않은 평점) 예측 TF-IDF와는 달리 아이템이 가진 속성을 사용하지 않고 추천을 한다. CF 분류¶ N..