선선

정의 학생과 문항 별로 고유한 특성이 있다는 가정을 한다. 학생은 말로는 정의할 수 없는 ‘잠재 능력(𝜃)’이 있다 가정하며 문항은 이 학생의 잠재 능력을 입력으로 받아 이 학생이 문항을 맞출 확률을 반환하는 어떤 함수가 있다고 가정한다. 만약 학생의 잠재 능력을 알고, 문항별로 모수를 안다면, 전체 학생의 모든 문제를 맞출 확률을 모두 알 수 있다. 방법 → 문항별 모수 함수에 학생 고유 능력을 넣으면 각 문제를 맞출 확률을 알 수 있다. • 𝜃: 학생 고유 능력_theta • 𝛽: 문항별 모수 함수 (문제별 어려움의 척도)_beta • 𝑐: 문항을 찍어 맞출 확률: left_asymptote (통계 수치로 대체) 논문: Applications of the Elo Rating System in Adap..

DKT 학생들의 반응을 예측하는 문제에 RNN과 LSTM 모델을 적용시킨 방법 학생의 과거 학습 활동 데이터를 이용하여 시간이 지남에 따라 학생의 지식 상태(knowleddge state)를 모델링. RNN 모델의 이점 인간 도메인 지식에 명시적 인코딩 없이 복잡한 표현 가능. NN 모델로서의 이점 다양한 knowledge tracking data set에서 예측 성능이 크게 향상 학습된 모델은 지능형 커리큘럼 설계에 사용 가능 한 학생이 50개 문제를 풀 때 나온 예측 정답률를 그림으로 나타냄. (안에 색이 있으면 맞춘 문제. 안에 색이 없으면 틀린 문제.) y-intercept를 10번에서 맞추니 조금 초록색이 되었다. 지식 상태 표현 방법 x: 학생의 행동에 대해 원핫인코딩이나 압축된 표현. (학생..

1. Multi-Armed Bandit (MAB) k개의 슬롯머신에서 얻을 수 있는 reward의 확률이 모두 다르다고 가정. 수익을 최대화하힉 위해서는 arm을 순서대로 혹은 어떤 정책(policy)에 의해 당겨야 하는가? exploration(탐색): 더 많은 정보를 얻기 위해 새로운 arm을 선택. exploitation(활용): 기존의 경험 혹은 관측 값을 토대로 가장 좋은 arm을 선택하는 것. exploration과 exploitation 사이의 trade-off 발생. 유저 추천: 클러스터링을 통해 비슷한 유저끼리 그룹화한 뒤에 해당 그룹 내에서 bandit을 구축함. 2. MAB 알고리즘 1. Greedy Algorithm 실제 기대값의 가장 간단한 추정 방식으로 표본 평균을 사용. 가장 ..

1. CTR Prediction with DL 현실의 CTR 데이터를 기존의 선형 모델로 예측하는데 한계가 있다. 1. sparse 하고 고차원 features 2. features간의 비선형 연관 2. Wide & Deep 선형적인 모델(Wide)와 비선형적인 모델(Deep)을 결합한 모델. 3. DeepFM 두 요소(wide, deep)가 입력값을 공유하도록 한 end-to-end 방식의 모델 4. Deep Interest Network (DIN) User behavior feature를 사용한 논문. 사용자가 기존에 소비한 아이템의 리스트를 user behavior feature를 만들어, 예측 대상 아이템과 이미 소비한 아이템 사이의 관련성을 학습. 5. Behavior Sequence Trans..

1. Context-aware Recommendation (CAR) MF를 활용한 CF의 한계: 유저의 데모그래픽이나 아이템 카테고리 및 태그 등 여러 특성들을 추천 시스템에 반영할 수 없다. + cold start에 대처하기 어려울 수 있다. 컨텍스트 기반 추천: 유저와 아이템 간 상호작용 정보 뿐만 아니라, 맥락적 정보도 함께 반영. e.g) 유저가 주어진 아이템을 클릭할 확률 예측 알고리즘: 로지스틱 회귀/SVM -> MF -> FM -> FFM 2. Factorization Machine (FM) SVM과 FM의 장점을 결합 FM의 장점: 1. SVM에 비해 매우 sparse한 데이터에 대해서 높은 예측 성능을 보인다. 2. MF에 비해 여러 예측 문제에 모두 활용 가능한 범용적인 지도 학습 모델..

1. with DL DNN의 비선형 효과를 통해 복잡한 user-item interaction pattern을 효과적으로 모델링할 수 있다. 사람이 직접 feature design을 하지 않아도 된다. sequential modeling task에 성공적으로 적용 가능하다. 다양한 프레임워크가 있어 효율적으로 서빙이 가능하다. 2. with MLP MF의 한계: user와 item embedding의 선형 조합을 구해서 복잡한 관계를 표현하기 어렵다. Neural Collaborative Filtering GMF (Generalize Matrix Factorization)과 MLP을 앙상블하여 사용한 모델. Deep Neural Networks for YouTube Recommendations Candi..

1. Word2Vec 워드 임베딩: 텍스트 분석을 위해 단어를 벡터로 표현하는 방법. 임베딩으로 표현하는 이유: 주어진 데이터를 낮은 차원의 벡터로 만들어서 dense하게 나타내기 위해. 비슷한 단어일수록 임베딩 벡터가 가까운 위치에 분포한다. 임베딩으로 표현하기 위해서는 학습 모델이 필요하다. Word2Vec : 뉴럴 네트워크 기반, 단어를 dense vector로 표현. 학습방법: 1. Continuous Bag of Words (CBOW): 주변에 있는 단어로 센터에 있는 단어 예측. 2. Skip-Gram: CBOW의 입력층과 출력층이 반대로 구성된 모델, 즉 센터에 있는 단어로 주변 단어 예측. 3. Skip-Gram w/ Negative Sampling (SGNS): Negative Sampl..

1. Collaborative Filering (CF) CF란?: 많은 유저들로부터 얻은 선호 정보를 이용해 유저의 관심사를 자동으로 예측하는 방법. 최종 목적: 유저 u가 아이템 i에 부여할 평점 예측 CF의 방법: 유저-아이템 행렬 생성 -> 유저 or 아이템 간의 유사도 구하기 -> 주어진 평점과 유사도를 활용하여 비어있는 값(평점) 예측 CF의 원리: 취향이 비슷한 유저들끼리 선호하는 아이템을 추천한다. CF의 종류: Neighborhood-based CF: User-based or Item-based Model-based CF: Non-parametric(KNN, SVD), Matrix Factorization, Deep Learning Hybrid CF: Content-baed Recsys과 ..

0. 추천 시스템 기법 추천 시스템은 다른 분야보다 ML과 DL의 성능 폭이 크지 않다. 1. 연관 분석 (Association analysis) 1) 연관 규칙 상품의 구매, 조회 등 하나의 연속된 거래들 사이의 규칙을 발견하기 위해 적용. 주어진 transaction 데이터에 대해서, 하나의 상품이 등장했을 때 다른 상품이 같이 등장하는 규칙 찾기 (인과관계가 아님!!) 규칙: IF (condition) THEN (result) 연관 규칙: IF (antecedent) THEN (consequent) 특정 사건이 발생했을 때 함께 빈번하게 발생하는 또 다른 사건의 규칙 antecedent와 consequent는 disjoint(서로소)를 만족한다. 빈발 집합(Frequent Itemset) items..

1. 추천시스템이란? Search: 사용자가 검색을 통해 item을 소비하는 방식이라면, Recommend: 사용자가 의도를 가진 키워드를 명목적으로 제공하지않더라도 상품을 유저에게 노출. 2. 추천 시스템에서 사용하는 정보 유저 관련 정보 유저 프로파일링 식별자: 유저 ID, 디바이스 ID 등 데모그래픽 정보: 성별, 연령, 지역, 관심사 유저 행동 정보: 페이지 방문 기록, 아이템 평가, 구매 등의 피드백 기록 아이템 관련 정보 추천 아이템의 종류: 포탈, 미디어, 광고/커머스 아이템 프로파일링: 아이템 ID, 아이템의 고유 정보 유저-아이템 상호 작용 정보 Explicit Feedback: 유저에게 아이템에 대한 만족도를 직접 물어볼 때 Implicit Feedback: 유저가 아이템을 클릭하거나 ..