Negative feedback sequence를 활용한 추천

Benefiting from Negative yet Informative Feedback by Contrasting Opposing Sequential Patterns

problem
- 기존의 시퀀스 모델들은 주로 긍정적인 상호작용만을 고려하고 예측함
- 부정적 피드백이 유저 관심사를 더 정확하게 식별하는 유용한 신호를 제공할 수 있고, 정말 좋아하는 걸 추천해주는 것만큼이나 추천 결과에서 부정적인 아이템을 줄이는 것이 유저 만족도를 향상시킬 수 있다는 점을 간과함
기존에 부정적 피드백 아이템을 활용하는 방법들
- training objective를 수정
  - contrastive loss term을 보조 손실로 추가
  - negative item을 추천하지 않을 log-likelihood 최적화
- hard negative sampling
본 연구는 아예 부정적 피드백 시퀀스에 대해 인코더 자체를 추가함으로써 아키텍처 자체를 변경

![[fig.png|500]]

architecutre
- Positive/Negative 시퀀스 각각에 두 개의 독립적인 Transformer 인코더를 사용
  - 모든 아이템은 단일 아이템 임베딩을 가지지만(공유), 시퀀스 내 각 아이템의 위치 정보는 학습 가능한 Positional Embedding으로 인코딩(긍/부정 각각)
- 추론에서는 오직 Positive Encoder만을 사용하여 다음 긍정적 아이템을 예측함 (Negative Encoder는 학습에서만 쓰임)
- Backbone : [[SASRec]]
Loss
- Positive Cross-Entropy Loss ( $L_{CE_p}$ $L_{C E_{p}}$ ) : Positive Encoder를 훈련하기 위한 표준 교차 엔트로피 손실
  - 목표는 $S_p$ 내 각 $i_t$ 에 대해 다음 긍정적 아이템 $i_{t+1}$ 을 정확하게 예측하는 것
- Negative Cross-Entropy Loss ( $L_{CE_n}$ $L_{C E_{n}}$ ) : Negative Encoder를 훈련하기 위한 표준 교차 엔트로피 손실
  - 목표는 $S_n$ 내 각 $j_t$ 에 대해 다음 부정적 아이템 $j_{t+1}$ 을 정확하게 예측하는 것
- Contrastive Loss ( $L_c$ $L_{c}$ ) : 현재 예측된 긍정적 아이템( $\hat{i}_t$ $\hat{i}_{t}$ )의 임베딩이 실제 다음 긍정적 아이템( $i_{t+1}$ $i_{t + 1}$ )에 가깝고, 동시에 해당 사용자의 부정적 시퀀스( $S_n$ $S_{n}$ )에 있는 부정적 아이템( $j$ $j$ )들과는 멀리 떨어지도록 학습
  - $f$ 는 cosine simularity

L_c = - \sum_{u \in U} \sum_{i_t \in S_p} \log \frac{\exp(f(\hat{i}_t, i_{t+1}))}{\exp(f(\hat{i}_t, i_{t+1})) + \sum_{j \in S_n} \exp(f(\hat{i}_t, j))}

전체 손실은 $L = L_{CE_p} + \alpha L_{CE_n} + \beta L_c$ 이고, $\alpha$ 와 $\beta$ 는 hyperparameter

experiment setup
- MovieLens-1M, MovieLens-20M (명시적 피드백), Amazon Toys&Games (명시적 피드백), Kion. (암시적 피드백)의 네 가지 데이터셋을 사용
- 명시적 데이터셋에서는 median 평점을 기준으로, Kion 데이터셋에서는 시청 완료율 15%를 기준으로 부정적 피드백을 정의
evaluation
- $\text{HR@}k$ , $\text{NDCG@k}$ (negative/positive 각각)
- 핵심 목표는 $\text{NDCG}_p\text{@}k$ 를 최대화하고, 동시에 $\Delta \text{NDCG@k} = \text{NDCG}_{p}\text{@} k - \text{NDCG}_n\text{@}k$ 를 최대화하여, 긍정적 아이템 추천은 늘리고 부정적 아이템 추천은 줄이는 것

![[result-plot.png]]

![[assets/negative feedback sequence를 활용한 추천/result-table.png]] PNFRec은 전체 손실함수를 다 사용한 것, PNFRec_pn은 alpha항만, PNFRec_pc는 beta항만 추가

대부분의 데이터셋에서 true-positive 지표( $\text{HR}_p\text{@}10$ $HR_{p} @ 10$ , $\text{NDCG}_p\text{@}10$ $NDCG_{p} @ 10$ )를 유지하거나 개선하면서, 긍정적-부정적 아이템 간의 차이( $\Delta \text{HR@}10$ $Δ HR@ 10$ , $\Delta \text{NDCG@}10$ $Δ NDCG@ 10$ )를 증가시키는 데 효과적
- 특히 밀도 높은 MovieLens 데이터셋에서 PNFRec의 우수한 성능을 확인
$L_{CE_n}$ 은 주로 $\text{HR}_p\text{@}10$ 및 $\text{NDCG}_p\text{@}10$ 개선에 기여하며, $L_c$ 은 $\Delta \text{HR@}10$ 및 $\Delta \text{NDCG@}10$ 에 큰 영향을 미침 (당연한 결과..)
SASRec_c나 SASRec와 같은 기존 모델들은 명시적 피드백 데이터셋에서 긍정적 아이템과 부정적 아이템을 구분하는 데 어려움을 겪는 반면, PNFRec은 이를 더 잘 수행함
- 같은 명시적 데이터셋끼리도 차이가 있는데
  - movielens는 사용자당 평균 상호작용 수가 훨씬 많고 밀도가 높은 데이터셋으로 긍정적 패턴 학습에 더 많은 정보가 제공됨. 부정 피드백 정보가 가져오는 플러스가 상대적으로 덜한 것으로 보임
  - toy&games에서는 긍/부정 분리는 크게 개선된 반면 tp 예측은 오히려 감소 (싫어할 것 같은 아이템을 제외하는 것과 좋아하는 것을 잘 맞히는 데 trade-off가 있는 것 같기도 함)
$\alpha$ 의 경우 0.1 ~ 0.35 사이의 값이 최적이었음

🤔 드는 생각은 contrastive loss는 사실 hard negative sampling이랑 거의 같은 역할이라고 보임. alpha값을 보면 negative 반영은 보조 역할 수준일때 적절하다는 것. 그리고 결과를 봤을 때 대규모 데이터셋이나(ML-20M) implicit 데이터셋(kion)에서 업사이드가 크지 않고, 기본적으로 태스크(긍정 아이템 예측)에 손실을 보면서 delta를 올리는 건 좀 논쟁의 여지가 있어 보이는데 delta보다는 ‘싫어하는 아이템을 추천하지 않는다’를 좀 더 직접적인 지표로 보면 어떨까 싶음.