영화, 드라마 및 음악 스트리밍 서비스에서는 아이템의 카테고리(장르)가 사용자의 소비 결정에 주요한 영향을 행사한다. 본 연구는 이러한 가설 하에 스트리밍 서비스에서 잠재요인 모형(latent factor model)에 카테고리 정보(side information)를 활용하는 전략에 관하여 논의하고자 하였다. 잠재요인 모형으로는 NCF(He et al., 2017)에서 제안하였던 GMF(general matrix factorization), NCF(neural collaborative filtering)을 활용하였다. 두 모형은 인공신경망 기반 잠재요인 모형의 기본이 되는 모형들로서, 매칭 함수(matching function) 학습 여부에만 차이가 있다.
핵심 논점은 두 가지이다. 첫째, 사용자의 장르 선호도가 명시되지 않았을 경우, 이를 가시화하는 방안이다. 이를 위하여 장르 임베딩 벡터를 사용자의 장르 선호도에 따라 가중 집계하여 사용자의 장르 선호 벡터를 생성하였다. 단, 사용자의 장르 선호도는 데이터로부터 관측할 수 없는 잠재 변수(latent variable)에 해당한다. 따라서 장르 임베딩 벡터 집계 시 어텐션 메커니즘을 사용하되, 어텐션 스코어를 상수(constant)가 아닌 확률 변수(random variable)로 설정하여 그 인식적 불확실성(epistemic uncertainty)을 모델링하였다.
둘째, 엔티티 벡터와 장르 벡터의 결합 전략이다. 이하 함수들을 정보 합성 관점에서 해석하고 성능을 비교하였다. 또한 본 연구에서 채택한 데이터 셋은 무비렌즈(movielens)로, 영화가 한 장르에 국한되지 않고 여러 장르에 중첩되어 있다. 그 합동(pooling) 전략으로서 앞선 함수들을 적용하였다.
sum: 두 정보를 누적하여 합성하는 정보 누적 연산(보외법)mean: 두 정보를 균등 비율로 선택하여 합성하는 정보 선택 연산(보간법)att: 두 정보를 임의 비율로 선택하여 합성하는 정보 선택 연산(보간법)prod: 두 정보의 교집합을 부각하는 정보 여과 연산(상호작용)cat: 후속 레이어(e.g. mlp, linear, etc.)에서 합성하도록 두 정보를 보존함
실험 결과, 엔티티의 행동 경향과 장르 정보를 균등 비율로 선택하여 정보량을 정규화하는 보간법 전략이 가장 우수한 성능을 보였다. 반면, 정보를 누적하여 정보량을 보존하는 보외법 전략은 가장 저조한 성능을 나타냈다. 이 실험 결과는 엔티티의 행동 경향과 장르 정보가 서로 보완되는 정보라기보다는 일부 대체 가능한 정보임을 시사한다. 따라서 문화 콘텐츠 스트리밍 서비스에서는 아이템의 카테고리가 사용자의 소비 의사를 결정하는 요인 중 하나라는 앞선 가설을 뒷받침한다고 볼 수 있다.
불확실성(uncertainty)이란 어떠한 대상의 결과를 현재 시점에서 확정할 수 없는 상태를 말한다. 확률(probability)은 이 불확실성을 계량하는 단위이다. 확률 해석(probability interpretation)의 주된 입장은 빈도적 해석(frequentist probability)이었다. 이는 실증론적 관점(positivism)에서 확률을 해석하는 관점으로서, 확률이 반복 실험 결과 사건이 관측된 상대 빈도(relative frequency)라 정의한다. 즉, 확률은 어떤 집합에서의 비율을 의미하기 때문에, 빈도주의에서 준거 집합(reference class)2은 반복 시행의 집합이 된다. 표본이 클수록, 시행 횟수가 많을수록 상대 빈도에 대한 신뢰도(confidence)가 개선된다.
한편, 베이지안(bayesian stats.)은 확률의 주관적 해석(subjective probability)을 따르고 있다. 이는 인식론적 관점(epistemology)에서 확률을 해석하는 관점으로서, 확률이 현재 주어진 정보 하에서 (사건이 발생하리라는) 명제의 신념(belief)이라 정의한다. 이때의 확률은 어떤 정보 하에서의 신념을 의미하므로, 베이즈주의에서 준거 집합은 연구자가 현재 보유하고 있는 정보량, 즉 연구자의 현재 인식 상태(prior)와 관측값(likelihood)이 된다. 증거(evidence), 즉 관측값이 많을수록 정보가 축적되어 신념에 대한 신용도(credible)가 개선된다.
이렇듯 확률을 이해하는 관점의 차이는 모수 추정의 목표와 과정의 차이로 귀결된다. 빈도주의는 모수를 실증적으로 규명하고자 한다. 그 과정에서 발생하는 불확실성은 모수 추정 과정 상의 불확실성으로서, 구체적으로 표집의 무작위성(sampling randomness)이 된다. 따라서 모수
요컨대 빈도주의는 모수 추정 과정에서 발생하는 표집의 무작위성을 확률로 모델링하고, 베이즈주의는 모수의 참값을 알지 못하는 연구자의 인식 상태를 확률로 모델링한다. 사용자의 장르 선호는 반복적으로 관측되는 결과가 아니라, 그 결과를 유발하는 모수에 해당한다. 하지만 이를 관측된 사용자-아이템 매칭으로부터 유일하게 식별하기 어렵다. 다시 말해, 관측과 양립 가능한 여러 장르 선호가 존재할 수 있다. 따라서 장르 선호를 특정 값으로 규명하기보다, 가능한 장르 선호들에 대한 신념 분포를 형성하는 것이 적합하다고 판단하였다. 이에 어텐션 스코어(attention score)를 잠재 변수(latent variable)로 설정하고, 이를 베이즈 추론(bayesian inference)으로 모델링하였다.345
어텐션 메커니즘의 어텐션 스코어에 베이즈 추론을 적용하는 방법으로는 Bayesian Attention Modules(Fan, 2020)를 인용하였으며, 구체적인 수식은 다음의 레파지토리에 약식으로 기술하였다. link
본 연구에서는 엔티티 벡터와 장르 풀링 벡터의 결합 전략으로서 sum, mean, att, prod, cat 을 활용하였다. 선형 공간이 정보를 여러 의미 단위(기저)들로써 기술하는 하나의 의미 체계라 정의하자. 그렇다면 벡터의 방향(direction)은 독립적 의미 단위들의 상대적 비례 관계로서, 의미 체계 안에서 정의된 하나의 개념(concept)으로 해석될 수 있다. 또한 특정 방향으로의 크기(norm)는 누적된 정보량으로서, 사상된 정보가 해당 개념을 나타내는 강도로 해석 가능하다.
이러한 관점에서 보자면, 결합 전략들은 모두 두 개념을 합성하여 새로운 개념을 생성하는 전략들이다. sum, att 는 모두 선형 결합(linear combination)으로서, 개별 정보가 합성 결과에 독립적으로 기여하는 가법적(additivity) 합성 전략이다. 단, sum 는 개별 정보를 누적하는 정보 누적 연산(보외법)인 반면, att 는 개별 정보들의 합성 비율을 선택하는 정보 선택 연산(보간법)에 해당한다. mean 은 정보 선택 연산 중 합성 비율을 균등 비율로 고정하는 특수한 사례에 해당한다.
한편, prod 는 쌍선형 사상(bilinear map)에 해당한다. 선형 사상은 정보를 개별 의미 단위(기저)로 재구성하고 그 크기를 평가하는 연산이다. 쌍선형 사상은 상호간에 기저가 되어 서로를 평가하는 연산으로서, 공통으로 활성화된 기저만을 부각하고 비활성화된 기저는 차단하는 정보 여과(상호작용) 연산이 된다. 비교하자면, 선형 결합이 두 정보가 합성 결과에 독립적으로 기여하는데 반해, 쌍선형 사상은 상호 의존적으로 기여한다고 볼 수 있다. 이상의 연산은 모두 두 정보가 사상된 공간이 동일함을 전제한다. 이와 달리, cat 은 기저를 추가하여 공간을 확장하는 연산으로서, 후속 레이어에서 정보를 합성하도록 두 정보를 보존한다.
sum: 두 정보를 누적하여 합성하는 정보 누적 연산(보외법)
mean: 두 정보를 균등 비율로 선택하여 합성하는 정보 선택 연산(보간법)
att: 두 정보를 임의 비율로 선택하여 합성하는 정보 선택 연산(보간법)
prod: 두 정보의 교집합을 부각하는 정보 여과 연산(상호작용)
cat: 후속 레이어(e.g. mlp, linear, etc.)에서 합성하도록 두 정보를 보존함
성능을 측정하기 위하여 다음의 데이터 셋을 활용하였다:
-
movielens latest small (2018)
linkuser item genre interaction density $609$ $8,452$ $19$ $81,763$ $0.0160$
데이터 셋을 trn, val, tst 각각 8:1:1 로 사용자 기준 계층적 분할하였다. opt(trn) 데이터 셋에 대하여 1:4, msr(val, tst) 데이터 셋에 대하여 1:99 비율로 네거티브 샘플링을 적용하였다. 손실 함수로는 bce(binary cross entropy)를 적용하여 훈련하였고, 조기종료 지표로는 ndcg@10 을 적용하여 모니터링하였다. 초기 10 epoch 에 대해서는 조기종료 여부를 모니터링하지 않았고, 11 epoch 부터 모니터링하여 지표가 최대 5회 개선되지 않을 경우 학습을 조기종료하였다.
한편, nll(negative log likelihood)의 스케일은
-
gmf:
Comb Pool HR@5 HR@10 NDCG@5 NDCG@10 att mean $0.8438$ $0.9457$ $0.4614$ $0.4824$ sum $0.8438$ $0.9326$ $0.4222$ $0.4390$ cat mean $0.8865$ $0.9539$ $0.5085$ $0.5239$ sum $0.8914$ $0.9572$ $0.5096$ $0.5215$ mean mean $0.8947$ $0.9556$ $0.5146$ $0.5296$ sum $0.8816$ $0.9474$ $0.4984$ $0.5172$ prod mean $0.8586$ $0.9424$ $0.4601$ $0.4785$ sum $0.8569$ $0.9424$ $0.4690$ $0.4906$ sum mean $0.8651$ $0.9359$ $0.4767$ $0.4917$ sum $0.8586$ $0.9408$ $0.4853$ $0.5019$ -
ncf:
Comb Pool HR@5 HR@10 NDCG@5 NDCG@10 att mean $0.8553$ $0.9375$ $0.4520$ $0.4691$ sum $0.8454$ $0.9441$ $0.4496$ $0.4672$ cat mean $0.8586$ $0.9391$ $0.4543$ $0.4709$ sum $0.8520$ $0.9359$ $0.4638$ $0.4780$ mean mean $0.8487$ $0.9424$ $0.4688$ $0.4806$ sum $0.8470$ $0.9342$ $0.4418$ $0.4593$ prod mean $0.8618$ $0.9375$ $0.4724$ $0.4802$ sum $0.8520$ $0.9359$ $0.4573$ $0.4730$ sum mean $0.8405$ $0.9424$ $0.4480$ $0.4700$ sum $0.8487$ $0.9309$ $0.4618$ $0.4740$
정보 합성 전략에서 논의하였듯이, mean 은 동일 기저에서 두 정보를 균등 비율로 선택하여 정보량을 정규화하는 보간법(interpolation) 전략이다. 반면, sum 은 두 정보를 단순 누적하여 정보량을 보존하는 보외법(extrapolation) 전략에 해당한다. cat 은 신규 의미 단위(basis)를 추가하여 의미 체계를 확장하는 연산이다. 앞선 전략들은 부가 정보가 엔티티의 행동 경향을 규정하는 의미 단위들로써 설명될 수 있음을 가정하는데 반해, cat 은 부가 정보가 이들 단위만으로는 설명되지 않는 신규 정보를 제공함을 전제한다고 볼 수 있다.
실험 결과, 엔티티와 장르 간 정보 합성 전략으로는 mean 이 가장 우수한 성능을 보였으며, sum 은 일관되게 저조한 성능을 나타냈다. 만약 두 정보가 완전한 보완 관계였다면 정보가 누적될수록(sum) 성능이 향상되어야 한다. 그러나 선택 연산(mean)이 더 우수했다는 점은, 엔티티의 행동 경향과 장르 정보가 단순 누적 대상이 아니라 일부 대체 가능한 정보임을 시사한다. 한편, cat 은 중간 수준의 성능을 기록하였다. cat 이 sum 보다 우수한 성능을 보인 점은, 장르 정보가 행동 경향으로 완전히 환원될 수는 없다는 점을 시사한다. 그러나 cat 이 mean 에는 미치지 못했다는 점은, 장르 정보의 상당 부분은 행동 경향을 설명하는 의미 단위 안에서 표현될 수 있음을 의미한다.
한편, prod 의 성능은 매칭 함수 학습 여부에 따라 상반된 결과를 보였다. 매칭 함수를 학습하지 않는 GMF(general matrix factorization)에서는 표현 단계에서 정보를 여과할 경우 이를 재구성할 수 있는 과정이 존재하지 않는다. 때문에 정보를 여과함에 따라 발생하는 정보 손실이 성능 저하로 귀결된 것으로 해석된다. 반면, 매칭 함수를 학습하는 NCF(neural collaborative filtering)에서는 후속 매칭 함수가 여과된 정보를 바탕으로 비선형 상호작용을 재구성할 수 있다. 따라서 표현 단계에서 핵심 정보만 선별하여 제공하는 전략이 오히려 효과적으로 작용한 것으로 볼 수 있다.
-
이영의. (2015). 베이즈주의: 합리성으로부터 객관성으로의 여정. 한국문화사
-
고지마 히로유키. (2017). 세상에서 가장 쉬운 베이즈 통계학 입문. 지성사
-
He, X., Liao, L., Zhang, H., Nie, L., Hu, X., & Chua, T. S. (2017, April). Neural collaborative filtering. In Proceedings of the 26th international conference on world wide web (pp. 173-182).
-
Fan, X., Zhang, S., Chen, B., & Zhou, M. (2020). Bayesian attention modules. Advances in Neural Information Processing Systems, 33, 16362-16376.
Footnotes
-
본 연구는 초기 Bayesian Attention Modules(Fan, 2020)를 적용하여 사용자의 장르 선호 벡터를 추론하고, 아이템 장르를
mean으로 집계한 후, 이를 사용자 벡터와 아이템 벡터에 결합(cat)하는 데 그쳤다. 수정 기간 동안 정보 합성 전략으로서att,cat,mean,prod,sum을 적용하여 실험을 재수행하였다. ↩ -
확률을 정의하기 위한 비교 대상이 되는 사례(case)들의 집합 ↩
-
결정론(determinism)은 인과관계에 우연이 없다는 입장으로, 그 대척점에 있는 입장은 자유의지론(free will)에 해당한다. 확률론(probability theory)은 모수(parameter)가 결정되어 있음을 부정하지 않는다. 다만 이 모수의 참값을 추정하기에 불확실한 요소들을 인정하고 반영할 뿐이다. 예컨대 표집의 무작위성(aleatoric uncertainty)이나 연구자의 불완전한 지식 체계(epistemic uncertainty) 등이 이에 해당한다. ↩
-
단, 빈도주의(frequentist)는 모수 자체를 규명하고자 하므로, 이를 미지의 상수(constant)로 설정하고 우도를 최대화하는 값으로 추정한다(max. likelihood estimation). 반면에 베이지안(bayesianism)은 모수에 대한 연구자의 인식 상태를 규명하고자 하므로, 모수를 확률 변수(random variable)로 설정하고 사전 정보와 관측값에 근거하여 그 사후 분포(posterior)를 추정한다. ↩
-
인공신경망은 구조상 모수(parameter)와 입력값이 주어지면 출력이 결정된다는 점에서 결정론적(determinism) 모형에 해당한다. 하지만 모수를 미지의 상수(constant)로 설정하고, 우도를 최대화하는 값으로 추정한다(max. likelihood estimation). 따라서 통계적 추정의 관점에서는 빈도주의 접근(frequentist)과 구분되지 않는다. 따라서 본 연구에서는 논지 전개 시 결정론을 빈도주의와 별개로 구분하지 않겠다. ↩