728x90 반응형 분류 전체보기190 surprise를 활용한 협업필터링(collaborative filtering) 협업필터링에는 메모리 기반, 모델 기반으로 또 나뉘어지게 되는데, 앞서 메모리 기반 협업필터링을 item-based와 user-based로 각각 연습한다. 이번에는 협업필터링을 파이썬에 surprise 라이브러리를 사용해서 item-based, user-based를 구현하고, 잠재 요인 모델(Latent Factor Models)도 실행해본다. Li 님[2]의 블로그를 보고 데이터는 movielens를 사용하여 몇가지 옵션만 달리해가며 따라해보았다. 우선 필요한 라이브러리와 데이터를 가져온다. 데이터는 계속 쓰던 movielens 데이터를 사용한다. # 라이브러리 불러오기 import os import pandas as pd from surprise import Reader, Dataset u.data... 2020. 2. 13. Recommender systems survey(2) 4. Evaluation of recommender systems results RS 연구가 시작된 이래로 예측과 추천에 대한 평가가 중요 해졌다. RS 분야의 연구는 예측과 추천을 위한 기술, 방법 및 알고리즘의 품질을 알기 위해 품질 측정 및 평가 메트릭을 요구하게 된다. 평가 메트릭과 평가 프레임 워크는 동일한 문제에 대한 여러 솔루션의 비교를 통해 더 나은 결과를 생성하는 다양한 유망한 연구 라인에서의 RS 선택을 용이하게 합니다. 가장 일반적으로 사용되는 품질 측정은 다음과 같습니다 : (1) 예측치 평가, (2) 추천 세트 평가, (3) 순위 목록으로 추천 평가가 있다. 평가 메트릭은 (a) 예측 메트릭으로 분류 될 수 있습니다 : 정확도에 대한 : 평균 절대 오차 (MAE), 평균 제곱 오차.. 2020. 2. 12. 메모리 기반 하이브리드 필터링 구현 An Approach for Combining Content-based and Collaborative Filters(2002) 논문에서 나와 있는 방법을 토대로 구현을 해본다. 다소 부족하고 틀린 부분이 있을 수 있는 점을 사전에 알리는 바입니다. 방법론에 대한 논문을 살펴본 내용은 다음 페이지에 있다. 다음페이지에 것은 2006년도 것이고, 여기서 다룰 알고리즘은 그 전인 2002년의 것을 가지고 진행한다. 2002년에 것은 하이브리드 필터링인데 마지막에는 협력 필터링의 알고리즘을 가지고 추천리스트를 생성하는데, 아이템기반으로 하는 것이다. 물론 사용자 기반으로도 할 수 있다. 혹시라도 틀린부분이 있다면 꼭 지적을 해주셨으면 하는 바램이 있습니다.. https://data-science-hi.tist.. 2020. 2. 6. 트위터 데이터 수집 (a.k.a twitterscraper) 데이터 수집을 위해서 트위터에 접근을 하는데, 제한사항이 많다. 시간적으로도 양적으로도 트위터 자체적으로 데이터에 대한 소유권을 그렇게 주장한다. 하지만 아래에 링크처럼 그러한 제한없이 크롤러를 만드시는 분들이 있어서 참고하여 잘 사용했다. https://pypi.org/project/twitterscraper/0.2.7/ twitterscraper Tool for scraping Tweets pypi.org https://github.com/taspinar/twitterscraper taspinar/twitterscraper Scrape Twitter for Tweets. Contribute to taspinar/twitterscraper development by creating an account .. 2020. 2. 5. A new approach for combining content-based and collaborative filters 하고자 하는 것 콘텐츠 기반 필터링과 협업 필터링의 각 장점을 활용하여 나은 성능을 달성하는 새로운 필터링 접근법을 소개하고자 한다. 사용자 프로필과 사용자 평점(rating)에서 추출한 통합 정보를 기반으로 사용자 간의 유사도를 계산하는 기법들을 살펴본다. 새로운 접근법과 기존의 방법을 실험적으로 평가하고 비교한다. 내용 아이디어: CBF, CF의 결합을 위해 클러스터링 알고리즘을 이용한 방법을 소개한다. 먼저 의미론적 콘텐츠 정보를 만들기 위해 사용자 프로필을 클러스터로 그룹화한다. 그런 다음 그러한 클러스터들을 아이템으로써 처리하여 추천을 위한 새로운 user-item 행렬을 만든다. 마지막으로 새롭게 만든 행렬을 기반으로 기존의 CF알고리즘을 적용하여 사용자에 대한 예측을 진행한다. 방법: 본 논.. 2020. 2. 3. Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions(2005) > 하고자 하는 것: 추천시스템의 기법들에 대한 설명과 앞으로의 연장선 상에 대한 내용들의 서베이 논문이기 때문에 주로 개념 설명과 최신기법 소개, 향후의 방향 등에 대한 정보 전달이 주 목적이다. -> 본문: 이 논문에선 method 별 개념에 대한 설명 이후 이어질 향후 연구 방향 등의 연장선 상에 대한 설명과 결론으로 이어진다. 나는 서베이 논문 2015를 읽는 것으로 대체하고 여기서는 method 부분에 대한 설명을 주로 읽었다. 협력필터링은 사용자 커뮤니티 데이터를 기반으로 하여 특정 사용자와 유사한 사용자의 취향을 특정 사용자에게도 추천해주게 된다. 이 알고리즘은 메모리 기반(휴리스틱 기반)과 모델 기반이라는 두가지 일반 클래스로 그룹화할 수 있다. 메모리 기반 알고리즘은 사용자에 의해 이전에.. 2020. 1. 21. 이전 1 ··· 18 19 20 21 22 23 24 ··· 32 다음 728x90 반응형
