본문 바로가기
728x90
반응형

분류 전체보기190

sqoop으로 관계형 데이터 불러오기 sqoop으로 관계형 데이터 불러오기 -이번장에서 배울 것 0. sqoop 이 무엇인가? -Cloudera에서 원래 개발한 오픈 소스 아파치 프로젝트이다. -이름은 “SQL-to-Hadoop” 이걸 줄여서 만든 것이다. -HDFS와 데이터베이스 사이에서 데이터를 교량 역할을 한다. -하둡 맵리듀스를 사용하여 데이터를 불러오는 사용자 쪽의 어플리케이션이다. 1. RDBMS에서 가져온 테이블들을 하둡 클러스터로 어떻게 불러올지 -순서:1.테이블정보를 파악 -> 2.클러스터에 작업 할당 -> 3.테이블을 패치하고 HDFS로 보냄. (사용자에서 출발-> 1.데이터베이스 2.HDFS 3.데이터베이스-HDFS) 1:가능하면 기본키를 결정한다. 2:boundary query를 실행하여 불러올 레코드들을 본다. 3:작.. 2019. 12. 15.
유사 사용자 찾기 1. 협업필터링 '추천시스템' 카테고리에 개념에 관한 설명이 있습니다. 2. 선호 정보 수집 예시로 쓸 데이터를 만듭니다. - 영화 비평과 영화 평가 정보를 담은 딕셔너리 - 각각의 사람들이 영화에 대한 평점을 매긴 데이터입니다. critics={"Lisa Rose":{'Lady in the Water':2.5, 'Snakes on a Plane':3.5, 'Just My Luck':3.0, 'Superman Returns':3.5, 'You, Me and Dupree':2.5,'The Night Listener':3.0}, "Gene Seymour":{'Lady in the Water':3.0, 'Snakes on a Plane':3.5, 'Just My Luck':1.5, 'Superman Retur.. 2019. 11. 29.
집단지성소개 "집단 지성 프로그래밍"이라는 책을 토대로 데이터를 활용한 다양한 기술과 알고리즘에 대한 학습을 합니다. 책의 순서대로 차근차근 간략하게 요약해 나가면서 얕고 넓게 지식을 익히는 것이 목표입니다. 끝까지 화이팅! 1. 집단지성이란 * 한 무리의 사람들의 행동, 선택, 아이디어들을 결합해서 통찰력을 생성하는데 사용한다고 합니다. 즉 단체의 성격, 특징 정도로 생각하면 될 것 같습니다. 예를 들어 표본조사, 인구조사가 있습니다. 이런 통계적 방법 등을 이용하여 새로운 결론을 유추하는 것을 집단지성이라고도 말합니다. 위키피디아, 구글 검색엔진 등도 있습니다. 2.기계학습이란 * 컴퓨터가 스스로 학습하게 하는 알고리즘에 관련된 인공지능의 한 영역이라고 합니다. 대부분의 경우 주어진 데이터의 집합을 이용해서 데이.. 2019. 11. 29.
구글 비트코인 뉴스 크롤링 구글 검색창에 'bitcoin'을 검색하여 나온 뉴스들에 대한 크롤링을 하였습니다. 1. 날짜별로 검색을 하게하고, 출력된 뉴스들의 링크를 가져옵니다. -> 신문사를 몇개 정해놓고 정한 신문사에 해당하는 뉴스 링크만 가져왔습니다. 2. 뉴스들의 링크를 가지고 기사 내용을 수집해옵니다. -> 신문사 홈페이지마다 html형식이 다르기 때문에 각각 형식에 맞게 크롤링 코드를 만들어 줍니다. 1. 뉴스 링크 가져오기 ( + 날짜, 제목, url ) -사용될 모듈들을 우선 임포트 해줍니다. from selenium import webdriver from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time impor.. 2019. 11. 29.
구글 검색 뉴스 감성분석 구글에 'bitcoin'을 검색하여 나온 뉴스들을 수집하여 각 뉴스마다 감성점수를 부여하였습니다. 그리고 비트코인 시세와 관련된 데이터를 수집하여 이들을 분석해서 의미있는 결과를 만들어 봅니다. 문장에 대해 긍정/부정/중립으로 분류하기 위한 기준을 마련하기 위하여 VADER 모델을 사용하였습니다. VADER모델은 간략한 설명으로는 소셜 미디어 텍스트의 감성 분석을 위한 Parsimonious Rule-based Model이라고 명시하고 있으며, [1]을 참고하면 좋을 것 같습니다. 혹시라도 이 모델을 사용하기 위해 코드를 가져다 연구 등에 활용하신다면 [1]을 꼭 명시해달라고 말하고 있습니다. VADER sentiment lexicon은 소셜 미디어 텍스트에서 표현된 극성이거나 강렬한 감정에 예민하다고 .. 2019. 11. 29.
IMDB 영화 댓글 크롤링 코드 학교 팀플 과제를 하기 위해 사용할 데이터를 수집하였습니다. 그리 방대한 양은 아니지만, 아래의 코드를 통해 크로링하는데 걸리는 시간은 대충 반나절 정도 걸린 듯 합니다. 초보적인 방법으로 크롤링한거라서 단순합니다. 데이터는 미국 영화 정보 사이트인 imdb.com 에서 데이터를 크롤링하였습니다. 댓글이 상당히 믿을만하고, 길이도 꽤 길어서 텍스트마이닝 공부할 때 유용하게 쓸 수 있다고 생각합니다. 이 코드를 그대로 사용하실거라면 우선 chromedrever를 다운받으셔야하고, 압축을 풀고 파일이 있는 절대경로까지 설정을 해주셔야합니다. 1. 필요한 모듈 설치하기. 아래에는 필요한 모듈을 설치하는 코드입니다. selenium과 BeautifulSoup을 병행하여 그때그때 사용하였습니다. from sele.. 2019. 11. 28.
728x90
반응형

티스토리툴바