본 논문에서는 소셜 네트워킹 서비스(SNS)에서 구조가 복잡한 비정형 데이터를 처리하기 위해 새 로운 마이닝 접근법을 제안한다. SNS에 올라온 텍스트 형태의 문장들을 분석하여 의미있는 감성 정 보를 보다더 효과적으로 추출하기 위해서이다. 어휘 사이의 관계를 형성하는데 주목적으로 하는 기존 방식의 SentiwordNet은 함축적 표현의 한글 문장 및 초성, 중성, 종성으로 이루어진 독특한 글자 구 조인 한글에 적용하기 어려운 문제가 있다. 이를 개선하기위해 레빈쉬타인 거리 알고리즘을 적용하여 한글 문장을 효율적으로 탐색하고 결과에 가중치를 부여하여 감성 사전을 구축했다. 문장 분석을 실 시간 처리하여 일반문, 긍정문, 부정문으로 평가 계산식을 사용하여 구별했으며 그 결과를 백분율로 표기하였다. 실험 결과를 통해 본 논문에서 제안하는 방법이 Navie Baysian 방식의 실험보다 문장에 서 감정 분류에 효과적이라는 것을 증명했다. 대용량 데이터를 효율적으로 처리하기 위해 하둡 시스 템을 이용했다.
In this paper, we proposed a new mining approach to process unstructured data with complex structure in Social Networking Service(SNS). The proposed method is to extract meaningful emotional information more effectively by analyzing the texts posted on the SNS. In general, SentiwordNet method, which is the main purpose of forming the relationship between existing vocabularies, has a problem that is difficult to apply to korean sentences of implicit expression and Unique character structure. To improve this, applying the Levenshtein distance algorithm, Korean words are efficiently searched and the sentiment word dictionary is constructed by assigning weights to the result. Sentence analysis was processed in realtime to distinguish general, positive, negative sentences and the results were expressed as a percentage. According to the result of the experiment, we proved that is more effective for classifying emotions in sentences than Navie Baysian. Hadoop system was used for efficient with handle web-scale data.
1. 서론 2. 하둡 시스템을 이용한 비정형 데이터 처리 프로그램 3. 실험 및 결과 4. 결론 References
