인용분석은 학자들의 연구실적 평가에 가장 많이 사용되는 방법 중 하나이지만 비평가들은 오늘날의 인용분석 자료와 방법론에 근본적인 문제가 있다고 주장한다. 전통적 인용분석 방식은 인용품질과 인용소음뿐만 아니라 언어, 시간, 문화와 같은 비수치적인 요소들을 고려하지 않아 단순하고 그릇된 평가를 가져올 수 있으며, 적용 범위가 각각 다르고 불완전한 인용 데이터베이스들은 충돌적인 인용분석결과를 초래하기 쉬울 수 있다. 이러한 문제들을 해결하려면 포괄적인 인용데이터를 다 방면과 다 방식으로 분석하는 새로운 인용분석연구가 필요하다. 본 논문은 Web of Science, Scopus와 Google Scholar를 비교 분석한 연구의 결과를 논의하며 기존의 인용분석 방법의 약점을 극복하기 위해 설계한 CiteSearch라는 프로토타입 시스템을 간략하게 설명한다.
Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.
