체계적 문헌고찰 스크리닝 도구 비교: ASReview·Rayyan·Covidence의 중단 기준과 재현성
검색 결과가 수천 건으로 늘어나면 초록 스크리닝은 연구 일정에서 가장 먼저 병목이 된다. 그러나 AI 도구를 도입할 때 더 중요한 질문은 “얼마나 빨라지는가”가 아니라 “AI가 뒤로 밀어 놓은 문헌을 언제까지 검토해야 하며, 무엇을 근거로 중단할 수 있는가”이다.
이 글은 직접 사용 기록이 제공되지 않은 상태에서 작성했다. 따라서 실제 성능 시험이 아니라, 2026년 9월 8일 기준 공식 문서와 공개된 기능, 동료심사 연구를 바탕으로 작성한 사전 비교다. 동일한 RIS 데이터셋을 세 도구에 넣는 검증 절차는 제안하지만, 화면 동작과 내보내기 결과는 발행 전 직접 확인해야 한다.
핵심 결론
ASReview, Rayyan의 관련성 순위, Covidence의 Most relevant 정렬은 기본적으로 미검토 문헌을 자동 삭제하는 장치가 아니라 검토 순서를 바꾸는 장치다. ASReview는 모델 구성과 프로젝트 이력을 보존하기 좋지만 안전한 중단 시점을 연구자가 설계해야 한다. Rayyan은 무료 협업과 블라인드 검토의 진입 장벽이 낮지만, 일반 관련성 등급과 문헌별 결정을 내리는 유료 AI Reviewer를 구분해야 한다. Covidence는 이중 검토와 전체 리뷰 워크플로 관리가 강점이지만 개인 구매 비용이 높고, 해결 전 투표 이력 전체를 파일로 내보내는 데 제약이 있다.
세 도구를 하나의 정확도 점수로 서열화하기는 어렵다. ASReview는 능동학습 실험과 우선순위 스크리닝에 가깝고, Rayyan은 협업형 스크리닝에 AI 정렬을 결합하며, Covidence는 연구 선택부터 추출까지 이어지는 관리 체계에 중점을 둔다.
초반 전체 비교표
| 비교 항목 | ASReview | Rayyan | Covidence |
|---|---|---|---|
| 기본 AI 방식 | 사용자 판단을 반복 학습하는 능동학습 | 관련성 등급과 순위화, 기관용 AI Reviewer는 별도 | 능동학습 기반 Most relevant 정렬 |
| 기본 기능이 자동 제외하는가 | 아니요. 미검토 문헌은 남는다 | 관련성 등급은 결정으로 기록되지 않는다 | 아니요. 모든 문헌을 사람이 검토하도록 설계 |
| 중단 기준 | 사용자가 임계값을 정함 | 공식적인 안전 중단 규칙 없음 | 우선순위 기능 자체는 중단용이 아님 |
| 이중 검토 | 서버형 다중 사용자 지원, 독립 이중 검토 구조는 직접 설계 필요 | Blind Mode와 충돌 확인 지원 | 기본값이 블라인드 이중 검토 |
| 판단 기록 | 라벨, 시간, 메모, 사용자와 모델 구성을 프로젝트에 보존 | 결정, 제외 사유, 라벨, 메모 내보내기 | 참고문헌과 IRR 내보내기 가능, 투표 이력 전체 내보내기는 제한 |
| 비용 구조 | 오픈소스 무료, 서버 운영비는 별도 | 무료 플랜과 개인·기관 유료 플랜 | 무료 시험 후 리뷰 단위 또는 기관 구독 |
| 적합한 상황 | 로컬 처리, 모델·중단 규칙 연구, 대규모 우선순위화 | 예산이 제한된 소규모 협업팀 | 표준화된 이중 검토와 전체 워크플로가 필요한 팀 |
비교 방법: 속도가 아니라 누락 위험과 감사 가능성을 본다
비교 기준은 다섯 가지로 설정했다. 첫째는 관련 문헌이 낮은 순위에 남을 위험, 둘째는 독립 이중 검토 지원, 셋째는 중단 규칙을 사전에 정의할 수 있는지, 넷째는 판단과 모델 설정을 보존할 수 있는지, 다섯째는 연구 종료까지 발생하는 비용이다.
PRISMA 2020 확장 체크리스트의 항목 8은 자동화 도구를 연구 선택에 사용했다면 도구명과 버전, 통합 방식, 훈련 및 검증, 적용한 스크리닝 규칙을 보고하도록 요구한다. 자동화가 문헌을 제외했다면 그 수를 흐름도에 구분해서 기록해야 한다.
Cochrane Handbook 제4장도 우선순위화와 자동 제거를 구분한다. 능동학습으로 관련 가능성이 높은 문헌을 먼저 찾는 것은 유용하지만, 안전한 중단 규칙이 충분히 검증되지 않은 상태에서 남은 문헌을 일괄 제거하는 접근에는 신중한 태도를 취한다.
AI 스크리닝의 세 방식을 먼저 구분해야 한다
1. 자동 제외
알고리즘이 특정 문헌을 부적격으로 판정하고 사람의 검토 대상에서 제거하는 방식이다. 누락이 발생하면 사람이 발견할 기회가 사라지므로 외부 검증, 목표 재현율, 제외 건수와 표본검사 절차가 필요하다.
2. 관련성 순위화
모든 문헌을 남겨 둔 채 포함 가능성이 높은 문헌을 위로 올린다. Rayyan의 Relevance Ranking과 Covidence의 Most relevant가 여기에 해당한다. 순위를 이용해 포함 연구를 일찍 발견할 수 있지만, 전수 검토한다면 최종 포함·제외 판단은 여전히 사람에게 있다.
3. 능동학습
능동학습은 사람이 내린 판단을 모델이 반복적으로 학습해 다음에 볼 문헌을 선택하는 방식이다. ASReview가 대표적이며 Covidence의 정렬에도 능동학습이 사용된다. 초기 판단이 일관되지 않거나 관련 연구가 서로 다른 어휘를 쓰면 특정 연구군이 계속 낮은 순위에 머물 수 있다.
ASReview: 모델과 검토 이력을 보존하기 좋은 우선순위 도구
ASReview LAB은 Apache 2.0 라이선스의 무료 오픈소스 소프트웨어다. 로컬 설치가 가능해 참고문헌 데이터를 외부 서비스에 올리기 어려운 연구실에 유리하지만, Python 설치와 업데이트, 백업을 관리할 역량이 필요하다.
ASReview는 각 판단 후 모델을 다시 학습하고 다음 문헌을 제시한다. 관련·비관련으로 이미 확인한 문헌을 사전 지식으로 제공할 수도 있으며, 모델 구성에 따라 순위가 달라질 수 있으므로 사용한 설정을 방법론에 남겨야 한다. 자세한 과정은 프로젝트 생성 문서와 모델 문서에서 확인할 수 있다.
재현성 측면의 장점은 프로젝트 파일이다. 공식 관리 문서에 따르면 .asreview 파일에는 원본 데이터셋, 검토 이력, 메모와 모델 구성이 포함되며 다른 장치에서 가져와 검토를 이어 갈 수 있다. 데이터셋 내보내기에는 판단 라벨, 판단 시각, 메모와 사용자 정보가 포함될 수 있다.
가장 큰 한계는 중단 기준이다. 대시보드에 연속 비관련 문헌 수에 따른 임계값을 설정할 수 있지만 기본값은 없으며, 공식 문서도 이상적인 임계값은 연구 중이라고 설명한다. 임계값 도달은 중단 권고이지 남은 문헌이 안전하게 제외됐다는 증명이 아니다.
2026년에 발표된 ASReview 중단 기준 시뮬레이션 연구에서는 연속 비관련 수, 예상 관련 연구 수, 검토 비율 가운데 어떤 방식도 모든 데이터셋에서 관련 연구 전체를 안정적으로 찾지 못했다. 주제 이질성, 낮은 포함 비율과 초록 누락이 있는 데이터셋에서는 보수적인 규칙이 필요하다는 의미다.
다중 사용자는 자체 호스팅 ASReview LAB Server로 지원된다. 다만 여러 사용자가 같은 모델에 판단을 공급하는 방식과 두 검토자가 서로의 판단을 보지 않고 동일 문헌을 독립 판정하는 전통적 이중 검토는 같지 않으므로 프로토콜에 역할을 별도로 정의해야 한다.
Rayyan: 무료 협업과 AI 순위화의 균형
Rayyan의 Relevance Ranking은 제목, 초록과 MeSH 용어 등의 특징을 이용해 미결정 문헌에 관련성 등급을 부여한다. 등급은 검토 순서를 정하는 제안이며 포함·제외 결정으로 저장되지 않는다. 충돌한 판단은 등급 계산에서 제외된다.
Blind Mode는 모든 플랜에서 제공되며 기본적으로 검토자들이 서로의 결정을 보지 못하게 한다. 독립 판단 후 모드를 해제해 충돌을 해결할 수 있어, 소규모 팀이 이중 검토 절차를 구성하기 쉽다.
그러나 “Rayyan AI”라는 표현만으로 기능을 묶으면 안 된다. 일반 관련성 등급과 별도로, 2026년 9월 2일 갱신된 공식 문서의 AI Reviewer는 포함·제외 기준을 문헌별로 평가하고 두 번째 검토자처럼 결정을 내린다. 이는 ResearchPilot이 활성화된 기관 플랜 기능이며 한 번에 최대 2,000건, 포함·제외 기준 합계 최대 20개라는 제한이 명시돼 있다.
AI Reviewer의 결정은 사람이 내린 최종 합의와 동일시하면 안 된다. 불명확한 기준, 초록에 보고되지 않은 적격 조건, 복합 중재와 비정형 연구 설계에서는 판단 근거가 부족할 수 있다. 기관이 이 기능을 사용하려면 인간 검토자와의 불일치율, AI가 제외한 문헌의 표본 재검토, 하위 주제별 누락을 직접 검증해야 한다.
내보내기는 RIS, BibTeX, EndNote와 CSV를 지원하며 결정, 제외 사유, 라벨과 메모를 포함할 수 있다. 단, 공식 내보내기 안내에 따르면 Blind Mode가 켜진 상태에서는 자신의 판단만 포함될 수 있으므로 팀 전체 자료를 보관하려면 모드를 해제한 뒤 내보내야 한다.
공식 가격표에서 무료 플랜은 활성 리뷰 3개, 무료 검토자 초대 2명과 관련성 예측을 제공한다. 2026년 9월 8일 표시 가격은 Essential이 월 8.33달러부터, Advanced가 월 13.33달러부터였으며 결제 주기와 좌석 수에 따라 총액이 달라진다. ResearchPilot은 일반 개인 플랜이 아니라 활성화된 기관 플랜 여부를 확인해야 한다.
Covidence: 이중 검토와 전체 과정 관리에 강한 선택
Covidence는 새 리뷰를 기본적으로 블라인드 이중 검토로 설정한다. 제목·초록 스크리닝 안내에 따르면 서로 다른 두 명이 투표해야 문헌이 다음 단계로 이동하며, 충돌 시 추가 해결 절차를 거친다.
Most relevant 정렬은 팀의 기존 판단을 학습해 포함 가능성이 높은 문헌을 먼저 보여 준다. 공식 AI 기능 문서는 최소 25건의 포함 또는 제외 판단과 각각 2건 이상의 포함·제외 사례가 있어야 예측 정렬이 시작된다고 설명한다. 100건 미만 또는 15만 건 초과 리뷰에서는 가져온 순서로 표시될 수 있다는 제한도 있다.
중요한 점은 Covidence가 이 기능을 중단 장치로 설명하지 않는다는 것이다. 공식 보고 예문도 순위와 무관하게 모든 참고문헌을 사람이 검토한다고 전제한다. 따라서 최종 포함·제외의 보수성을 유지하면서 관련 연구를 조기에 확보하려는 팀에는 적합하지만, 미검토 문헌을 남기고 조기 중단하려는 목적에는 별도 검증이 필요하다.
Covidence는 참고문헌, 제외 사유와 평가자 간 신뢰도 자료를 내보낼 수 있다. 특히 IRR 내보내기에서 Cohen의 카파를 제공한다. 반면 투표 이력 도움말은 해결 전 개별 투표와 충돌 기록 전체를 직접 내보내는 기능이 없다고 밝히므로, 감사 자료가 필요하면 충돌 해결 전에 별도 보존 절차를 마련해야 한다.
공식 가격 페이지의 2026년 9월 8일 표시 가격은 12개월 단일 리뷰 339달러, 최대 3개 리뷰 패키지 907달러다. 무료 시험 범위는 500건이며 기관 라이선스 가격은 문의 방식이다. 개인 연구자는 먼저 소속 대학 도서관이나 병원의 기관 구독 여부를 확인하는 편이 합리적이다.
동일 RIS 데이터셋으로 비교하는 검증 절차
- 고정 식별자 부여: 중복 제거 후 모든 문헌에 변하지 않는 record_id를 붙인다.
- 골드 스탠더드 작성: 두 명이 전체 데이터셋을 독립 검토하고 충돌을 합의해 기준 정답을 만든다. 과거에 완료된 리뷰를 이용한다면 최종 포함 목록과 제외 이유를 확인한다.
- 동일 메타데이터 유지: 제목, 초록, 저자, 연도, 키워드가 같은 RIS 파일을 사용하고 초록이 없는 레코드를 따로 표시한다.
- 초기 판단 통제: 세 도구에 동일한 초기 포함·제외 사례를 제공한다. 각 도구의 최소 학습 조건이 다르면 첫 공통 구간까지는 같은 순서로 수동 판단한다.
- 시점별 순위 기록: 25건, 50건, 100건 등 사전 지정 시점에서 미검토 문헌 순위를 보존한다. 화면에서 순위 파일을 제공하지 않는다면 캡처 또는 API 가능 여부를 직접 확인한다.
- 누락 위험 계산: 검토 비율별 재현율, 마지막 관련 문헌이 발견된 위치, 하위 주제별 발견 시점과 초록 누락 문헌의 순위를 비교한다.
- 반복 실행: 초기 문헌과 무작위 시드의 영향을 확인할 수 있는 도구는 반복 실행하고 모델 및 버전을 함께 기록한다.
골드 스탠더드 없이 “상위 문헌이 그럴듯했다”는 관찰만으로는 성능을 평가할 수 없다. 비교 데이터셋 자체에 인간의 오분류가 있다면 AI 성능도 왜곡되므로, 불일치가 많았던 문헌과 최종 포함 문헌은 다시 확인해야 한다.
낮은 순위 문헌을 놓치지 않는 중단 규칙
연속으로 비관련 문헌이 많이 나왔다는 이유만으로 멈추는 규칙은 직관적이지만 보편적으로 안전하지 않다. 관련 연구가 여러 하위 분야에 흩어졌거나 표현이 다른 경우 한 집단을 찾은 뒤 다른 집단이 낮은 순위에 남을 수 있다.
- 프로토콜에 연속 비관련 임계값과 최소 검토 비율을 함께 적는다.
- 미검토 집합에서 무작위 표본을 뽑아 독립 검토한다.
- 각 하위 주제와 연구 설계를 대표하는 알려진 관련 문헌이 조기에 회수되는지 확인한다.
- 초록이 없거나 매우 짧은 문헌은 AI 순위와 별도로 검토한다.
- 안전성, 부작용, 희귀 사건처럼 한 편의 누락도 결론을 바꿀 수 있다면 전수 검토 또는 독립 두 번째 검토를 우선한다.
표본검사에서 관련 문헌이 발견되면 중단 조건은 충족되지 않은 것으로 보고 학습과 검토를 재개해야 한다. 표본에서 발견되지 않았다는 사실도 전체 누락이 없다는 보장은 아니므로 표본 크기와 허용 위험을 프로토콜에서 정해야 한다.
연구 목적별 추천
| 연구 상황 | 우선 검토할 도구 | 이유 |
|---|---|---|
| 1인 연구, 예산 제한, 로컬 처리 | ASReview | 무료이며 프로젝트와 모델 설정을 보존할 수 있음 |
| 무료로 시작하는 2~3인 팀 | Rayyan | Blind Mode와 기본 관련성 예측 제공 |
| 이중 검토 절차를 표준화해야 하는 팀 | Covidence 또는 Rayyan | 독립 판단과 충돌 해결 흐름이 명확함 |
| 기관 차원의 다수 리뷰 관리 | Covidence 또는 기관용 Rayyan | 권한, 협업, 보고와 지원 체계를 제공 |
| 중단 규칙과 모델 구성을 연구하려는 팀 | ASReview | 시뮬레이션과 설정 보존에 유리 |
무료 사용자와 유료 사용자의 판단
무료 사용자에게는 ASReview와 Rayyan이 현실적인 출발점이다. ASReview는 라이선스 비용이 없지만 설치·백업·서버 관리 시간이 비용으로 전환된다. Rayyan 무료 플랜은 협업 진입이 쉽지만 활성 리뷰와 초대 인원 제한을 프로젝트 수명 전체에서 확인해야 한다.
유료 사용자는 기능 수보다 연구팀의 구조를 봐야 한다. 한 번의 리뷰를 여러 명이 수행하고 추출까지 이어 간다면 Covidence의 리뷰 단위 비용이 정당화될 수 있다. 여러 프로젝트에서 AI Reviewer와 조직 관리 기능을 사용하려면 Rayyan 기관 계약의 기능 포함 범위와 좌석 정책을 견적서에서 확인해야 한다.
구독 종료나 도구 변경 전 내보내기 체크리스트
- 원본 RIS와 중복 제거 후 RIS
- 도구명, 버전, 모델과 정렬 설정
- 사용자별 포함·제외·보류 판단
- 제외 사유, 라벨, 메모와 충돌 해결 기록
- 판단 시각과 스크리닝 순서
- 미검토 문헌 목록과 마지막 예측 순위
- PRISMA 집계 수치와 평가자 간 신뢰도 자료
- PDF 첨부 파일의 별도 백업과 접근 권한
자주 묻는 질문
AI 순위가 가장 낮은 문헌은 제외해도 되는가?
순위만으로 자동 제외해서는 안 된다. 사전 검증된 규칙, 남은 문헌의 무작위 표본검사와 누락 위험 보고가 없다면 낮은 순위는 검토 순서에 관한 정보일 뿐이다.
ASReview는 이중 검토 도구인가?
다중 사용자 서버는 지원하지만, 동일 문헌에 대한 두 명의 독립 블라인드 판정과 충돌 해결을 자동으로 보장하는지는 별도 설계가 필요하다. 전통적인 이중 검토가 핵심이면 Rayyan이나 Covidence가 더 직접적이다.
Rayyan의 관련성 등급이 문헌을 자동 제외하는가?
아니다. 관련성 등급은 제안이며 결정으로 기록되지 않는다. 다만 기관용 ResearchPilot의 AI Reviewer는 실제 포함·제외·보류 결정을 내리므로 두 기능을 구분해야 한다.
Covidence의 Most relevant에서 뒤쪽 문헌은 검토하지 않아도 되는가?
공식 안내는 모든 문헌을 사람이 검토하는 흐름을 전제로 한다. Most relevant는 관련 문헌을 먼저 찾기 위한 정렬 기능이지 공식적인 중단 기준이 아니다.
한 명이 AI와 함께 검토하면 이중 검토로 볼 수 있는가?
자동으로 그렇게 볼 수 없다. 적용 분야의 지침과 프로토콜에 따라 인간 두 명의 독립 검토가 요구될 수 있으며, AI의 역할과 불일치 해결 절차를 명시해야 한다.
최종 판단
연구자 R의 판단은 단순하다. ASReview는 중단 규칙과 재현 가능한 모델 기록을 연구팀이 직접 책임질 수 있을 때, Rayyan은 제한된 예산으로 협업 스크리닝을 시작할 때, Covidence는 비용보다 표준화된 이중 검토와 전체 과정 관리가 중요할 때 우선 검토할 만하다.
어떤 도구를 선택하더라도 AI가 관련 문헌을 먼저 보여 줬다는 사실과 남은 문헌을 제외해도 된다는 결론은 다르다. 체계적 문헌고찰의 방어 가능성을 결정하는 것은 도구 이름이 아니라 골드 스탠더드, 중단 규칙, 표본검사와 완전한 판단 기록이다.
검증이 더 필요한 부분
- 동일 RIS 파일을 세 도구에 가져왔을 때 레코드 수, 초록, 특수문자와 중복 처리 결과가 같은지
- 같은 초기 판단을 제공했을 때 관련 문헌 순위와 마지막 관련 문헌 발견 위치가 어떻게 달라지는지
- ASReview Server가 연구팀이 요구하는 독립 이중 검토와 충돌 해결 절차를 구현할 수 있는지
- Rayyan 요금제별 내보내기 필드와 기관용 AI Reviewer의 실제 계약 범위
- Covidence에서 충돌 해결 전 개별 투표 자료를 보존하는 가장 안정적인 절차
- 한국어 또는 다국어 초록, 초록 누락 문헌에서 각 모델의 순위 안정성
출처 및 확인일
기능과 가격은 2026년 9월 8일에 확인했다. 주요 출처는 PRISMA 2020 체크리스트, Cochrane Handbook 제4장, ASReview 공식 문서, Rayyan 도움말, Covidence 지식 베이스와 각 서비스의 공식 가격 페이지다. 가격과 플랜 기능은 변경될 수 있으므로 구매 직전에 다시 확인해야 한다.
