TREC_EVAL을 (를) 사용하는 기관이 있습니까? 나는 "Tumm_EVAL for dummies"가 필요하다.trec_eval을 사용하여 검색/검색 엔진을 평가하는 방법은 무엇입니까?
필자는 논문 검색을 위해 Recall-Precision, 순위 품질 등과 같은 매개 변수를 비교하기 위해 몇 가지 검색 엔진을 평가하려고합니다. TREC_EVAL을 사용하여 검색 엔진에 쿼리를 보내고 TREC_EVAL과 함께 사용할 수있는 결과 파일을 가져 오는 방법을 찾을 수 없습니다.
기본적으로 trec_eval의 경우 (사람이 생성 한) 지상 진실이 필요합니다. 쿼리 번호 따라서 쿼리를 식별
query-number 0 document-id relevance
101Categories (wikipedia entry) 같은 컬렉션을 감안할 때
Q1046 0 PNGImages/dolphin/image_0041.png 0
Q1046 0 PNGImages/airplanes/image_0671.png 128
Q1046 0 PNGImages/crab/image_0048.png 0
같은 일 것에서 (예를 들면 사진을 : 그것은 특별한 형식이어야합니다 비슷한 카테고리를 찾는 특정 카테고리). 검색 엔진의 결과는 다음
query-number Q0 document-id rank score Exp
처럼 또는 현실 기술 here로
Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10
에보고 변화되어야한다. "document-id"에 대한 경로 이름을 조정해야 할 수도 있습니다. 그런 다음 표준 측정 항목 을 계산할 수 있습니다. trec_eval --help은 논문에 필요한 측정을 사용하기위한 올바른 매개 변수를 선택하기위한 몇 가지 아이디어를 제공해야합니다.
trec_eval은 검색어를 보내지 않으므로 직접 작성해야합니다. trec_eval은 분석 결과와 근거를 제공합니다.
안녕하세요 @ mbx, 어떻게 '점수'열 아래의 숫자를 계산 했습니까? (그것은 : 1, 0.974935, 0.974023). 행의 결과 문서와 올바른 관련 문서 사이의 차수를 나타내는 것으로 읽었지만 그 숫자에 도달하는 방법을 찾을 수는 없습니다 ('1'은 100 % 정확도라고 가정합니다). –
@ NoonTime iirc 첫 번째 숫자는 (topX의) 출력의 위치이고 두 번째 숫자는 "입력이 1 인 경우이 출력이 얼마나 가까이 있는지"라는 답변의 순위입니다. 따라서 원하는 알고리즘에 완전히 달려 있습니다 법안. – mbx
ok @mbx에게 감사하지만 수학적으로 어떻게 0.974935 번호를 얻었습니까? 나는 그것이 {last_position - 1}에서 파생되었다는 것을 알고 있습니다. 검색 결과의 총 개수와 그 분수를 사용하여 나눕니 까? 100 개의 결과가있는 것처럼 두 번째 행 (두 번째 결과) 점수는 (100-1)/100이됩니다 .99? –
이 주제에 관심이 있으십니까? – shellter
비 이진 관련 레이블을 처리하는 방법과 관련하여 의심의 여지가 있습니까? – Shashank