비교 스코어링 알고리즘

Question

피어 리뷰 한 연구 논문과 같은 스코어링 알고리즘을 결정할 때 까다로운 시간이 있습니다.

이 클래스를 가지고 :

public class ResearchPaper 
{ 
    int StudentID; 
    int PaperID; 
    string Title; 
    byte Grade; 
} 

Grade는 원래 교사가 할당 (A +로 F) 0 ~ 100에서 점수입니다.

등급이 지정되면 동료와 의견을 비교하여 용지 간접 피드백을 통해 간접적으로 수정할 수 있습니다. 피어 B (75 학년)가 A 종이 (80 학년)보다 좋다고 말하면 A 종이 (새로운 학년 79)와 B 종이 (B 급 76 점)를 얻습니다. 이것은 수천 번 발생할 수 있으며, 종이 B는 종이 A보다 더 우수한 등급으로 끝날 수 있습니다 (괜찮습니다).

동료 평가에서 종이 A가 실제로 종이 B (교사가 점수를 매기는 방식)보다 좋거나 종이 A가 100에이를 때까지 폭주하는 과정에서 점수를 얻는다고 동의한다면 등급을 변경하지 말아야합니다 (최대 값으로 설정됩니다).

이 알고리즘의 문제점은 많은 피어 리뷰에서 궁극적으로 모든 논문이 비교적 드문 학년 변경을 통해 동일한 학년에 접근하므로 교사가 원래 할당 한 학년을 효과적으로 무시할 수 있다는 것입니다.

더 나은 알고리즘이 있나요?

Answer 1

나는 꽤 좋은 시스템을 가지고 있다고 생각하지만, Grade을 sbyte으로 만들고, 초기 등급 점수와 피어 리뷰를 분리했다. 100 장이 넘는 논문이 있고 하나의 논문이 upvote로 선택되지 않은 경우 서명 된 값을 사용하지 않으면 수업 사기에 심각한 문제가 발생합니다.

public class ResearchPaper 
{ 
    int StudentID; 
    int PaperID; 
    string Title; 
    sbyte InitialGrade; 
    sbyte PeerRating; 

    public sbyte Grade 
    { 
     get 
     { 
      return (InitialGrade + PeerRating); 
     } 
    } 
} 

public class PaperGrader 
{ 
    List<ResearchPaper> Papers; 

    public PaperGrader(List<ResearchPaper> Papers) 
    { 
     this.Papers = Papers; 
    } 

    public void Vote(int Id) 
    { 
     foreach (ResearchPaper Paper in Papers) 
     { 
      if (Paper.PaperID == Id) 
      { 
       Paper.PeerRating++; 
       continue; 
      } 
      else 
      { 
       Paper.PeerRating--; 
      } 
     } 
    } 
} 

이 코드의 흥미로운 부작용은 학생들이 가장 좋아하거나 싫어하는 논문을 결정할 수 있다는 것입니다. 이상적인 세계에서 다음과 같은 결과를 얻을 수 있습니다 :

Answer 2

동료 평가가 원래 점수와 반대 방향 인 경우에만 점수를 조정하면 많은 수의 동료 평가는 같은 학년으로 끝나는 것입니다.

성적이 아닌 비교를 통해 피어 리뷰를 수행 할 예정입니까? 문제는 그러한 시스템이 원래의 성적이 비교할 때 아주 멀리 떨어져 있거나 아주 가깝다는 논문에 편견을 갖게된다는 것입니다.

아마도 동료 평가는 일반 성적과 마찬가지로 성적이 될 수 있습니다. 그들을 개별적으로 보관하십시오; 논문에 충분한 동료 학년이있는 경우 원래 학년으로 평균화 될 수 있지만 많이 낮은 수준의 효과가 있습니다. 아마 심지어 100 : 1.

나는 또한 당신이 이런 종류의 시스템을하고 있다면 등급의 높은 수준을 원할지도 모른다고 생각한다.