결과의 품질이 주관적인 테스트 자동화 방법

Question

API의 라이센스 비용이 좋은 투자 수익을 창출하는지 확인하기 위해 일련의 신속한 프로토 타입을 통해 자동화 및 통계 생성 프로그램을 발전시켜 왔습니다. 제한된 기간과 제한된 경험으로 자동화 된 품질이나 정확성 테스트 및 메트릭이없는 유용한 도구가되었습니다.

이 프로그램은 PDF 문서의 현지화 프로세스를 다룹니다. 특히, 파일 내용 중 일부 (대략 단어 수, 이미지 수 등)에 대한 보고서를 생성하고 일부 내용 추출 및 처리 기능을 가지고 있습니다. 주로 PDF 로컬라이제이션 프로젝트의 비용을 평가하는 데 드는 시간과 비용을 줄이기 위해 주로 사용됩니다.

이 응용 프로그램은 버그 추적 시스템 및 예비 테스트, 릴리스 및 피드백주기에 대한 요청을 포함하여보다 공식적인 개발 프로세스에 대한 승인을 받았습니다.

그런 다음 문제는 QA와 테스트에 대해 어떻게 적용 할 것인가입니다.이 응용 프로그램에서는 숫자가 종종 일부 추론에 기반한 최고의 추측이며 처리 된 출력은 원본 문서? 번호가 분명히 미친 경우 보고서에 경고를 추가 할 계획이지만 품질을 보장하기 위해 수행 할 수있는 작업은 무엇입니까?

지금까지 내가 가진 가장 정교한 해결책은 빌드 환경에서 주장 테스트를 통해 전통적인 사용자 테스트 케이스를 작성하는 것 (필자가 피하는 것이 좋음)을 통해 일부 도우미 메소드의 결과를 보장하는 것입니다.

주관적인 품질 측정 방법은 어떻게 테스트합니까?

저는 C#에서 일하고 있습니다.하지만 프레임 워크와 관련된 모든 것에 대한 일반적인 최선의 답을 선호합니다.

Answer 1

응용 프로그램이 수행하는 작업이 정확히 무엇인지 모르겠지만 일반적인 질문에 대한 대답은 입력 범위를 나타내는 테스트 사례 모음을 만들고 올바르게 판단 할 수 있는지 확인하십시오. 실제 입력 문서를 테스트 할 수는 없습니다.

그리고 자동화 된 테스트로 수행 할 수있는 작업에 한계가 있음을 인정해야합니다. 일들이 실제로 주관적인 미학이나 유용성을 얻는 경우), 실제 판단이 필요합니다.

나는 더 유용한 답변을 줄 수 있기를 바랍니다.

Answer 2

시도 Approval Tests.