약 2 주 동안 검색했지만 슬프게도 효율적인 솔루션을 찾을 수 없습니다.vs-team-services에서 자동화 된 데이터 기반 테스트 (csv)를 효율적으로보고하는 방법
유스 케이스는 매우 까다 롭지 않습니다. 나는 곧 discribe하려고합니다 :
상황 : 나는 C#을 웹 서비스 자동화 구현 된
이 Microsoft.VisualStudio.TestTools.UnitTesting을 사용 된 테스트. 이 테스트는 vs-team-services의 Build-Job을 통해 야간에 실행됩니다. 데이터 기반 테스트를 사용하지 않는 한보고는 훌륭하고 추적 가능합니다 (epic/feature/task -> testcase -> bug). (I 테스트 스위트 및 테스트 케이스 - 작업 항목을 사용 eacht 테스트 케이스의 "연결된 자동화"구성)
문제는 : 나 데이터 기반 검사 (CSV-파일) 내가 수 ...
를 사용하면1) 코드의 testmethods에 Testcategory 속성으로 주석을 달고 빌드에서 테스트 어셈블리를 구성한 다음 지정된 Testcategory로 모든 테스트 메소드를 실행합니다. 이 경우 testrun 또는 빌드에는 모든 단일 데이터 행에 대한 보고서가 포함되어 있습니다. 그러나 작업 또는 버그와 관련 될 수있는 테스트 사례 (vsts-workitems)가 없으므로 추적 성은 완전히 손실됩니다.
2) ... 테스트 케이스 (workitem)를 생성하고 테스트 스위트/-plan에 추가하고 패키지/계획을 실행하도록 빌드를 구성하십시오. 이제 테스트 케이스가 태스크 또는 버그와 관련 될 수 있으므로 추적 가능성은 "훌륭합니다". 그러나 빌드의 보고서에는 하나의 테스트 케이스 만 포함되어 있습니다. 심지어 csv 파일에도 예를 들어 있습니다. 200 데이터 행. 각 데이터 행에는 하나의 단일 테스트에 대한 데이터가 들어 있습니다. 예를 들어 하나의 데이터 행 (테스트)이 실패하면 199 개의 테스트가 성공하더라도 테스트 케이스 (vsts-workitem)가 실패합니다.
내가 무엇을 찾고 있어요 :
추적에 대한 가능성 또는 각 데이터 행에 대한보고와 함께 두 번째 방법으로 첫 번째 방법.
이 주제가 이전에 논의되지 않았으며 새로운 기회/접근 방식을 기대하지 않는지 궁금합니다. 미리 감사드립니다.
세부 테스트 결과가있는 사용자 지정 빌드 결과 확장은 어떻습니까? (결과 파일 (예 : trx)에서 세부 테스트 결과를 읽음) –
Test-** RUN **에 첨부 된 trx 파일을 검사했는데 ** BUILD ** do와 다른 결과를 보여줍니다. DD-Test의 모든 결과가 표시됩니다. 그래서 ** 빌드 ** 결과가 테스트 ** 런 ** 결과와 다른 점을 지적해야합니다. 나는 왜 그런 식으로 설계되어야하는지, 어떤 좋은 이유를 찾을 수 없었다. (이것은 TestCase Workitems를 사용하고 자동화에 연관시키는 경우의 동작입니다.) –
구동 된 테스트는 많은 데이터 행이 있더라도 테스트 포인트 일뿐입니다. 따라서 레코드가 실패하면 최종 결과가 실패합니다. –