Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
비주얼 스튜디오 2022 | 비주얼 스튜디오 2019 | 비주얼 스튜디오 2017 | 비주얼 스튜디오 2015
자동화된 테스트를 테스트 사례와 연결하면 CI/CD 파이프라인과의 더 나은 추적성 및 통합을 제공하여 테스트 프로세스를 향상시킬 수 있습니다. 이 문서에서는 자동화된 테스트를 테스트 사례와 연결하면 도움이 되는 시나리오와 이를 효과적으로 수행하는 방법을 안내합니다.
필수 구성 요소
| 범주 | 요구사항 |
|---|---|
| 프로젝트 액세스 | 프로젝트 멤버. |
| 액세스 수준 | - 테스트 관련 작업 항목을 보거나 테스트 사례를 실행하려면 최소 기본 액세스입니다.
관련자 액세스 권한이 있는 사용자는 테스트 계획에 액세스할 수 없습니다. - 테스트 관련 기능의 전체 범위를 연습하려면: 기본 + 테스트 계획 액세스 수준 또는 다음 구독 중 하나: - 엔터프라이즈 - 테스트 전문가 MSDN 플랫폼- |
| 사용 권한 | - 테스트 계획, 테스트 도구 모음, 테스트 사례 또는 기타 테스트 기반 작업 항목 유형을 추가하거나 수정하려면: 해당 영역 경로허용으로 설정된 이 노드 사용 권한 집합에서 작업 항목을 편집합니다. - 빌드 및 테스트 설정과 같은 테스트 계획 속성을 수정하려면, 해당 영역 경로에서 테스트 계획 관리 권한을 허용으로 설정하세요. - 테스트 스위트를 만들고 삭제하거나, 테스트 스위트에서 테스트 케이스를 추가 및 제거하거나 테스트 스위트와 연결된 테스트 구성을 변경하려면: 해당 영역 경로에서 테스트 스위트 관리 사용 권한 집합을 허용 으로 설정합니다. - 필요한 프로젝트 수준 권한은 다음과 같습니다. - 테스트 실행을 보거나, 만들거나, 삭제하려면: 테스트 실행보기, 테스트 실행만들기 및 삭제 테스트 실행 권한 집합이 허용설정됩니다. - 테스트 구성 또는 테스트 환경을 관리하려면 테스트 구성 관리 및 테스트 환경 관리합니다. - 테스트 기반 작업 항목에 새 태그를 추가하려면 태그 정의 사용 권한을 허용으로 설정합니다. - 프로젝트에서 작업 항목을 이동하려면: 이 프로젝트에서 작업 항목 이동 권한을 허용으로 설정합니다. - 테스트 기반 작업 항목을 삭제하거나 복원하려면: 작업 항목 삭제 및 복원 사용 권한 집합을 허용으로 설정합니다. - 테스트 기반 작업 항목을 영구적으로 삭제하려면: 작업 항목 영구 삭제 권한을 로 설정합니다. |
자세한 내용은 수동 테스트 액세스 및 권한참조하세요.
테스트 프로젝트 생성 및 빌드 파이프라인 설정
테스트 프로젝트를 만들고 파이프라인을 빌드하려면 다음 단계를 수행합니다.
- 자동화된 테스트를 포함하는 테스트 프로젝트를 만듭니다. 자세한 내용은 지원되는 테스트 유형참조하세요.
- 테스트 프로젝트를 Azure DevOps로 확인합니다.
- 프로젝트에 대한 빌드 파이프라인을 만들고 자동화된 테스트가 포함되어 있는지 확인합니다. XAML 빌드를 사용 중이라면 차이점이 무엇인지에서 확인하십시오.
Visual Studio에서 자동화된 테스트 연결
다음 시나리오에서는 Visual Studio를 사용하여 자동화된 테스트를 테스트 사례와 연결하는 것이 좋습니다.
수동 테스트 케이스 자동화: 수동 테스트 케이스를 만든 후 나중에 그것이 자동화에 적합하다고 판단하였지만, 여전히 테스트 계획의 일부로 실행하려고 하는 경우. Visual Studio 테스트 작업의 설정에서 테스트 계획 또는 테스트 제품군을 선택하여 CI/CD 파이프라인에서 이러한 테스트를 실행할 수 있습니다. 테스트 계획 웹 포털에서 자동화된 테스트를 실행할 수도 있습니다. XAML 빌드를 사용하는 경우 Microsoft Test Manager 사용하여 이러한 자동화된 테스트를 실행할있습니다.
종단 간 추적 가능성사용: 테스트 사례가 요구 사항 또는 사용자 스토리에 연결된 경우 테스트 실행 결과를 사용하여 해당 요구 사항의 품질을 설정할 수 있습니다.
다음 단계를 수행하여 자동화된 테스트를 Visual Studio의 테스트 사례와 연결합니다.
Visual Studio Enterprise 또는 Professional 2017 이상 버전에서 솔루션을 엽니다.
테스트 사례에 대한 작업 항목의 식별자를 모르는 경우 Azure 테스트 계획에서 테스트 사례를 찾거나 작업 허브에서 작업 항목을 쿼리합니다.
테스트 사례에 대한 작업 항목의 식별자를 알고 있는 경우:
Visual Studio 2017 이상 버전을 사용하는 경우 다음 단계를 수행하여 테스트를 연결합니다.
- 테스트 탐색기 창이 표시되지 않으면, 테스트 | 윈도우 메뉴에서 엽니다.
- 테스트 탐색기에 테스트가 표시되지 않으면 솔루션을 빌드합니다.
- 테스트 탐색기에서 연결할 테스트 메서드를 선택하고 테스트 사례에 연결을 선택합니다.
- 열리는 대화 상자에서 테스트 사례 식별자를 입력하고 연결 추가를 선택한 다음 저장을 선택합니다.
대화 상자에는 현재 선택한 테스트 메서드와 연결된 테스트 사례 목록이 표시됩니다. 둘 이상의 테스트 메서드를 테스트 사례와 연결할 수는 없지만 테스트 메서드를 둘 이상의 테스트 사례와 연결할 수 있습니다.
XAML 빌드아닌 Azure DevOps에서 빌드 및 릴리스 서비스를 사용하는 경우 Visual Studio 테스트 작업을 사용하여 빌드 및 릴리스 파이프라인에서 관련 테스트를 실행할 수 있습니다. XAML 빌드를 사용하지 않는 한 Microsoft Test Manager를 사용하여 주문형 테스트를 실행할 수 없습니다.
테스트 사례의 매개 변수는 테스트 사례와 연결하는 자동화된 테스트에서 사용되지 않습니다. 이러한 매개 변수를 사용하는 테스트 사례의 반복은 수동 테스트에만 해당합니다.
자세한 내용은 다음 문서를 참조하세요.
Azure DevOps에서 자동화된 테스트 연결
빌드 파이프라인에서 테스트를 연관시키다
파이프라인 이동하여 자동화된 테스트가 실행된 파이프라인을 선택합니다.
테스트가 실행된 빌드를 선택합니다.
테스트 탭에서 수동 테스트 사례와 연결하려는 자동화된 테스트를 찾습니다.
테스트를 선택한 다음 테스트 사례에 연결을 클릭하세요.
자동화된 테스트에 연결할 수동 테스트 사례를 찾고 나서 연결을 클릭합니다.
자동화된 테스트를 해당 테스트 사례와 연결한 후 Azure 테스트 계획 태스크 활용하여 파이프라인의 일부로 실행할 수 있습니다.
자동화된 테스트 연결에 대한 FAQ
다음과 같은 FAQ(질문과 대답)를 참조하세요.
Q: 지원되는 테스트 유형은 무엇인가요?
A: 각 테스트 유형에 대해 다음과 같은 기능 및 제한 사항이 있습니다.
| 프레임워크 | *Visual Studio의 연결 | Azure DevOps의 연관성 |
|---|---|---|
| 코딩된 UI 테스트 | 지원됨 | 지원됨 |
| 셀레늄 | 지원됨 | 지원됨 |
| MSTest v1/v2 | 지원됨 | 지원됨 |
| NUnit | 지원됨 | 지원됨 |
| xUnit | 지원됨 | 지원됨 |
| Python(PyTest) | 지원되지 않음 | 지원됨 |
| Java(Maven 및 Gradle) | 지원되지 않음 | 지원됨 |
* Visual Studio 15.9 미리 보기 2 이상에서 지원됩니다.
.NET Core 프레임워크 를 사용하는 테스트는 Visual Studio 15.9 미리 보기 2 이상을 사용할 때 테스트 사례 작업 항목과 연결할 수 있습니다 . .NET Core 테스트를 실행합니다. 적절한 대상 프레임워크는 .runsettings 파일에 지정해야 합니다.
Q: Azure DevOps에서 연결을 위해 GitHub 리포지토리의 테스트를 사용할 수 있나요?
A: VSTest 작업을 사용하여 Azure Pipelines에서 자동화된 테스트를 실행하거나 PublishTestResults 태스크를 사용하여 테스트 결과를 보고하는 한, Azure DevOps의 사용자 환경을 통해 자동화된 테스트를 연결하여 사례를 테스트할 수 있습니다. 테스트를 연결에 사용할 수 있게 되기 전에 한 번 이상 실행해야 합니다.
Q: XAML 빌드를 계속 사용하는 경우 차이점은 무엇인가요?
A: Azure Pipelines에서 XAML 빌드를 사용하는 경우 랩 환경을 사용하여 빌드-배포-테스트 워크플로에서 연결한 테스트를 실행할 수 있습니다. Microsoft Test Manager 및 랩 환경을 사용하여 테스트를 실행할 수도 있습니다.
Q: Visual Studio에서 열 작업 항목을 구성할 수 있나요?
A: 예. Visual Studio의 도구 | 옵션 메뉴에서 작업 항목 | 일반 설정을 변경하여, 웹 브라우저의 기본 Azure Pipelines UI 대신 Visual Studio 내에서 테스트 작업 항목을 열 수 있습니다.
