Microsoft Test Manager

Team Foundation Server (TFS) — комплексное решение от Microsoft, который включает в себя систему управления версиями, сбор данных, построение отчетов, отслеживание статусов и изменений по проекту.

Microsoft Test Manager (МТМ) — часть этого продукта и требует установки Visual Studio. В этой связке становится возможным связать задачи, которые поставлены перед исполнителем, с заведенными репортами (дефектами) и отчетами о затраченном на работу времени.

Планы и результаты тестирования сохраняются на сервере Team Foundation Server. МТМ включает в себя тест-план, тест-кейс и конфигурации.

Сам TFS является проприетарным ПО, лицензия — коммерческая. Работает на трех уровнях: клиентский уровень, прикладной уровень и уровень данных, в зависимости от чего возможна работа либо через web, либо только через десктоп-приложение. МТМ работает только на прикладном уровне, поэтому  требуется установка на сервер (если сервер удаленный, работа проводится через VPN).

Возможности

  • исследовательское тестирование
  • планирование и выполнение ручных тестов
  • кроссплатформенные конфигурации тестов (разные версии одного теста для разных платформ/релизов)
  • диагностика прохождения теста (логи, видео и т.п.)
  • импорт-экспорт тестов
  • междупроектный импорт-экспорт тестов
  • запись и воспроизведение ручных тестов (рекордер)
  • автоматизация тестов

Преимущества

  1. Связка задача — дефекты — затраченное время.
    • Пример: пользователь (тестировщик) получает от менеджера задание, которые фиксируются через Visual Studio. Используя МТМ, он выполняет тесты (статистика и отчет отправляются на сервер TFS с просмотром через Visual Studio). Во время прохождения теста, используя команды МТМ, можно сразу же оформить дефект: автоматически вызывается окно оформления дефектов от VS, и оформленный дефект привязывается к конкретному тесту.
    • После, при оформлении отчета о затраченном времени, пользователь вносит номера дефектов, и их список (линковка) автоматически привязывается к текущему отчету. Таким образом задача, оформленные дефекты, отчеты о работе между собою связаны и пролинкованы, что сильно упрощает статистику и общую отчетность.
  2. Рекордер.
    • МТМ дает возможность записать прохождение тестов: нажатия клавиш клавиатуры, жесты мышки. Записанные тесты можно отредактировать и воспроизводить нужное количество раз.
  1. Автосбор информации о дефекте
    • Если определенный тест не прошел, при оформлении дефекта (при условии, что вызов окна оформления дефекта был произведен через МТМ) автоматически прилагается следующая информация:
      • шаги тест кейса
      • log
      • информация о системе пользователя, на которой был воспроизведен дефект.
      • скриншоты окна (опционально)

Интерфейс

Окно при запуске Test Manager (режим создания тестов):

TFS_start page

Окно создания тестов:

TFS_create test

Начало прохождения теста. Запуск:

TFS_run test

Тесты отмечены, как пройденные или нет. Можно вписать номер оформленного бага:

TFS_bug_number

Можно прямо во время прохождения теста создать баг-репорт:

TFS_bug_report

При этом запускается Visual Studio. При оформлении репорта непостредственно в Visual Studio боковая колонка с прохождением теста, естественно, не выводится.

TFS_create_report

Страница создания репорта. Здесь оформляется РК (регистрационная карта) репорта:

TFS_create_report02

Здесь — сам репорт:

TFS_report

Тесты в разных состояниях успешности прохождения:

TFS_test_list

Страница Visual Studio со списком репортов:

TFS_report_list

Официальный сайт

https://msdn.microsoft.com/ru-ru/library/jj635157.aspx

Полезные материалы