Портал TMGuru:

Оригинал статьи

Я выступила с докладом о методе xBTM на конференции STARWest 2011. В зале присутствовал Джон Бах, который дал нам ряд полезных рекомендаций.

Недавно я тестировала версию 1.5 инструмента для управления сессионным тестированием STBTExecute. Команда хотела выпустить приложение как можно быстрее, а так как я тогда путешествовала, времени на тестирование почти не оставалось. Мы решили, что я буду тестировать финальную версию в течение четырех часов, и я выбрала xBTM-подход для тестирования. В этом посте я проведу вас через четыре часа тестирования при помощи этого метода, и расскажу о результатах.

Тест-план

Я начала с создания ментальной карты, которая служила мне тест-планом. Я предпочитаю XMind для этих целей. Вначале я создала новую карту и сделала наше приложение – SBTExecute – центральной темой. Несколько минут я размышляла над очевидными подразделами для этой темы и придумала следующие:

• Конфигурация
• Документация
• Запуск
• Импорт
• Генерация
• Отчетность.

Я добавила шесть этих подразделов на карту, после чего решила добавить стресс-тестирование:

Ментальная карта как тест-план. Центральная тема — наше приложение, подразделы – ключевые области или техники тестирования. В них группируются цепочки тестирования.

Затем я потратила минут двадцать, размышляя над идеями для тестирования (цепочками), и записывая их в соответствующей области ментальной карты. Так как тестировала я это приложение не впервые, у меня уже был ряд готовых идей. Итак, через примерно полчаса мой тест-план был готов.

Тестирование

Я начала с функции импорта, так как она ключевая для приложения. Если информация из отчетов о сессиях не импортируется – можно дальше не проверять. Я оценила цепочки в разделе «импорт» как укладывающиеся в сессию длиной в 45 минут. Чтобы отметить это в плане, я поменяла цвет всех этих цепочек на синий:

Тестирование всех цепочек раздела «Импорт» в течение одной сессии

Отчеты о сессиях я пишу в шаблоне SBTExecute для Excel, и использую функционал ментальной карты, чтобы привязать отчетность к плану тестирования. Иконка желтого листочка у раздела «Импорт» показывает, что для раздела есть заметка, которую можно просмотреть и отредактировать по клику на иконке:

Добавление заметок в программе создания ментальных карт. Заметка указывает на соответствующий отчет о сессии.

Я начала сессию тестирования, делая в процессе пометки в отчете. Как только я понимала, что тестирование какой-либо цепочки можно завершать, я добавляла зеленую иконку «проверено» на ментальную карту. Во время сессии я поняла, что не хочу тестировать цепочку «Неверные данные», так как валидация данных встроена в шаблон Excel. Я поставила эту цепочку на паузу, чтобы вернуться к ней позднее, если останется время. На ментальной карте появилась соответствующая иконка и комментарии, почему работа над цепочкой была приостановлена:

Цепочка «Неверные данные» поставлена на паузу.

Затем я вспомнила, что не расставила приоритеты для областей тестирования. Приоритет я выставила при помощи разноцветных цифр, где 1 – наивысший, а 6 – низший приоритет:

Расстановка приоритетов.

Как оказалось, инструмент работает только с файлами в xslx-формате, и не может читать старые xls-файлы. Я точно не знала, баг это или фича, поэтому пометила цепочку вопросительным знаком и оставила к ней заметку.

Когда у тестировщика возникают вопросы, цепочка помечается вопросительным знаком, и к ней добавляется заметка.

Я завершила сессию, но так как меня разбирало любопытство по поводу читаемого формата файлов, вместо новой сессии я решила взглянуть на область «Конфигурация». Несколько минут я провела, создавая отчеты о сессиях в версиях Office 97-2003 и Open Office, и пытаясь загрузить их в систему. Эти цепочки тестировались именно как цепочки, а не в рамках сессии. Я потратила на них всего несколько минут, так как это была область низкого приоритета, написала к ним короткую заметку, поставила цепочки на паузу, чтобы вернуться к ним позже. Если бы я вернулась к ним (чего я в результате не сделала), я бы продолжила делать заметки в специальном окошке:

Краткое тестирование двух цепочек и установка их на паузу.

Далее я решила протестировать все цепочки в области «Генерация» в рамках сессии, по аналогии с областью «Импорт»:

Тестирование всех цепочек раздела «Генерация» в рамках сессии.

Я нашла несколько дефектов и пометила их на карте красным крестом. Когда я обнаруживала дефект, я делала заметку на карте с ID и описанием дефекта. Эта же информация включалась в отчет о сессии.

Найденные дефекты помечались красным крестом, и к ним добавлялась заметка с номером дефекта.

Завершив сессию «Генерация», я углубилась в раздел «Отчетность». По моим прикидкам, подразделы «Итерационные отчеты» и «Сводные отчеты» были достаточно крупными, чтобы объединить их в сессионное тестирование.

Тестирование двух цепочек в рамках сессии.

Проведя три сессии и протестировав две цепочки по отдельности, я привела свою ментальную карту к следующему виду:

Статус тестирования после трех сессий и раздельного тестирования двух цепочек.

Документация к приложению состоит из трех учебников, и я тестировала их как цепочки. На этом моменте у меня уже практически не оставалось времени, поэтому я просто бегло пролистала их. Я использовала частично закрашенные квадратные иконки, чтобы продемонстрировать, как далеко я продвинулась в тестировании каждого документа, и я оставляла краткие заметки. Отчет о сессии я не оформляла, так как тестировала их как цепочки. Последние несколько минут я потратила на запуск приложения с различными параметрами, что тоже проверялось как цепочка, так как на сессию уже не хватало времени.

Тестирование цепочек с использованием частично закрашенных квадратиков, показывающих прогресс тестирования.

Отчет о тестировании

Мои четыре часа истекли, и я завершила тестирование. На этом этапе у меня был отчет о тестировании в форме последней версии моей ментальной карты:

Отчет о тестировании

У меня также были на руках три отчета о сессиях (Импорт, Генерация, Отчетность) и список дефектов.

Если бы у меня было больше времени, я бы вернулась к поставленным на паузу или частично протестированным цепочкам и продолжила работу, делая пометки к соответствующим подразделам. Я бы также исследовала еще непротестированные цепочки.