Метрики в тестировании
Метрика — это метод, используемый для численного выражения качества или же достижения поставленных целей в каком-либо процессе.
В процессе разработки программного обеспечения метрики используются:
- Для контроля над процессом разработки в целом, а в тестировании в частности
- Для оценки прогресса выполнения работ по тестированию ПО
- Для последующего планирования процессов.
При этом анализ полученных по метрикам значений позволяет получить визуально понятную картину о текущем состоянии качества разрабатываемого продукта, а также представление о завершённости такового.
Виды метрик
Измеримые (представленные в виде цифр, процентных соотношений) и субъективные (оценки отдельных людей, выраженные мнением «хорошо» / «плохо», «удалось» / «не удалось»). Данные метрики характеризуются значительной неточностью, поскольку цифры при неправильном применении могут быть отдалены от реальности и не выражать в полной мере актуальную картину, а оценки отличаются чрезмерным субъективизмом.
Финальные (получаемые после релиза продукта) и косвенные (прогнозируемые до релиза).
Процессные и результатные.
- Метриками результата могут быть: показатели продажи продукта, отзывы клиентов, процент пропущенных дефектов, процент возвратов продукта. Данные показатели помогут в предотвращении ошибок в будущем, однако не повлияют на активности текущего этапа.
- Метрики процесса показывают как осуществляется процесс, и что уже было сделано на текущий момент. По необходимости это может быть сбор показателей по:
количеству ошибок — общее количество (например, для сравнения различных версий продукта) или же их распределение по приоритетам (способствует пониманию, в каких модулях содержится наибольшее количество ошибок, а также в каких наиболее критичные из них)
качеству ошибок — насколько понятно и эффективно тестировщики оформляют баг репорты (данные оценки могут быть получены по отзывам разработчиков, на работу которых понятность заведения багов влияет напрямую)
тестовому покрытию требований, кода, пользовательских сценариев, окружений, покрытию за цикл тестирования и на одной сборке
скорости тестирования одной сборки, полного тестового цикла, скорости внесения критических ошибок программного продукта в баг-трекинговую систему
эффективности планирования — насколько велики расхождения между предполагаемым и реальным сроками завершения работ.
Метрики могут быть представлены:
- В виде соотношения двух показателей (например, количество пройденных тест-кейсов в соотношении к общему количеству имеющихся) или же
- В процентном значении (т.е. как процентный показатель пройденных тест-кейсов, не запущенных вовсе тест-кейсов, не пройденных тест-кейсов среди общих 100% имеющихся тест-кейсов по конкретно данному проекту или же отдельно взятому его функционалу).
Эффективный результат от внедрения метрик напрямую зависит от того, насколько автоматизированный и систематичный их сбор.
Доклады с конференций по данной теме, доступные для просмотра: