Январь 24th, 2015 
Наталья Руколь Во многих компаниях, рано или поздно, встаёт вопрос: как оценивать результаты работы тестировщиков? В чём их можно измерить? К примеру, в количестве заведённых дефектов? Или в % отклонённых? Или в тестах, написанных и выполненных? Количество придумываемых метрик зависит от фантазии тест-менеджера, и зачастую составляет не меньше десятка.
Почему все рано или поздно приходят к необходимости измерений? К каким результатам приводит численная оценка тестировщиков? О вопросах внедрения метрик по оценке тестировщиков рассказывает в своей статье Наталья Руколь, опытный тест-менеджер и ведущая Школы Тест-Менеджеров.
Почему встаёт вопрос о метриках
В один прекрасный день тест-менеджер, или менеджер тест-менеджера, просыпается и говорит: «результаты работы тестировщиков нужно оценивать и измерять». Почему такое происходит, откуда вообще такие мысли?
1. Не хватает чувства контроля за ситуацией.
Кто что делает? Кто достоин повышения? Кому надо сказать «ата-та»? Менеджеры хотят найти способ оценки эффективности работы, чтобы лучше быть в курсе происходящего.
2. Сотрудникам не хватает внимания.
Сотрудники не знают, как они проявляют себя, движутся ли они в правильном направлении, как им развиваться, что для этого нужно. В этом случае большие менеджеры заставляют маленьких менеджеров проводить регулярные аттестации, измерять работу и по результатам этих оценок давать обратную связь, которой так не хватает сотрудникам.
3. Сотрудникам требуются измеримые цели для повышения мотивации.
Сложно сказать сотруднику «заводи баги лучше», или «заводи багов больше», особенно если сотрудник уверен, что и так работает хорошо. Зато если мы измерим результаты их работы, то чувство необъективности пройдёт, и сотрудники будут знать, над какими именно показателями им нужно работать.
4. Невозможно доказать отсутствие проблем.
Разработчики жалуются на дефекты, РМ’ы жалуются на сроки, клиенты жалуются на баги. Тест-менеджер пытается оправдать работу своего отдела, показав, кто чем занят, и какие высокие у них результаты. А для этого результаты сначала нужно измерить!
А теперь давайте внимательно присмотримся к причинам ведения метрик сотрудников. У вас нет лёгкого чувства обмана? «Что-то здесь явно не то»! Почему это у нас недостаточно контроля? Почему у сотрудников цели неизмеримы, а внимания недостаточно? Почему мы занимаемся оправданием себя вместо решения проблем?
Истина проста: метрики для оценки сотрудников внедряются в ситуациях, когда у руководства есть проблемы с управлением. Что же происходит дальше?
К чему приводит внедрение метрик
Отлично, у нас появились метрики. Это может быть 1-2 значения, а могут быть полноценные KPI. Каков стандартный результат от таких нововведений?
1. Трата времени
Для сбора метрик необходимо расширять используемые инструменты, вводить новые поля, собирать новые данные, обрабатывать их, структурировать. Это неизбежная трата времени и тест-менеджером, и сотрудниками. Эта трата чаще всего несущественная, допустим 1-2 часа в неделю. Но когда вы тратите несколько процентов рабочего времени на задачи, не повышающие качество продукта и результаты тестирования, неизбежно появляется лёгкая демотивация и чувство неважности основных задач.
2. Демотивация сотрудников
В теории мотивации есть очень чёткое деление мотиваторов и стимулов. У сотрудника может быть мотивация делать всё хорошо просто потому что он хочет этого самого отличного результата, это и есть истинная мотивация. Но как только за результатом появляется «морковка», то результат сам по себе теряет ценность. Я уже не хочу выпускать качественные продукты и приносить пользу команде – я хочу завести не менее 144 дефектов в месяц, чтобы получить квартальную премию. Чувствуете разницу? В результатах работы она будет колоссальной. Сложный баг, непонятно как воспроизвести? У меня нет времени разбираться, я лучше 4 минора заведу, это будет выгоднее! Учитываем % отклонённых дефектов? Побоюсь заводить спорный баг. В итоге вы получите дубликаты, ниже качество дефектов, а потом и споры «нет, это не минор, это мажор, ты не объективен ко мне!» и «так я не 100% был занят на тестировании». То есть и объективность не получена, и демотивация, и конфликты.
3. Снижение качества работы
За счёт демотивации сотрудников и ориентации на циферки вместо истинных результатов вы 100% получите прирост по всем выбранным для измерения показателям, и 100% почувствуете в целом ухудшение работы команды. Но что нам чувства, если есть цифры, они-то объективны!
Сторонники числового измерения результатов работы в этом месте обычно объясняют проблему плохо подобранными метриками, не отображающими действительный результат. И впрямь, если метрики на 100% отображают качество работы, то такой проблемы не будет. Но, к огромному сожалению, в тестировании такие метрики невозможны.На заводе всё просто: сколько деталек в день, какой % брака. В тестировании, при всём желании, определить такие метрики невозможно.
Что делать, как жить?
Я не буду пускаться в долгую полемику на тему метрик, хотя с удовольствием отвечу на любые аргументированные комментарии в их пользу. В моей картине мира метрикам в тестировании места нет (опять же, на заводе – пожалуйста). Но описанные в начале статьи проблемы решать как-то всё же надо, если не метриками – то как?
1. Регулярная обратная связь
Сотрудники и без циферок должны знать, что их ждёт, какие их перспективы и куда они могут развиваться. По результатам исследований института Гэллапа люди, понимающие свои рабочие перспективы, работают в разы эффективнее и значительно более счастливы на работе (хотя далеко не все из них понимают важность обратной связи). Более того, многие большие боссы внедряют аттестации с метриками только для того, чтобы менеджеры наконец-то начали общаться со своей командой! А зря: я видела результаты таких «насильно» внедрённых регулярных аттестаций, толку от них всё равно нет. Просто старайтесь не реже раза в месяц общаться с каждым сотрудником тет-а-тет – это всем действительно необходимо!
2. Оперативная оценка задач
Чтобы сотрудники развивались, вы должны регулярно оценивать результаты их работы. Не раз в квартал и не сухими метриками. Делитесь с ними: что вам понравилось, что было не очень. При этом делайте эти оценки обязательно конструктивными! Слова из серии «ты молодец!» не просто не приносят пользы – они зачастую раздражают и вызывают недоверие и отдалённость от менеджера. А вот конкретная похвала заведению дефекта, найденному багу или интересному тесту – очень даже помогают вашим сотрудникам и дальше работать по высшим стандартам, понимая что именно от них требуется. Для критики правило своевременности ещё важнее – говорить «последний квартал ты работал на 22% хуже предыдущего» бесполезно, а вот своевременно комментировать плохо выполненные задачи – залог повышения качества работы.
3. Искренность в общении с сотрудниками и коллегами
Ваши циферки не нужны ни тестировщикам, ни сотрудникам из смежных отделов. Ваши сотрудники хотят искреннего общения, а ваши коллеги (разработчики, Рмы) – заинтересованности в общих проектных результатах. И если кто-то просит циферки – значит, просто не хватает правильного общения!
Опубликовано в рубрике