четверг, 8 мая 2014 г.

Monkey Testing


Когда я увидел статью на хабре про monkey testing я как-то не проникся.

Какой вроде бы смысл, когда у меня уже есть unit и functional тесты.

И вот оно случилось.

Вчера, один из беспокойных и резких клиентов одного из моих веб сайтов, резкими нажатиями F5, передвижениями по истории браузера, и прочими хаотичными действиями, смог сделать действие которое не было предусмотрено, и не отлавливалось другими тестами.

Я очень очень впечатлен!

Мне понадобилось больше часа изучения логов и действий юзера в базе, что бы понять способ как пользователь обоше проверки.

Даже яндексовский webvisor не особенно помог.

Но это точно был не какой то хакер, а обычный, даже я бы сказал - далекий от компьютеров пользователь.
Мы по результатам созвонились, и выразили благодарность за найденный баг.

Раздумывал целый день, и не могу придумать функционального теста который бы отловил этот баг.

Повод попробовать внедрить  у себя что то из monkey test.

Начну со статейки хабра, но если вы можете что то посоветовать - буду рад.