Критерии тестирования и методы тестирования.

Вводная:Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?

Задача дать чёткое определение - "Критерий тесирования - это. "

Вот кратко до чего дошли.Критерий (от греч. kriterion - средство для суждения), признак, на основании которого производится оценка, определение или классификация чего-либо; мерило суждения.

То есть критерий тестирования - это ЧТО-ТО на основании чего можно измерять тестирование.

Значит критерий тестирования - это признак, на основании которого производится оценка, определение или классификация тестирования.Надежность - признак? Признак.Качество - признак? Тоже.Достаточность (тестов должно быть достаточно, чтобы тестировать данную программу) - тоже признак.

Коллеги, предлагаю присоединится к обсуждению в разрезе: полный список критериев, которые определеют тестирование. Может у кого-то есть идеи на предмет того как ещё можно определить критерии тестирования.

• ФИО: Алексей Баранцев
• Город: Россия, Москва

Я бы кратко сформулировал так (не определение критерия, конечно, а разницу между двумя указанными понятиями):

-- метод определяет КАК ТЕСТИРОВАТЬ -- критерий определяет КОГДА ОСТАНОВИТЬСЯ

• ФИО: Екатерина Андреевна
• Город: Санкт-Петербург

• Город: Казахстан, г.Астана

• ФИО: Алексей Баранцев
• Город: Россия, Москва

• Город: Казахстан, г.Астана

Однако, Darkus подливает масла в огонь

• ФИО: Алексей Баранцев
• Город: Россия, Москва

в моей документации проскакивают тока критерии успешности тестирования. типичиными критериями успешности идут: наличие критических ошибок, наличие некритических ошибок, скрытых от пользователя, наличие визуальных ошибок.

Находясь в процесе написания длинного текста на тему критериев, хочется, забегая вперед, поворчать по поводу этого высказывания.

Задам два вопроса.

Предположим, Катерина, Вам дали на тестирование систему, в которой нет ни одной ошибки (маловероятно, но всё таки предположим :)). Вы тестировали ее месяц и не нашли ни одной ошибки (ещё бы, их же там нет!). Вопрос первый: следует ли считать, что тестирование закончилось неуспешно (ибо предложенный Вами критерий не выполнен)?

Предположим, что Вам дали на тестирование систему и сказали, что нужно "протестировать ее полностью" (что значит "полностью" пока уточнять не будем). Вы тестировали месяц, нашли 100 ошибок. Вопрос второй: насколько Вы близки к завершению работы?

• ФИО: Екатерина Андреевна
• Город: Санкт-Петербург

• Город: Казахстан, г.Астана

• ФИО: Алексей Баранцев
• Город: Россия, Москва

Ещё одно простое, хотя и неформальное, опеределение критерия -- это вопрос, на который можно дать ответ "да/нет", то есть достигнут или не достигнут.

Примеры: "покрыто 90% целевого кода", "проверены все функциональные точки", "написано 1000 тест-кейсов", "найдено 100 ошибок".

Никаких вероятностей. Критерий либо выполняется, либо нет. Tertium non datur.

• ФИО: Екатерина Андреевна
• Город: Санкт-Петербург

• Город: Москва

Я бы кратко сформулировал так (не определение критерия, конечно, а разницу между двумя указанными понятиями):

-- метод определяет КАК ТЕСТИРОВАТЬ-- критерий определяет КОГДА ОСТАНОВИТЬСЯ

facebook (Дети диаграммы Ганта)

• ФИО: Алексей Баранцев
• Город: Россия, Москва

что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?

• Город: Москва

что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?

1) Исходный код2) Например, с помощью программы, отслеживающей покрытие кода тестами, см. топики по автоматизации.

Хорошо, давайте придумаем совсем простой пример, и простые критерии.

Пусть есть HTML страница, печатающая "Hello Word!". В требованиях указано, что страница должна просматриваться минимум на 70% десктопах.

Берем глобальную статистику по браузерам и отбираем самые популярные, чтобы в сумме получилось 70 или более процентов.

Юзкейс: Вызываем страницу, она отображается.Критерий качества кода: страница просматривается под всеми выбраннами броузерами.Метод тестирования: полный перебор (есть конечно еще и другие варианты, вроде метода "5 тестеров", но для данного случая это хороший выбор)

Тест кейсы:№ 1. Вызываем страницу под первым браузером из списка№ 2. Вызываем страницу под .

Критерий завершенности цикла тестирования: Все тестовые сценарии пройденыКритерий завершенности тестирования: Все тестовые сценарии пройдены удачно.

Если очень хочется, записываем сценарий в менеджер тестирования, задаем варианты окружения, и т.д. и т.п..

facebook (Дети диаграммы Ганта)

• ФИО: Худобородов Валерий
• Город: Espoo

• Город: Москва

Что-то мне подсказывает, что критерии (в общем понимании, и не только для тестирования) можно разбить на две большие группы:-необходимые-достаточныеи уже от этого плясать и детализировать. Что скажете?

". Необходима выработка представления о нормах, которым должна подчиняться деятельность для достижения успеха, нужно соответствующее нормирование и перенормирование деятельности для разрешения ситуации и преодоления трудностей. Норма — это предписание к деятельности, она состоит из представлений о будущей деятельности и предписывающего статуса этих представлений. " см. труды Анисимова и последователей.

А то, о чем выговорите, это критерии частичного или полного достижения успеха, в терминах многих методологий. Они ничему не противоречат, но ничего и не дают, в рамках обсуждения вопроса

Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?Задача дать чёткое определение - "Критерий тесирования - это. "

facebook (Дети диаграммы Ганта)

А по моему мнению, надо сначала определиться с определением того о чем мы тут уже спорить начинаем. При выполнении тестирования используются много различных критериев, и надо определиться о каком именно или каких именно, мы ведем речь. В изначальном посте было.

Вводная:Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?

Задача дать чёткое определение - "Критерий тесирования - это. "

И уже здесь появляются вопросы: мы о чем? О более-менее понятном критерии выбора тестов или о некотором абстрактном критерии тесирования (в последнем случае к определению критерия надо добавить определение тестирования, и тогда станет все сразу понятно ).

Как иначе мы можем прийти к какому-либо совместному выводу если на одной странице можно встретить несколько различных критериев:1. критерием выбора тестов2. Критерий тесирования3. критерии успешности тестирования4. структурные критерии, функциональные критерии, мутационные критерии . критерии "белого ящика", критерий "черного ящика"5. Критерий качества кода6. Критерий завершенности цикла тестирования7. Критерий завершенности тестированияИ как в этом можно разобраться?

Если исходить из вводной, то я бы по анологии с barancev'ым сказал, что метод определяет способ выполнения тестирования, а критерий служит только для оценки.