juan_gandhi | TWIMC: tests using random and current time

Entry tags:

TWIMC: tests using random and current time

So, if you think you call a function in your code, and this function returns current time, or a random number... IT'S NOT A FUNCTION. Your code is function of "random number", or "time".

So, if your code is written as something that retrieves this kind of data, to test your code, you should provide that data. Not just today, but try the time, like 10 years from now. As to "random", You provide the randomness. If your code cannot be fixed to behave as a function of those inputs, make your "random stream" or "time stream" not hard-coded, but substitutable. Mockable. And mock it in your tests. MAKE SURE that you don't provide just happy-path data. Provide anything. A sequence of 100 numbers 4 for random. Time that is 10 years from now. Or even 30 yeas from now.

Make sure that your tests don't depend on anything. Because test Must Be Reproducible.

All these things, I know, are obvious to some, and not obvious to others.

If you still have questions, ask. But don't argue. Because what I say is math. Unless you have another math (some people do), or another logic (there's plenty of them), please don't argue.

I'd be glad to see how all this changes if logic is e.g. linear.

Flat | Top-Level Comments Only | Expand All

Mock тестирование - не просто передает параметры в тестируемую функцию, но и делает дополнительные операции (обычно устанавливает значения некоторых properties у mock объекта), верно?

Аналоги этих дополнительных операций -- выполняются и при регулярном выполнении production code, верно?

Так вот эти аналоги (части production code) -- не покрыты mock тестами.
То есть покрытие неполное.

Я не вполне согласен.

Представьте, что в код, который исполняет new DateTime(), передаёся какой-нибудь DateTimeCreator с методом newDateTime(), и все вызовы new DateTime() меняются на вызовы newDateTime().

Теперь в production мы передаём одну имплементацию DateTimeCreator, а в тестах -- другую (я называю её, возможно ошибочно, mock). Я не вижу тут неполного покрытия.

У вас получилось хорошее описание примера использования mock.

> в production мы передаём одну имплементацию DateTimeCreator,

Так вот эта "production" имплементация -- и не тестируется.
И процесс передачи этой "production" имплементации -- тоже не тестируется.

Это и делает тестовое покрытие с помощью mocks - неполным.

Да... мои соболезнования твоим сотрудникам.

What do you mean?

Красиво несешь нескладуху и ахинею, а им разбирайся и пытаться внести какой-то смысл.

Если ты разобрался, то почему ты не можешь указать на мою ошибку?

А если ты не разобрался, то откуда ты знаешь, что это ахинея (а не твое упущение)?

Это не ошибка, когда несут ахинею. Это система.

Вместо того, чтобы попытаться добиться взаимопонимания в частном случае (что проще), ты выдал обобщенное утверждение (кстати, неверное), которое не отвечает на мой вопрос.

Зачем ты это сделал?

Зачем я комментирую ахинею, что ты несешь? Чисто из зрительного зала. Обсуждать с тобой это нет смысла. Был бы ты программист, тогда могло бы иметь смысл. Какое тут нафиг взаимопонимание. Для взаимопонимания нужно понимание, а у тебя полный швах с этим делом.

> Зачем я комментирую ахинею, что ты несешь?

Нет.

Зачем ты высказал утверждение, не относящееся к вопросу, который я задал?

> Чисто из зрительного зала.

Ты имеешь ввиду, что прикольно иногда покричать какие-нибудь глупости из зрительного зала?

> Для взаимопонимания нужно понимание,

Да.

> а у тебя полный швах с этим делом.

Из каких признаков ты сделал такой вывод?

Из каких признаков ты сделал такой вывод?

Из той чепухи, что ты нес.

Признаки непонимания

dennisgorelik - 2020-08-26 23:37 (UTC) - Expand

Re: Признаки непонимания

juan_gandhi - 2020-08-27 01:12 (UTC) - Expand

Re: Признаки непонимания

dennisgorelik - 2020-08-27 16:56 (UTC) - Expand

Re: Признаки непонимания

juan_gandhi - 2020-08-27 20:29 (UTC) - Expand

Re: Признаки непонимания

dennisgorelik - 2020-08-27 23:29 (UTC) - Expand

Re: Признаки непонимания

juan_gandhi - 2020-08-27 23:39 (UTC) - Expand

Re: Признаки непонимания

dennisgorelik - 2020-08-28 00:21 (UTC) - Expand

Re: Признаки непонимания

juan_gandhi - 2020-08-28 03:15 (UTC) - Expand

Re: Признаки непонимания

dennisgorelik - 2020-08-28 08:30 (UTC) - Expand

DateTimeCreator можно тоже покрыть тестами.
Процесс его передачи, наверное, тоже.

> DateTimeCreator можно тоже покрыть тестами.

Если можно покрыть тестами DateTimeCreator, то зачем нужен Mock, подменяющий DateTimeCreator?

> Процесс его передачи, наверное, тоже.

Можно. В полноценном integration тесте, который не использует Mock.

Если можно покрыть тестами DateTimeCreator, то зачем нужен Mock, подменяющий DateTimeCreator?

Чтобы можно было протестировать наш сервис для разных DateTime.

Можно. В полноценном integration тесте, который не использует Mock.

И в тесте, который использует мок тоже, потому что процессы передачи настоящего "DateTimeCreator" и его мока -- одинаковые.

>> Если можно покрыть тестами DateTimeCreator, то зачем нужен Mock, подменяющий DateTimeCreator?

> Чтобы можно было протестировать наш сервис для разных DateTime.

Вы имеете ввиду, что покрыть тестами DateTimeCreator можно, но не для всех значений?
И что Mocks - позволяют тщательно протестировать остальную часть сервиса (а DateTimeCreator будет протестирован лишь для некоторых значений)?

> И в тесте, который использует мок тоже, потому что процессы передачи настоящего "DateTimeCreator" и его мока -- одинаковые.

Нет.
Mock не дает полноценного тестирования в данном случае.
"Передача DateTimeCreator" - состоит из двух частей:
Часть №1: Посылка DateTimeCreator.
Часть №2: Получение DateTimeCreator.

Часть №2 - одна и та же и в тесте с моками и в production коде. Поэтому тестирование покрывает production код.

Но, увы, Часть №1 - разная в коде тестов с моками и в production коде. Поэтому тестирование с моками не покрывает эту Часть №1 ("Посылка DateTimeCreator").

Эту проблему (с отсутствием покрытия "посылки DateTimeCreator" можно продемонстрировать следующим образом:
1) Написать production код.
2) Написать mock test (который successfully passes).
3) Модифицировать ту часть production кода, которая передает DateTimeCreator (чтобы она передавала неправильную функцию).
Mock test, при этом, увы, будет продолжать демонстрировать success (fake success).

Ага, теперь я, кажется, понял.
Да, при тестировании с моком одна часть рабочего кода не покрывается.
Но её вроде можно покрыть, добавив тест с настоящим DateTimeCreator.

Если тест должен явным образом добавлять работу с настоящим DateTimeCreator, то полного покрытия не получится.

Но если работа с настоящим DateTimeCreator - имплементирована в моке по умолчанию - тогда, действительно, может получиться покрыть рабочий код тестами полностью.

Не могу согласиться. Сервис может включать настоящий DateTimeCreator по умолчанию.
И мы можем протестировать его в таком виде.
А для тестов, которые требуют DateTimeCreator mock, мы втыкаем этот mock в наш сервис вместо настоящего DateTimeCreator-а.

> Сервис может включать настоящий DateTimeCreator по умолчанию.
> И мы можем протестировать его в таком виде.

Я именно это и имел ввиду, когда написал "Но если работа с настоящим DateTimeCreator - имплементирована в моке по умолчанию - тогда, действительно, может получиться покрыть рабочий код тестами полностью."

Похоже, разница между нашими утверждениями лишь в том, что вы называете "моком" лишь изменяемую часть, а я называю "моком" весь класс, который включает в себя изменяемую часть.

Похоже, разница между нашими утверждениями лишь в том, что вы называете "моком" лишь изменяемую часть, а я называю "моком" весь класс, который включает в себя изменяемую часть.

Да, похоже на то. А как правильно ?

"Mock" и "mocking" in programming

dennisgorelik - 2020-08-31 12:18 (UTC) - Expand

Re: "Mock" и "mocking" in programming

mikkim08 - 2020-08-31 20:06 (UTC) - Expand

Re: Is full service test coverage possible with mocks?

juan_gandhi - 2020-08-31 15:24 (UTC) - Expand

> Сервис может включать настоящий DateTimeCreator по умолчанию.
> И мы можем протестировать его в таком виде.

Обратите внимание, что обратное - тоже верно: если сервис не включает в себя настоящий DateTimeCreator по умолчанию, то полный test coverage такого кода - невозможен.

Что приводит нас к "best practice" рекомендации о том, как имплементировать моки:
Для того, чтобы повысить test coverage, имплементация мока для рабочего кода - должна быть включена по умолчанию в сервис (чтобы рабочий код, вызывающий этот сервис, не должен был заморачиваться explicit инициализацией mock).

Это, пожалуй, основной вывод из нашей с вами дискуссии о моках.

Это, пожалуй, основной вывод из нашей с вами дискуссии о моках.

Да, можно сделать такой вывод.

Вижу, вам уже заморочили голову.

Да вроде нет, пока держусь.

Flat | Top-Level Comments Only | Expand All