Форум 'Тестирование приложений' на RSDN.RU

Где получить code review?

Thu, 09 Feb 2012 18:02:05 GMT

Предположим, имеется код библиотеки. Я хотел бы получить комментарии по нему чуть более чем "а зачем?" и "мне не нравится твой стиль". Это возможно?

Онлайн-конференция по тестированию ПО Auto ConfeT&QA

Tue, 07 Feb 2012 13:34:03 GMT

Добрый день! 13 февраля стартует Auto ConfeT&QA — это онлайн конференция по автоматизации и только по автоматизации. Код, подходы, архитектура, дизайн и никакого ручного тестирования и управления.

Конференция Auto ConfeT&QA Online это:

•9 мотивационных докладов по 20 минут на каждой конференции на самые актуальные темы в области тестирования
•3 дня подряд с 17 до 19 часов (по московскому времени)
•Вопросы и ответы в прямом эфире
•Реальные примеры, мегабайты кода и дополнительных материалов
•Обсуждения на форуме
•И никаких расходов на гостиницу и транспорт…
•Потому что никуда не надо ехать!

С программой конференции можно ознакомиться здесь http://confetqa.ru/program-auto-2012/
И, если есть желание, конечно, принять участие!

Понятие модульного теста.

Sat, 04 Feb 2012 05:35:55 GMT

Что значит "модульный тест"? Означает ли это, что при тестировании класса код его зависимостей вообще не должен исполняться?

Как найти причину тормозов?

Wed, 01 Feb 2012 18:32:07 GMT

Юзеры при работе с сайтом жалуются на жуткие тормоза.
Как не имея исходников можно понять причину: железо, сайт или база? и как дальше копать?

Стоит ли делать мок?

Tue, 17 Jan 2012 05:41:15 GMT

Привет!

Есть такая система:

class A
{
  IB ib;
};

interface IB;

class B1 : IB;

Класс B1 написан и протестирован. Теперь надо реализовать и протестировать класс А, который использует IB. Стоит ли создавать BTest, реализующий IB, или же можно воспользоваться готовым B1?

Аргументы за использование B1:
— IB имеет достаточно сложную семантику, которую придется реализовывать в BTest (и отлаживать)
— В рабочем коде A и B1 будут использоваться вместе, возможно при этом проявятся дополнительные ошибки в B1 (не выявленные тестами B1). При использовании B1 для тестов мы имеем еще и интеграционное тестирование A + B1

Аргументы за использование BTest:
— Какие-то особенности A проще протестировать, имея контроль над реализацией IB

Правильно наверное сделать отдельно тесты A+BTest, а затем интеграционные A+B1. Но это сильное дублирование кода, да и просто нет времени так делать.

А вы как считаете?

Тестирование работы аустсорсера

Fri, 13 Jan 2012 21:16:53 GMT

Проект состоит из 2-х частей.
Одну делает аутсорс, вторую -мы.
Аустсорс делает морду (софт для кассы в магазине), мы делаем серверную логику (WCF) и базу (база лежит в другом месте).
Также аутсорс делает оффлайн режим, если сервер недоступен.

Как тестировать такое?

[.NET]: Юнит-тесты в тех же сборках, что и тестируемый код.

Mon, 26 Dec 2011 08:51:35 GMT

Коллеги,
есть соблазн помещать код модульных тестов как можно ближе тестируемому коду. Конкретно — в те же сборки.
Ожидаемый бенефит: сокращение числа проектов, упрощение правил организации исходного кода, удобнее искать тесты на конкретный код.
Однако "golden path" от MS — это делать по тестовой сборке на каждую продуктовую. Какие тут могут быть подводные камни?
Сразу оговорюсь, речь идет не о коробочном продукте, так что поставки лишнего "веса" клиентам я не боюсь.
Может кто уже так делал, какие ваши впечатления?

Watir Webdriver - right click в FF

Sun, 18 Dec 2011 00:39:33 GMT

Сабж вообще возможен? IE не интересует, у меня его не на чем запускать.

И как это все отлаживать? Например есть потрясающей у###щности веб приложение, в котором весь интерфейс построен динамически на ExtJS, и этот весь кошмар подгружается в iframe через AJAX.

У меня не получается написать селектор для ячейки таблицы. В Firebug я ее вижу, в irb нет.

agile - приёмочные тесты до реализации

Sun, 27 Nov 2011 23:05:27 GMT

Коллеги,

Я читал в книках по agile о том, как тестеры в самом начале итерации могут заняться написанием приёмочных тестов.
У меня в голове не очень укладывается, как на практике пишется валидный автоматический тест на несуществующую функциональность, которую к тому-же будет разрабатывать кто-то другой.

Нашёл в гугле и посмотрел пару презентаций по Acceptance TDD — так они обо всём кроме деталей.

Можете расписать на пальцах, основываясь на своём опыте?
* Кто в команде пишет приёмочные тесты? Разработчики, тестеры, product owner?
* Когда? В начале/середине/конце итерации, по мере готовности историй?
* Кто и когда исполняет эти тесты?
* Достигается ли — и каким образом — разработка приёмочных тестов до реализации историй? Давайте предполагать, что команда делает web-приложение.

спасибо

Нужен софт для проверки приложения.

Tue, 22 Nov 2011 20:12:21 GMT

Здравствуйте.

Имеется десктопное приложение. Приложение дорабатывается, и периодически ломаются уже проверенные вещи.
Нужна программа, которая бы позволила записать и позже воспроизвести последовательность кликов по экрану.

Как я себе вижу процесс проверки.
Например, у меня есть экран с калькулятором. Я произвожу последовательно нажатие на кнопки 2, + , 2, =, а программа должна записать координаты моих нажатий в тестовый алгоритм.
Через неделю я проверяю, не сломали ли логику экрана. Я открываю экран калькулятора, вызываю тестовый алгоритм. Тестовый алгоритм повторяет ввод по координатам 2, + , 2, =. А я смотрю, чтобы ответ был корректен.

Что из софта вы можете мне посоветовать?

как тестировать HttpHandler

Tue, 01 Nov 2011 09:29:12 GMT

Написал httpHandler под .Net 4.0 который представляет из себя обычную dll.
Как тестировать?

VS Setup Project и автоматические обновление

Tue, 11 Oct 2011 04:11:52 GMT

Всем привет! Ситуация такая: необходимо с помощью штатных средств VS Setup Project добавить в установщик поддержку автоматического обновления (данного софта). Возможно ли это? Можно вообще это реализовать с помощью Visual Studio 2010 (не программируя)

Тестирование в рантайме и Fault-симуляторы

Sun, 02 Oct 2011 11:44:59 GMT

Приветствую всех !

Тема, которую я хочу поднять, затрагивалась здесь.

Бывает, очень нужно проверить, как поведет себя программа при тех или иных условиях, причем
сэмулировать эти условия либо трудно, либо практически невозможно, либо такая эмуляция будет явно
условной, искажающей оригинальное поведение и всякие его специфические особенности/фичи/баги.
А тестировать как-то надо.

Приведу более конкретный пример, чтобы было понятно о чем идет речь.

Есть программа, работающая с оборудованием, которая контролирует целостность передаваемых данных.
Пакет данных, поступающих от передатчика, проверяется на целостность, после чего доставляется
целевому устройству (приемнику). Если данные "битые", то пакет отменяется, а передатчику
шлется сигнал о необходимости повторной отправки. Нечто подобное происходит, когда приемник не
поспевает принимать данные и сигналит передатчику о задержке. Есть и другие сигналы для всяких
аварийных ситуаций. Проблема в том, что эти сигналы тоже по разным причинам могут не дойти до
передатчика, и это все тоже нужно как-то сэмулировать и протестировать.

Тут, кажется, три варианта решений.

1. Вручную внести необходимые "поломки" и посмотреть что будет.

Метод хороший, но он связан с постоянными перекомпиляциями, трудозатратами (каждый раз нужно
бродить по коду и править условия в if-else), ненадежен (пропустить какую-нибудь проверку
очень легко) и почти не поддается автоматизации.

2. Использовать мок-объекты.

Теоретически верный, но практически нереально сложный путь.
В моем случае это значит написать два объекта, которые полностью эмулируют работу
передатчика и приемника, что, не вдаваясь в детали предметной области, само по себе тянет
на несколько человеко-лет.

3. Использовать средства для управления условиями в рантайме.

Видимо, лучший вариант.
Это, по сути, модификация варианта 1 с той разницей, что искусственные поломки вносятся в
программу на лету, уже в процессе исполнения. Для этого, понятное дело, нужно каким-то
образом пометить соответствующие места в коде, а на этапе выполнения сидеть за пультом с
рычажками и дергать в разных местах, приговаривая: "так-с, а что если тут открутить".

Из мне известных — Driver Verifier и Compuware Fault Simulator, хотя это драйверная тематика и
второй продукт, вроде бы, не развивается.

Вопрос — какие еще есть подобные инструменты/библиотеки для Windows ?
Интересует для C/C++ в первую очередь.

Спасибо.

Класс который открывает protected члены

Thu, 29 Sep 2011 20:37:07 GMT

Есть класс Foo который тестируется.
Как назвать класс который наследуется от Foo для того чтобы сделать protected члены public членами?

class Foo
{
protected: 
   void bar();
};

//////

struct ???Foo??? : Foo
{
    using Foo::bar;
};

....

[TestMethod]
void bar_Call_DontThrows()
{
    ???Foo??? foo;
    foo.bar();
}

Юнит тесты в табличном виде

Thu, 29 Sep 2011 10:33:16 GMT

Приветствую,

ловлю себя на том, что в очень большом числе случаев самые простые,
эффективные и легко поддерживаемые юнит тесты выражаются в виде
таблицы "Аргументы метода — Ожидаемый(ые) результат(ы)". В качестве
результата в простейшем случае выступает возвращаемое значение функции,
но могут быть и более сложные зависимости. В общем случае результат
можно выразить набором каких-то значений.

Так вот, вопрос. Во-первых, есть ли название у такого подхода к юнит-
тестированию. И во-вторых, есть ли библиотеки для C++ которые
поддерживают подобный подход? Спасибо!

тестирование на безопасность

Tue, 27 Sep 2011 18:27:08 GMT

Пишу http handler на .NET который будет потом отдельным приложением в iis и будет обрабатывать запросы из интернета от строго определенного ip.
Что учесть для тестирования на безопасность?

Интересный инструмент для модульного тестирования

Fri, 23 Sep 2011 10:26:37 GMT

Не давно озадачился модульным тестированием много поточных алгоритмов (в основном это С++) и
под руку подвернулось интересное решение, думаю это пригодится всем, кто пишет на С++ и
использует ATL, MFC, Qt. Вот ссылка, где все подробно расписано.

Автомониторинг удаленного тестового стенда

Thu, 15 Sep 2011 10:21:22 GMT

Есть различные проекты ( речь о проектах VS ). Есть билд сервер интегрированный с TFS, который при поступлении новой порции кода выполняет билд с интересующими конфигурациями, прогон UnitTest-ов и в случае возникновении каких-либо проблем сообщает разработчикам об ошибках или успешном выполнении( почта, jaber... ). И все бы хорошо, но помимо этого необходимо разворачивать на тестовых машинах стенд для проверки работоспособности измененного приложения. Стенд включает в себя некоторое окружение, само тестируемое ПО ( может быть как службой так и приложением ), а так же некоторый тестер. Развертывание и мониторинг стендов отнимает приличное количество времени. Неплохо было бы это все как-то автоматизировать...

На вскидку приходит вариант запуска скрипта, копирующего / запускающего / удаляющего / регистрируещего файлы на удаленный стенд. Но здесь проблема авто-мониторинга не решается... Необходимо некоторое окружение, следящее за выполнением тестера на удаленной машине, и в случае неудачного выполнения очередного теста, гасило стенд и уведомляло об ошибках.

Кто как решал ( решает, решил бы ) подобную задачу?

автоматизация тестирования производительности: hudson

Mon, 12 Sep 2011 14:51:48 GMT

Не знаю где тему создать, пусть будет здесь пока?

Как лучше организовать performance testing?
Т.е. цель такая: впереди планируются некие работы по повышению производительности. Хочется заранее иметь некий тул автоматически оценивающий эту самую производительность, таким образом после каждого коммита чтобы было известно что улучшилось, или наоборот, кто-то напортачил с произв-тью. в общем чтобы можно было как-то документированно и доказательно потом сказать, что — "да, мы улучшили произв-ть на столько то процентов". Или, наоборот, "несмотря на все работы и потраченное время произв-ть попрженему сосет и нифига не улучшилась". Ну и все это делать на каком-то вот отдельном этом хадсон сервере чтобы тесты проводились всегда в равных условиях, а не так что на машине одного разработчика все плохо, а у другого все отлично...

Сейчас есть веб приложение, хадсон его пока что только компилирует и собирает, никуда не деплоит.

Т.е. раз хадсон уже используется, хочется все это встроить туда.

у хадсона есть деплой-плагин, т.е. первым делом настроим чтобы оно не только компилилось, но еще и деплоилось в томкат, чтобы всегда у нас был наготове хадсон-тест сервер. на котором эту самую произв-ть и можно будет потом тестировать, правильно?

Вот есть такой плагин к хадсону, оно работает с JMeter... никогда дел с этим джметром не имела, стоит ли это заиспользовать? или попробовать что-то другое? у кого какой опыт в таких вещах?

спасибо

Аутентификация в веб-приложении под Tomcat с использованием

Mon, 05 Sep 2011 09:21:11 GMT

Здравствуйте.

Недавно открыл для себя JMeter. Поскольку я не являюсь тестировщиком, всё-равно было бы хорошо для себя лично ознакомиться с данным инструментом поближе.

Возможно, кто-то из вас имел следующую проблему. Есть желание (на)писать тесты для веб-приложения, работающего под Apache Tomcat. В самом приложении предусмотрена аутентификация посредством стандартной Form Authentication (а посему и j_security_check). Свой первый тест под приложение я снабдил следующими конфигурационными компонентами:

HTTP Request Defaults

HTTP Cookie Manager

HTTP Header Manager

а также и следующим набором HTTP-семплеров:

logout page (/app/logout.jsp)

j_security_check (/app/j_security_check)

с отмеченными галочками Follow Redirects и Use KeepAlive. Но вот беда: не могу пока понять, почему POST-запрос на j_security_check возвращает перенаправление на logout.jsp посредством HTTP 302, который в свою очередь перенаправляет на login.jsp. Короче говоря, понятия не имею, почему тест не может представиться в системе. Проверил ответ j_security_check в Chrome с правильными логином и паролем, но в ответ Chrome сервер Tomcat сразу возвращает перенаправление уже на главную страницу -- т.е., аутентификация, очевидно, успешна. Сначала подумал, что просто не указал все заголовки, после чего добавил:

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.859.0 Safari/535.2
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
Host: localhost:8080
Referer: http://localhost:8080/app/index.jsp

Успешно не сработало. Пока что единственной странностью могу назвать разве то, что кукисы как-то слишком часто меняются после перенаправлений (и это с учётом того, что присутствует HTTP Cookie Manager).

Может, есть какие у кого идеи? Заранее спасибо!