Услуги тестирования программного обеспечения в России очень востребованы, и конкуренция в данном сегменте высокая. Несколько просев во время пандемии, в 2021 году этот рынок показал динамичный рост. А с февраля 2022 спрос подогревает возросшая потребность организаций в переходе с западных ИТ-решений на альтернативные, ведь это подразумевает и большой пласт работ, связанных с тестированием софта. TAdviser пообщался с представителями крупного бизнеса из разных отраслей, имеющего глубокие компетенции в области тестирования, а также с представителями игроков, оказывающих такие услуги, и подготовил обзор состояния этой сферы в России. Партнерами материала выступили компании "ЛАНИТ Экспертиза" (входит в группу ЛАНИТ) и Группа Т1.
Основные потребители услуг
К услугам тестирования ПО чаще всего прибегает крупный бизнес, социально-значимые проекты, где дефекты могут нести большие репутационные и экономические риски.
Нашими клиентами являются компании финансового сектора, для которого наличие ошибок в системах ведет к прямым финансовым и репутационным потерям, кроме этого, качество выводимых услуг сейчас является конкурентным преимуществом для банков и ритейла. - говорит генеральный директор "ЛАНИТ Экспертизы" Алена Горшкова. - В последнее время крупным потребителем услуг по тестированию является и государственный сектор, который активно внедряет цифровизацию. Необходимо, чтобы государственные услуги или сервисы оказывались в соответствии с законами и нормативным актами, но и имиджевая составляющая для государства играет важную роль, т.к. напрямую влияет на доверие граждан. Небольшие компании в основном тестируют самостоятельно, но и они обращаются за помощью к вендору по тестированию, когда требуются специфические для них компетенции, например, нагрузочное или автоматизированное тестирование.
Среди ключевых потребителей услуг тестирования ПО опрошенные TAdviser поставщики единодушно называют финансовый сектор. Динамичная цифровизация финансового сектора в России в последние годы, поддерживаемая регулятором - Банком России [1], способствует росту объемов тестирования ПО. На финсектор приходятся многие крупнейшие проекты, реализованные поставщиками услуг тестирования ПО за последнее время. Игроки рынка в 2021 году выполняли работы по тестированию для Сбербанка, ВТБ, Альфа-Банка, Газпромбанка, банка "Открытие", "Банка Хоум Кредит" и ряда других крупных банков.
Наибольшие объемы работ, информация о которых публично доступна, приходятся на крупнейший банк страны - Сбербанк. При этом за последние несколько лет расходы на такие услуги у него кратно выросли. По подсчетам TAdviser, в 2021 году объем закупок услуг тестирования в Сбербанке ПО увеличился в 2,3 раза относительно предыдущего года - до 5,4 млрд рублей.
За последние несколько лет банк сделал огромный шаг вперед не только с точки зрения бизнеса, но и технологий. Сбербанк вывел на рынок множество решений, и ускорение их разработки естественным образом повлекло за собой увеличение объемов тестирования, - объяснили TAdviser в банке.
Значительный объем услуг тестирования ПО приобретает не только Сбербанк, но и его дочерние компании. Так, в конце декабря 2021 года был объявлен масштабный тендер на общую сумму около 1,2 млрд рублей в интересах подразделения SberDevices. В рамках проекта тестируются: биометрическая система распознавания, виртуальные ассистенты, интеграция СДК в мобильные приложения.
В ВТБ с 2019 года проходит масштабная цифровая трансформация, создаются новые системы, дорабатываются существующие. На этом фоне за последние несколько лет ВТБ тоже увеличил объем закупок услуг тестирования ПО [2]. В банке поясняют, что при большом объеме и высокой скорости разработок важно проводить качественное тестирование перед запуском в промышленную эксплуатацию.
В банке "Открытие" в 2018-2020 годах был активный рост расходов на аутсорсинг как в части тестирования, так и по другим направлениям. Обусловлен он активным процессом построения бизнеса банка в данный период и внедрением новых ИТ-систем.
Начиная с 2020-2021 года, уровень расходов в целом стабилизирован и отражает потребность в непрерывном развитии текущих ИТ-решений, - говорит Андрей Гороховский, вице-президент, заместитель директора департамента ИТ-развития банка "Открытие". - При этом мы непрерывно работаем над оптимизацией данных расходов как за счет автоматизации тестирования, так и за счет создания и удерживания внутренних компетенций в необходимом нам объеме.
В Банке Хоум Кредит в 2020 году расходы на услуги тестирования ПО были сокращены из-за пандемии: "Мы специализируемся на кредитах, а потенциальные клиенты в период пандемии стали больше копить, чем тратить."
Но финсектором как крупным потребителем услуг тестирования ПО дело далеко не ограничивается. За банками опрошенные TAdviser игроки рынка называют ритейл и телеком, где в последние годы также активно идет цифровизация и развитие онлайн-сервисов, а также выделяют производственную и сырьевую отрасли. В пример крупнейших своих заказчиков за 2021 год провайдеры услуг тестирования софта приводят такие компании, как X5 Group, "Мегафон" и Tele2.
Среди ключевых потребителей услуг тестирования ПО: финансовый сектор, ритейл, телеком, производство, госсектор
В списках ключевых проектов за прошлый год, полученных TAdviser от игроков, присутствуют и госорганы: ФНС, Федеральное казначейство, ДИТ Москвы. Причем в 2022 году, на фоне резко возросшей потребности в ускоренном импортозамещении в госсекторе и госкорпорациях, в этих сегментах активно развивается свой сервис в области тестирования ПО.
Так, до конца 2022 года в России планируется создать 11 центров тестирования российского программного обеспечения, задача которых - убедиться в соответствии каждого продукта заявленному функционалу и протестировать отечественный софт на совместимость с другими решениями. Расходы на эту работу планируется возложить на профильные ФОИВы.
На базе НИИ "Восход" уже создан центр технологической экспертизы и аттестации отраслевых центров тестирования, который выступит логистическим хабом по распределению заявок на тестирование программных продуктов между отраслевыми центрами тестирования. Их создание планируется на базе таких структур, как "Ростех" и "Росатом" [3].
Какое программное обеспечение тестируется
Сейчас практически не осталось программного обеспечения, которое при разработке не тестируется выделенными тестировщиками. Однако большего всего внимания уделяется тестированию фронтальных продуктов в B2C и B2B сегментах: интернет-банков, порталов, маркетплейсов и др. Кроме того, усилия сконцентрированы вокруг критических бизнес-приложений, обеспечивающих непрерывность функционирования организации, полагает Анатолий Савчук, директор бизнес-юнита "Цифровые решения" Т1 Консалтинг.
Николай Марченко, руководитель направления нагрузочного тестирования в IBS, указывает, что в госсекторе, например, это системы, с которыми работает большое количество пользователей страны, в телекоме - системы биллинга, в финансовом секторе - АБС и интернет-банки, а также прочие бизнес-критичные и высоконагруженные системы.
В банке "Открытие" в части автоматизации тестирования называют, в первую очередь, системы дистанционного обслуживания, фронт-офисные, интеграционные решения. А в части ручного функционального тестирования - end-to-end тестирование сложных процессов и продуктов, где бизнес-заказчик должен видеть весь жизненный цикл реализованного изменения на всех задействованных системах.
Все уходит в онлайн, и ритейл не исключение, отмечают в "Ленте". В связи с этим возрастает и нагрузка на онлайн-ресурсы. С ними связаны значительные объемы тестирования.
Тщательного тестирования требуют все вновь внедряемые программные продукты или приложения, которые существенно дорабатываются или перерабатываются в процессе промышленной эксплуатации. Бывает так, что в сложном комплексе информационной инфраструктуры происходит замена одного компонента, в этом случае регрессионного тестирования требуют все связанные компоненты, так как производимые изменения могут влиять и на них, объясняет Петр Гуменный, руководитель направления ручного тестирования в IBS.
Большую часть запросов на автоматизацию тестирования составляют приложения, имеющие веб-интерфейс, мобильные приложения, API сервисы. Меньшую автоматизацию по частоте запросов проходит тестирование desktop-приложений и баз данных, - поделился Денис Воденеев, руководитель направления автоматизированного тестирования в IBS.
Алена Горшкова, генеральный директор "ЛАНИТ Экспертизы" поясняет:
Можно выделить несколько основных критериев необходимости проведения тестирования: критичность системы для бизнеса и стоимость ее простоя, большое количество пользователей и связанные репутационные риски с неработоспособностью системы, частые изменения/доработки системы, которые могут повлиять на смежную функциональность. Мы в свою очередь считаем наиболее важным тестирование сквозных бизнес-процессов и комплекса систем целиком. Зачастую заказчик привлекает несколько подрядчиков к разработке комплекса систем, каждый из которых работает независимо в рамках собственных методологии и процессов, а также требований к качеству разработки. Такой подход может привести к тому, что каждая из систем будет соответствовать требованиям, но весь комплекс окажется не работоспособным. Для заказчика же важна именно работоспособность сквозных бизнес-процессов, которые обеспечивают полноценную работу бизнеса.
Актуальные цели и задачи заказчиков
Крупные компании из финсектора, ритейла и телекома поделились с TAdviser, что они относят к своим наиболее актуальным текущим задачам в области тестирования ПО. Из опроса следует, что задач в области тестирования у компаний становится все больше.
За последние годы объем задач по тестированию увеличился. Сейчас мы смещаем фокус, обращая внимание не только на тестирование нового функционала, но и на регрессионное и нагрузочное тестирование, - рассказал Алексей Лукьянов, руководитель технической поддержки "ВкусВилла". - Также, учитывая особенности разработки, необходимо кросс-системное тестирование.
Помимо задач в области тестирования, связанных с поддержанием стабильности систем, в числе наиболее распространенных в крупных компаниях оказались различные задачи, связанные с автоматизацией тестирования - организации стремятся автоматизировать все, что возможно, и наладить выпуск функционала сразу с набором автотестов. Это позволяет ускорить time-to-market и оптимизировать расходы на тестирование.
В банке "Открытие", например, рассказывают, что по части задач у них усилился тренд на автоматизацию тестирования как для повышения эффективности тестирования вообще, так и как следствие активного внедрения технологий CI/CD (непрерывная интеграция (continuous integration) и непрерывное развертывание (continuous delivery или continuous deployment).
Банк Хоум Кредит также активно переходит от ручного тестирования к автоматизированному. Сейчас более 85% тестирования в банке автоматизировано, что позволяет выпускать релизы значительно чаще, чем раньше: раз в 2 недели. Это, в свою очередь, формирует дополнительные конкурентные преимущества.
В "М.Видео-Эльдорадо" примерно половина тестирований проходит в автоматическом режиме. Компания стремится увеличить этот показатель за счет развития команды тестировщиков, рассказал Александр Зеленюк, руководитель домена канонические сервисы "М.Видео-Эльдорадо".
В Tele2 внедрили такое решение, как интеграция автотестов и инструментов CI/СD. Оно позволяет повысить качество при установке обновлений.
Вместе с тем, в ряде компаний прозвучало и мнение, что все покрыть автотестами невозможно, поэтому ручное тестирование остается востребованным.
А там, где тестирование уже автоматизировано, нередко стоит задача повысить скорость прохождения автотестов. Для этого, например, могут применяться автоматизированные средства оптимального распределения (балансирования) нагрузки при прохождении автотестов.
Внедрение систем мониторинга актуальности существующих автотестов, унификация технологий автоматизации тестирования и стандартизация тоже среди названных некоторыми участниками опроса.
Сюда же можно добавить задачу по встраиванию процесса тестирования в процесс непрерывной разработки ПО. Некоторые из опрошенных TAdviser компаний уже начали это реализовывать и оценили преимущества такого подхода. К примеру, МТС, где переход к продуктовой модели управления в группе потребовал в том числе трансформации подходов к обеспечению качества продуктов, на практике встраивает тестирование в производственный процесс, который реализует на базе платформы "Продуктовая фабрика".
В результате команда, работающая по стандартному производственному процессу, будет по умолчанию получать весь необходимый набор инструментов для обеспечения качества. И в итоге безусловный уровень качества ПО, передаваемого в промышленную эксплуатацию, будет гарантирован прохождением типизированных Quality Gates (автоматические проверки качества, которые устанавливают пороговые значения для продвижения продукта по конвейеру разработки).
Пример одного из ключевых Quality Gate в МТС - совместно с коллегами из информационной безопасности (ИБ) в производственный процесс встраиваются элементы security testing.
Мы рассчитываем, что увеличение автоматизации и стандартизации позволит нам высвободить больше ресурсов команд для внедрения подходов исследовательского тестирования, которое в свою очередь необходимо для тестирования сложных экосистемных решений, - говорит Павел Воронин, член правления, первый вице-президент по технологиям МТС.
В "Ленте" полагают, что в целом наблюдается тенденция по переносу регрессионного тестирования в автотесты и попытка высвободить время ручных тестировщиков на исследовательское тестирование нового функционала.
Ниже - примеры других актуальных задач, которые привели в компаниях.
Внедрение CI\CD и развитие DevOps практик:
- в первую очередь в области дистанционных банковских сервисов и фронт-офисных систем, а также прочих критичных банковских ИТ-платформ. Повышение зрелости данных процессов;
- с целью автоматизации рутинных задач в рамках процесса тестирования;
- Организация дополнительных полностью интегрированных со всеми системами тестовых сред;
- Построение прозрачного и эффективного интеграционного тестирования со смежными командами и построение коммуникаций для сквозного интеграционного тестирования;
- Создание внутреннего центра обучения персонала в целях повышения зрелости команд, знаний в области современных технологий тестирования, подходов к его автоматизации и проч.;
- Уменьшить количество ошибок как в коде, так и в архитектуре.
Об актуальности задач в области автоматизации тестирования у заказчиков говорят и поставщики рассматриваемых услуг. Основная цель, которую заказчик ставит перед тестировщиками, - это снижение сроков реализации продуктов за счет введения автоматизации тестирования, говорит Олег Гринин, руководитель практики тестирования ПО компании iFellow.
Также ключевой целью можно назвать обеспечение отказоустойчивости систем. Именно поэтому сейчас наблюдается "ажиотажный спрос" на нагрузочное и автоматизированное тестирование.
Стандартными задачами в рассматриваемой области услуг традиционно являются выявление ошибок и определение соответствия программного продукта требованиям. Но заказчик ожидает от тестирования значительно больше, чем просто проверку соответствия требованиям: сейчас на тестировщиков ложатся все задачи по выявлению и предотвращению потенциальных проблем и рисков, причем не только технических, но и репутационных, говорит Анастасия Аулова, руководитель отдела Центра компетенций прикладных решений Т1 Интеграция.
Все больше клиентов интересуются комплексным подходом при обеспечении качества выпускаемого ПО. В первую очередь, здесь имеется в виду предварительная проработка методологии, выбор и настройка инструментария тестирования, определение и планирование необходимых видов тестирования: требуется ли автоматизированное и нагрузочное тестирование, потребуются ли регрессионные тесты и в каком объеме, на какой инфраструктуре будут выполняться тесты и т.п., - замечает Петр Гуменный, руководитель направления ручного тестирования в IBS.
Из актуальных запросов сейчас на первый план выходит тестирование производительности. Сейчас заказчики ставят не только задачи связанные с единоразовым моделированием нагрузки (рекламная кампания, выпуск новой продукции, рост числа точек продаж), но выстраивают процесс регулярного нагрузочного тестирования доработок с целью выявления деградации производительности, т.е. оценки влияния единичных доработок на производительность всей системы или комплекса систем. Такой подход позволяет спрогнозировать будущие проблемы. - отмечает генеральный директор "ЛАНИТ Экспертизы" Алена Горшкова. - Подогревает спрос на нагрузочное тестирование уход основных поставщиков оборудования и потенциальный дефицит мощностей. Горизонт планирования закупок оборудования значительно вырос, и заказчики стремятся оптимизировать использование уже имеющихся мощностей.
Спрос на услуги по проведению нефункциональных видов тестирования, таких как тестирование производительности и юзабилити, фиксируют и в Bell Integrator. Кроме того, зачастую в задачи специалистов по тестированию входит построение процессов CI\CD, отмечает Кирилл Филенков, руководитель направления этой компании.
В iFellow в дополнение к стандартным задачам выделяют обнаружение дефектов на ранних этапах разработки ПО за счет инструментов QAOps (комбинация обеспечения качества (QA) и DevOps). А еще одна из актуальных задач - привлечение тест-аналитиков. Эти специалисты занимаются разработкой оптимизированных наборов тестовых сценариев.
Инсорсинг vs. аутсорсинг и краудсорсинг: подход заказчиков
Опрос TAdviser более 10 крупных компаний из финансового сектора, ритейла, телекома показал, что они тяготеют к наращиванию внутренней экспертизы и ресурсов в области тестирования ПО, отдавая задачи тестирования на аутсорсинг в отдельных случаях. Например, когда тестирование требуется выполнить намного быстрее, чем обычно, или когда необходима узкоспециализированная экспертиза, которой недостаточно внутри компании.
Тренд на инсорсинг тестирования проистекает из общего курса на усиление внутренней ИТ-разработки в крупном бизнесе, который наблюдается на рынке в последние годы. О растущей роли внутреннего ИТ-подрядчика и расширении его компетенций в крупных компаниях TAdviser пишет регулярно, начиная с 2015 года (см. статью "Крупнейшие ИТ-инсорсинговые компании в России" [4] ).
Крупные компании тяготеют к наращиванию внутренней экспертизы и ресурсов в области тестирования ПО
Что касается конкретных сценариев, когда компании отдают тестирование ПО на аутсорсинг, ритейлер "Лента", например, как правило, подрядчиков привлекает в сезон отпусков и когда планируется значительная доработка в очень сжатые сроки. При этом специалисты собственной команды тестирования "Ленты" активно участвуют в проектах подрядчиков.
К аутсорсингу обращаемся редко. В основном, за компетенциями, которых у нас нет, а они требуются срочно. Из плюсов аутсорсинга: быстрое масштабирование команды для скорейшего завершения работ; наличие определенных навыков, которые требуются не на постоянной основе, а для конкретной задачи, - рассказали в Хоум Кредит Банке. - При этом штатные сотрудники отвечают за ключевые "чувствительные" направления, фреймворки, за управление процессами, т.е. за компетенции, которые важны на регулярной основе.
В X5 Retail Group говорят, что в области расходов на аутсорсинг услуг за последние несколько лет у них есть спад: в компании практически полностью сократились затраты на функциональное тестирование - для этого набрали штатную команду, и на аутсорсинге осталось в основном нагрузочное тестирование.
Во "ВкусВилле" в 2020-2022 годах вовсе не прибегали к тестированию с помощью сторонних подрядчиков:
Обычно мы тестируем все силами внутренней команды, - поясняет руководитель технической поддержки "ВкусВилла" Алексей Лукьянов.
А другой крупный ритейлер, "М.Видео-Эльдорадо", например, за последние годы трансформировался из традиционного ритейлера в преимущественно онлайн-компанию с развитой розничной сетью. Эти изменения затронули абсолютно все процессы, особенно ИТ. Компания приняла решение все ключевые бизнес-продукты разрабатывать, поддерживать и развивать, в том числе тестировать, собственными силами. Объемы тестирования ПО с 2020 года выросли примерно в 2,5 раза, что сопоставимо с ростом внутренней разработки, рассказал TAdviser Александр Зеленюк, руководитель домена канонические сервисы "М.Видео-Эльдорадо".
Услугами внешних подрядчиков пользуемся только в случае оперативной необходимости привлечь узких специалистов, - говорит Александр Зеленюк.
И в Tele2 рассказали TAdviser, что ориентированы на собственную разработку и соответственно на тестирование собственными силами. Схожим образом ситуация обстоит и в МТС.
В МТС сейчас все ключевые задачи, необходимые для выпуска очередной версии продукта, команды выполняют своими силами. Аутсорс подключаем в исключительных случаях, - говорит Павел Воронин, член правления, первый вице-президент по технологиям МТС.
У "МегаФона" есть R&D центр в Санкт-Петербурге, который отвечает за тестирование сетевого оборудования и ПО. Используются практически все виды тестирования оборудования и софта, такой подход позволяет допускать в сеть только качественные решения и минимизировать затраты на их эксплуатацию. Ряд тестов "МегаФон" проводит во внешних лабораториях, в основном это касается оборудования, для проверки которого требуется узкоспециализированное оснащение. В банке "Открытие" в части нагрузочного тестирования затраты на услуги тестировщиков снижаются за счет активной автоматизации процессов тестирования. У банка нет четко зафиксированных критериев для привлечения внешних либо внутренних тестировщиков. Скорее, есть исторически сложившееся разделение соответствующих задач.
Так, в части автоматизации тестирования банк "Открытие" использует аутсорсинг только для поддержки и развития технологического ядра автоматизации (поставляемое ПО) для "коробочных" решений, а также там, где пока нет готовых компетенций внутри или разработка собственными силами нецелесообразна. Покупка готовых специалистов под конкретные локальные задачи быстрее и дешевле, а создание постоянного штата под них не требуется, объясняют в компании. А для функционального ручного тестирования банк "Открытие" применяет аутсорсинговые ресурсы для быстрого усиления и масштабирования команд проекта в период активного развития продукта/внедрения новых ИТ-решений. Далее команда распускается. При этом ядро компетенций всегда остается внутри банка.
В "Яндексе" полагают, что в идеале все ручное тестирование можно отдавать на аутсорс, а внутри заниматься только построением процессов и разработкой автотестов. Но это не всегда возможно, и в каждом конкретном случае команда сама выбирает, по какому пути ей пойти, исходя из доступных ресурсов и запросов.
В компании также отмечают выгоду краудсорсинга тестирования ПО. Это когда привлекаются тысячи удаленных тестировщиков, работающих на сдельной форме оплаты в комфортном для них графике. Благодаря крауду штатные тестировщики и тест-лиды могут сосредоточиться на формировании стратегии тестирования, ее применении, взаимодействии с остальной продуктовой командой или проверить наиболее чувствительные или неисследованные области продуктов. А базовое тестирование и регрессию на любом наборе конфигураций можно отдать в крауд, при необходимости настроить скорость, регулярность запуска, перекрытие.
Краудсорсинг тестирования ПО привлекается все чаще к ручному тестированию, а внутренние тестировщики "Яндекса", скорее, следят за процессом, организуют его.
Очень востребован сейчас краудсорсинг - это быстрее и дешевле аутсорса. Многие команды, которые раньше пользовались услугами внешних тестировщиков, теперь перешли на услуги крауда, - отмечают в "Яндексе".
Спрос на услуги аутсорсинга
Несмотря на ярко выраженный тренд среди крупных заказчиков накапливать и усиливать собственную экспертизу в области обеспечения качества ПО, поставщики услуг в этой области без работы не останутся. Ведь в последние несколько лет ввиду активного движения крупного бизнеса и госсектора по пути цифровой трансформации растет объем задач в области разработки ПО, а вместе с ним и объемы тестирования.
За последние годы требования к качеству систем сильно выросли, поэтому несмотря на тренд инсорсинга, аутсорсинг тестирования остается востребованной услугой. Заказчики обращаются к нам, когда нужно провести масштабирование команды в короткие сроки, или если загрузка специалистов по тестированию неравномерная. Аутсорсинг тестирования также привлекают, когда стоит задача выстроить процессы по автоматизированному и нагрузочному тестированию, а у заказчика нет нужной компетенции - говорит генеральный директор "ЛАНИТ Экспертизы" Алена Горшкова.
В iFellow полагают, что за последние годы возрос спрос на услуги: практически все крупные игроки отраслевых рынков разрабатывают собственное ПО, участвуют в гонке технологий, вынуждены постоянно повышать качество выпускаемых продуктов. А значит, всем им нужны тестировщики.
Данные о выручке от услуг QA, предоставленные по запросу TAdviser некоторыми игроками рынка и представленные в таблице ниже, намекают на динамичный рост спроса на такие услуги в 2021 году.
Поставщиков услуг на рынке намного больше, чем представлено в таблице выше. К заметным также можно отнести, например, iFellow, Bell Integrator, Plex Task, "Инфотера", "Лаборатория Числитель" (филиал "Инфосистемы Джет"), "Витте Инновации". Но не все смогли предоставить TAdviser данные о своей выручке, некоторые - в связи с тем, что услуги тестирования ПО они закладывают в стоимость комплексных контрактов по разработке и внедрению ПО, и отдельно "вычленить" их оттуда им не представляется возможным. По этой же причине не по всем компаниям возможно использовать данные о выручке из финансовых отчетностей, доступных в открытых источниках.
То же отмечают и заказчики касательно оценки своей динамики расходов на услуги тестирования ПО в их компаниях: тестирование сильно интегрировано с разработкой и отдельно в проектах его зачастую сложно выделить.
Многие поставщики готовых решений сейчас начали включать профессиональное тестирование при внедрении и поставках своих продуктов. Рынок постепенно уходит от "тестирования разработчиками" или консультантами. Тестирование подключается отдельно со стороны поставщика, констатирует Петр Гуменный, руководитель направления ручного тестирования в IBS.
А если заглянуть в закупочную документацию тендеров на едином портале госзакупок, то можно увидеть, что заказчики нередко включают тестирование в укрупненные блоки работ в рамках проекта. Например, если речь идет о закупке услуг по развитию какой-либо системы, то тестирование в документации может быть отнесено к работам в рамках предварительных испытаний, а если закупаются услуги по развитию и поддержке системы, то и к блоку услуг системного и прикладного администрирования.
По оценке Николая Марченко, руководителя направления нагрузочного тестирования в IBS, до пандемии был умеренный рост рынка аутсорсинга услуг тестирования ПО, а в период пандемии - стагнация на услуги нагрузочного и автоматизированного тестирования. В 2021 году наблюдалось возобновление спроса.
В ближайшее время будет сохраняться высокий спрос на услуги по тестированию, считает Анастасия Аулова, руководитель отдела Центра компетенций прикладных решений Т1 Интеграция. А новые отрасли и направления, за счет которых могло бы расширяться число заказчиков услуг тестирования, сейчас определяются в первую очередь импортозамещением. При этом, полагает Аулова, у российских компаний есть перспективы экспорта своих услуг тестирования и QA за рубеж. Комплексный подход к обеспечению качества, предоставление услуги тестирования как сервиса "под ключ" дает нашим командам конкурентное преимущество на мировом рынке.
Технологии и инструменты тестирования
Ниже приведены примеры инструментов и сред разработки, которыми пользуются и компании, выполняющие тестирование ПО собственными силами, и поставщики услуг. Он составлен на основе опроса, проведенного TAdviser.
Фреймворки/инструменты:
- Charles - инструмент для мониторинга HTTP/HTTPS трафика, используется для тестирования мобильных приложений, работающих с удаленными серверами;
- jMeter - инструмент для проведения нагрузочного тестирования, разрабатываемый Apache Software Foundation;
- IntelliJ IDEA - среда разработки для Java, JavaScript, Python и других языков программирования от компании JetBrains
- LoadRunner - программный инструмент нагрузочного тестирования приложений от компании MicroFocus;
- Postman - инструмент тестирования API;
- Qase - облачная система управления тестированием;
- Swagger - набор инструментов, который позволяет автоматически описывать API, в том числе с помощью автогенерации на основе кода;
- Swagger UI - инструмент, который позволяет не только просматривать документацию API, но и интерактивно отправлять запросы;
- Selenium - инструмент для автоматизации действий веб-браузера, который используется в том числе для тестирования веб-приложений
- SoapUI - приложение с открытым исходным кодом для тестирования веб-сервисов сервис-ориентированных архитектур и передачи состояний представлений;
- Sonar - платформа с открытым исходным кодом для непрерывного анализа и измерения качества программного кода;
- Splunk - позволяет агрегировать машинные данные об использовании приложений, их доступности и производительности;
- 1С TestCenter - инструмент для нагрузочного тестирования решений "1С".
Среды разработки:
- Eclipse;
- IntelliJ IDEA.
- Visual Studio.
В "ЛАНИТ Экспертизе" в автоматизации тестирования отмечают тренд на разработку инструментов. Все более актуальны low-code платформы, которые позволяют автоматизировать быстрее, снижают порог входа и погружения в автоматизацию, экономят средства. Также востребованы генераторы автотестов, разработка сервисов управления и генерации тестовых данных.
Собственные инструменты для тестирования ПО разрабатывает, например, "Яндекс": много лет назад выбрали стратегию разработки собственных инструментов, тесно интегрированных друг с другом и обеспечивающих непрерывный цикл разработки ПО. Для тестирования у компании есть своя TMS (Test Management System), ферма для удаленной работы с тестовыми устройствами, а также система краткосрочной аренды физических устройств. Кроме этого, у "Яндекса" свой трекер задач и ошибок, системы визуализации данных, системы автоматизации функционального тестирования и проведения нагрузочных испытаний.
В МТС, с одной стороны, для тестирования используют классический набор инструментов: баг-трекинговую систему, системы управления тестированием, а с другой стороны, у компании достаточно много собственных инструментов ("Кроссистемный поиск тестовых данных", "Универсальная платформа для автотестирования", "Портал тестирования" и не только).
В частности, кроссистемный поиск тестовых данных - это система поиска и обфускации или "запутывания" тестовых данных. Она упрощает и ускоряет поиск тестовых данных, а также обеспечивает защиту конфиденциальной информации от несанкционированного доступа. Универсальная платформа для автотестирования - это платформа, работающая по мод