Статический анализатор кода vs разработчики. Шо, опять?

11 Июл 2022

Автор: Алексей Саркисов

В середине мая этого года мы опубликовали обновлённую версию нашего квиза для C++ разработчиков. Спустя 2 месяца мы решили рассказать о результатах.

Возможно, кто-то уже слышал о нашем квизе и даже успел пройти его. В любом случае расскажу подробнее.

Мы выбрали несколько фрагментов кода из Open Source проектов, в которых анализатор PVS-Studio нашёл ошибки.

Каждому участнику предлагается 10 случайно выбранных фрагментов, в которых нужно найти ошибку.
На поиск одной ошибки даётся 60 секунд.
За каждый правильный ответ начисляется 1 балл, максимально можно набрать 10 баллов.
Если вы отвечаете неправильно или не успеваете ответить правильно за 60 секунд, то остаётесь без балла.

Механика очень простая, поэтому, если ещё не пробовали, попробуйте.

Итак, перейдём к самому интересному – результатам квиза.

На момент написания заметки в квизе приняли участие 1970 человек.

Я намеренно не стал обобщать и писать 1970 разработчиков, т.к. часть из этого числа — студенты либо люди, не занимающиеся разработкой, а проходящие квиз ради интереса. Но большая часть участников — всё же C++ разработчики, и тем удивительней, что средний балл правильных ответов – 3,53 из 10 :) Довольно неожиданно и слегка печально.

Да, можно уверенно сказать, что квиз — это игра, прохождением которой нельзя оценивать навыки разработчика. Но факт есть факт – статистика набранных баллов в некоторой степени удручает.

Для наглядности я сделал график, показывающий распределение участников по количеству набранных баллов. Как видно, самое сложное — дать 6 и более правильных ответов.

Возможно, кто-то скажет, что мы подобрали сложные примеры и дали мало времени на их решение. Но дело не в этом.

Результаты квиза ни в коем случае не значат, что проходившие его разработчики некомпетентные или невнимательные. На мой взгляд, причина в другом. Точнее, несколько причин:

люди не в теме. Этот как раз та часть, которая не занимается разработкой и визуально не может определить, есть ошибка в коде или нет.
не хотят вчитываться код. Увидел ошибку и отметил. Сразу не нашёл? Тыкну наугад или пропущу, это всё-таки не работа.
интересно, что там в конце. Просто интересно, какой будет результат если отмечать ошибки наугад (лично я таким образом набрал 3 правильных ответа, не являясь разработчиком).
отвлёкся от прохождения.

Положа руку на сердце, честно скажу, что даже не все наши разработчики из C++ отдела смогли найти каждую ошибку (их результаты я не включил в сводные данные).

Каждый разработчик это, в первую очередь, человек. И часть из описанных причин вполне могут проявляться в работе:

начинающие разработчики не всегда в теме и могут допустить "простые" ошибки;
нет желания выискивать баги в коде, особенно если это не твой код;
интересней придумать новую фичу, чем несколько раз просматривать уже написанный код;
всегда можно отвлечься и упустить ошибку, от этого никто не застрахован.

Для решения в том числе и этих проблем стоит внедрять в процесс разработки инструменты статического анализа.

Поэтому не бойтесь пользоваться статическими анализаторами кода и дайте разработчикам возможность исправлять найденные баги, а не тратить время на их поиск. Начать предлагаю с бесплатной версии PVS-Studio. Кстати, прошедшим квиз доступен промокод на 30-дневную лицензию, вместо 7.

А мы постараемся придумывать новые развлекательные активности, чтобы вы смогли испытать себя. Кстати, в скором времени мы планируем запустить подобный квиз, но уже по C#. После этого мы обязательно сравним, кто из разработчиков лучше находит ошибки.

#Cpp #Marketing