В списке вопросов, которые всегда задают нам после прочтения наших статей есть вопрос: "А вы проверяете код своего анализатора им самим?". И дается ответ в том ключе, что у нас всегда проверяется код во время написания с помощью режима инкрементального анализа (проверки файлов сразу после компиляции). А также запускаются ночные проверки для всего кода. И в связи с этим мы, к сожалению (ирония), никогда не сможем написать статью про ошибки в наших программных продуктах.
К сожалению, мы больше не развиваем и не поддерживаем проект CppCat. Вы можете почитать здесь о причинах.
Однако сегодня – именно статья про одну нашу ошибку и про то, сколько она нам стоила. Заинтриговал?
Мой сегодняшний рассказ будет в лицах, поэтому сначала "титры":
Однажды в пятницу, 21 февраля мы опубликовали статью "Побочный результат: проверяем Firebird с помощью PVS-Studio", в комментариях к которой объявился Михаил с таким комментарием:
CppCat — то, что нужно! Вам бы сделать отдельный пост про него. Буду выпрашивать у руководства, чай недорого :)
Улыбнувшись, мой коллега Андрей ему ответил, что уже три статьи было про CppCat. Правда коллега тут же получил "нагоняй" за то, что никто не знает про наш новый продукт. Это было в 16:16 по Москве...
Уже в 16:21 в моей CppCat-почте было письмо от Михаила с "хотелкой". Михаил хотел, чтобы сообщения об ошибках CppCat выдавались не в отдельное окно, как сейчас, а в стандартное окно ошибок Visual Studio. С моей точки зрения "хранителя продукта" CppCat это пожелание выглядело нецелесообразным, и я попытался объяснить в почте, что у нас специально сделано отдельное окно, чтобы не путать наши сообщения и сообщения Visual Studio. Что это очень удобно, так как позволяет нам делать окно специализированным и т.п. Но Михаил "не унимался", приводя простой аргумент:
- А как же мне тогда увидеть после перекомпиляции файла ошибки? Вот бы они сразу в окно выдавались...
Но ведь именно с этой целью у нас есть "киллер-фича" инкрементальный анализ! После перекомпиляции файлов автоматически запускается анализатор кода. И только если нашлись реальные ошибки, выдается уведомление в трее и меняется заголовок окна анализатора. В окне появляется фраза о том, что найдены новые ошибки. Режим инкрементального анализа можно включить/выключить в меню.
- Ну да, - ответил Михаил, - галочка "Инкрементальный анализ" у меня стоит. Но как я узнаю, что нашлись ошибки?
После пяти писем, включая скриншоты, стало понятно, что хотя все настроено правильно, ни в трее не выдается уведомления, ни текст окна не меняется. А время было шестой час вечера пятницы...
С мыслью: "Давно не брал я в руки шашек (с позавчера)!", я напросился к Михаилу на компьютер через удаленный доступ с AMMYY Admin. Потыкавшись в свою программу я понял, что действительно уведомлений о новых ошибках нет, хотя программа вроде бы работает. Время близилось к шести вечера, и я пошел к коллеге Павлу, который отвечает за интеграцию в Visual Studio. Показал ему, что я делаю на компьютере пользователя и что не работает уведомление.
Через тридцать секунд Павел сказал:
- Евгений... Ну что же ты забыл, что при команде "Пересобрать все"/"Rebuild All", у нас специально не стартует инкрементальный анализ. Это сделано сознательно и все правильно. И вообще, надо тебе почаще смотреть на свой собственный продукт. А то уже забыл все. Лишь бы в почте на письма отвечать, да статейки про бизнес писать...
Покраснев, я отошел проверять... Однако уведомления не было ни при пересборке одного файла, ни при пересборке нескольких файлов. Я попробовал на другом проекте – результат тот же. Не работает. Причем не работает очень важная функция, которая является киллер-фичей нашего инструмента. Напомню, что все это я пробовал на удаленной машине пользователя. Я пошел к Павлу опять, но было уже почти шесть. И пользователю хотелось домой, и Павлу... Возможно в связи с этим мы вместе так и не смогли понять, почему не работает. Решив в понедельник выдать версию с отладочными логами, мы ушли по домам.
Все выходные я думал об этой проблеме. Виноват ли наш продукт? Если да, то когда могла появиться в коде эта проблема? И сколько людей НЕ КУПИЛО наш продукт, так как очень важная штука работала не так как должна.
На этой грустной ноте пришел понедельник. Мы выдали пользователю специальную версию с отладочными логами. Он нам их прислал. По логам было не понятно, к сожалению. Мы сделали более детальные логи, максимально подробно описали инструкцию по воспроизведению... Не помогало. По логам выглядело так, как будто код не работает, хотя не работать не мог.
За понедельник и вторник мы выдали Михаилу несколько версий с максимально детализированными отладочными логами. Но понять, что происходит не могли. Уведомления о новых ошибках просто не было. У него. А у нас было, всегда.
В середине вторника Павел позвал меня:
- Евгений, ты не поверишь... Но у меня не показывается уведомление о найденных ошибках в CppCat!
Вы думаете нам помогли отладочные логи? Нет, Павел СЛУЧАЙНО кликнул на кнопочку auto-hide в окне CppCat внутри Visual Studio. И наше окно стало автоматически скрываться, когда уводишь мышку от него. Поскольку никто из разработчиков не пользуется у нас кнопкой auto-hide, то мы и подумать не могли, что в этом режиме наша нотификация действительно не работает!
То есть если auto-hide выключен (обычный режим), то уведомления о новых ошибках есть, а если auto-hide включен, то уведомлений о новых ошибках нет.
Я попросил пользователя Михаила проверить, действительно ли дело в auto-hide. Он подтвердил, что в нем.
После этого уже было делом техники поправить ошибку. Оказалось, что код плагина неправильно обрабатывал определенный стиль окна. Для программистов я попросил Павла описать проблему и ее решение, но здесь этот текст не привожу, так как он будет понятен только разработчикам плагинов для Visual Studio.
Итак, мы смогли повторить ошибку во вторник во второй половине дня. В среду выдали исправленную бета-версию Михаилу.
Пока Павел делал патч, я общался с Михаилом по поводу лицензионной политики наших продуктов CppCat и PVS-Studio. Хотя ошибка попалась Михаилу, когда он знакомился с CppCat, при дальнейшем общении выяснилось, что и PVS-Studio его команде может быть полезен.
Напомню для тех читателей, кто не знаком с тем, что мы делаем. Мы разрабатываем, продвигаем и продаем два собственных программных продукта CppCat для индивидуальных разработчиков за $250 и PVS-Studio, минимальная лицензия которого на команду до 9 человек стоит чуть больше €5000.
Так вот пообсуждав лицензионные вопросы, Михаил видимо переслал письмо руководству и во вторник же вечером я обсуждал с его начальником вопросы лицензирования PVS-Studio. Мы довольно быстро обо всем поговорили, они пришли к выводу, что им нужен не CppCat, а PVS-Studio.
Но что же с той ошибкой? В среду мы выдали Михаилу исправленную бета-версию, он проверил, что все работает. В среду же я отправил начальнику Михаила счет на оплату PVS-Studio. В четверг я увидел на нашем счету деньги за лицензию. И решил, что неплохо бы описать эту историю, вдруг кому-то она покажется интересной.
Так исправление одной ошибки в продукте за $250 дало нам продажу другого нашего продукта за совсем другие деньги. И все это в течение одной недели, ведь сегодня, в пятницу 28 февраля, вы уже читаете статью об этой истории!
Если вы спросите зачем я это все написал, то ответ мой очень простой. Я горжусь моей командой, тем что мы можем быстро исправлять свои ошибки и тем, что наши клиенты это ценят.
P.S. Огромное спасибо нашему пользователю Михаилу, который помог нам диагностировать ошибку, без него бы этой истории не было. Наши клиенты-программисты – самые лучшие пользователи в мире!
P.P.S. Конечно же клиент получил скидку на покупку.