Первые наши практические исследования в области расчета метрик

Не так давно мы начали задумываться над вопросом анализа программного кода не только с точки зрения наличия в нем 64-битных или OpenMP ошибок, но и с точки сложности его адаптации для 64-битных и параллельных систем. И здесь хочется поделиться первыми нашими практическими экспериментами в этой области.

Поводом задуматься над расчетом метрик стал вопрос одного из наших клиентов, как грубо оценить сложность переноса проекта на 64-битную систему. Поскольку этот вопрос может возникать у многих наших потенциальных клиентов, то инструмент для расчета метрик может стать подспорьем в этом вопросе.

Сейчас мы объединяем два наших инструмента Viva64 и VivaMP в единый программный продукт для разработчиков - PVS-Studio. В рамках этого продукта будет естественным реализация новой функциональности для прогнозирования сложности программного продукта, а также оценки времени его адаптации для параллельных или 64-битных систем.

Хотя существует достаточно большое количество разнообразных метрик, проведя их обзор, мы не смогли найти методы, позволяющие оценивать их сложность по необходимым нам критериям. Возможно, что мы недостаточно тщательно выполнили поиск, но вполне возможно таких метрик действительно не существует. Поэтому мы реализовали свои собственные метрики расчета, которые явно нуждаются в дальнейшей доработке, и пока просто расскажем о промежуточных достижениях, реализованных в экспериментальной программе VivaShowMetrics.

Программа VivaShowMetrics работает с препроцессированными (*.i) файлами и на выходе строит графики по пяти метрикам:

• Общая сложность - комплексная сложность функции. Поскольку данная характеристика не является в нашем случае важной, то мы не стали использовать классические методы для ее вычисления, такие как, например, расчет цикломатической сложности. Используется достаточно простая метрика, основанная на количестве ветвлений в теле функции, количестве вызовов других функций и количестве арифметических операций.
• Сложность распараллеливания функции. Предполагаемая сложность распараллеливания функции с использованием технологии OpenMP. Правила для расчета этой и последующих метрик в настоящий момент постоянно меняются и пока нет смысла их описывать.
• Опасность параллельной функции. Насколько функция предрасположена к ошибкам при ее распараллеливании с использованием технологии OpenMP. Другими словами, насколько легко программисту допустить ошибку при распараллеливании данной функции.
• Сложность реализации 64-битного варианта функции. Предполагаемая сложность адаптации функции для 64-битной системы.
• Опасность 64-битной функции. Насколько высока вероятность того, что данная функция содержит ошибку с точки зрения 64-битных систем.

Собранные метрики по каждой функции сортируются для удобства изучения по их убыванию. В результате для библиотеки CImg (C++ Template Image Processing Toolkit) можно наблюдать достаточно типовую картину:

Опасные и сложные функции с точки зрения распараллеливания и 64-битности занимают достаточно малый процент от общего количества функций. Остальные функции достаточно просты и в большинстве своем, скорее всего, представляют собой интерфейс для кода пользователя.

Если же открыть файл, относящийся к системе юнит-тестов анализатора Viva64, то картина будет совсем иной:

Здесь собрано большое количество ситуаций, на которых анализатор должен выдавать предупреждения о 64-битных ошибках. Функции хотя и не большие, но достаточно сложные и опасные во всех отношениях. Именно поэтому видно, что процент опасных функций достаточно велик. При этом график опасности точки зрения 64-бит значительно опережает график сложности переноса. Это связано с тем, что в коде небольшие функции содержат большую концентрацию ошибок. Функции опасны, но исправить их легко.