Вебинар: Классические VS тропические решения в статических анализаторах - 25.11
На этой странице собраны результаты Java анализатора PVS-Studio на открытом наборе тестов OWASP Benchmark для оценки работы SAST-инструментов.
OWASP Benchmark — это набор тестов, позволяющих оценить инструмент статического анализа на способность находить потенциальные уязвимости в Java приложениях. Бенчмарк суммарно содержит 2740 тестов: 1415 тестов содержат потенциальную уязвимость, классифицируемую согласно CWE, а 1325 — безопасный код. Каждый тест представляет собой небольшую часть веб-приложения.
Тесты с безопасным кодом нужны для того, чтобы оценка учитывала не только найденные потенциальные уязвимости, но и ложные срабатывания. Иначе хороший результат получил бы инструмент, который выдаёт предупреждения на всё подряд. Согласно OWASP Benchmark такой инструмент получит оценку 0%.
В репозитории бенчмарка есть список ожидаемых результатов, где для каждого теста указано, есть ли в нём потенциальная уязвимость или нет. С этим списком сверяются предупреждения анализатора, и все результаты делятся на четыре группы:
Из них получаются две метрики:
TP / (TP + FN)) — сколько настоящих потенциальных уязвимостей нашлёл анализатор.FP / (FP + TN)) — на скольких тестах c безопасным кодом анализатор ошибся.Итоговая оценка равна TPR – FPR.
Для оценки анализатора используется следующая конфигурация:
Ниже представлены метрики по результатам запуска анализатора PVS-Studio Java на всех 2740 тестах бенчмарка:
|
Метрика |
Значение |
|---|---|
|
TPR |
86,00% |
|
FPR |
16,53% |
|
Итоговая оценка |
69,47% |
Итоговые значения считаются как среднее арифметическое по 11 категориям уязвимостей.
Результаты по каждой категории приведены в таблице:
|
Категория |
CWE |
TP |
FN |
TN |
FP |
Всего |
TPR |
FPR |
Оценка |
|---|---|---|---|---|---|---|---|---|---|
|
Command Injection |
78 |
92 |
34 |
98 |
27 |
251 |
73,02% |
21,60% |
51,42% |
|
Insecure Cookie |
614 |
36 |
0 |
31 |
0 |
67 |
100,00% |
0,00% |
100,00% |
|
LDAP Injection |
90 |
24 |
3 |
23 |
9 |
59 |
88,89% |
28,12% |
60,76% |
|
Path Traversal |
22 |
116 |
17 |
97 |
38 |
268 |
87,22% |
28,15% |
59,07% |
|
SQL Injection |
89 |
241 |
31 |
172 |
60 |
504 |
88,60% |
25,86% |
62,74% |
|
Trust Boundary |
501 |
51 |
32 |
33 |
10 |
126 |
61,45% |
23,26% |
38,19% |
|
Weak Encryption Algorithm |
327 |
130 |
0 |
116 |
0 |
246 |
100,00% |
0,00% |
100,00% |
|
Weak Hashing Algorithm |
328 |
89 |
40 |
107 |
0 |
236 |
68,99% |
0,00% |
68,99% |
|
Weak Randomness |
330 |
218 |
0 |
275 |
0 |
493 |
100,00% |
0,00% |
100,00% |
|
XPath Injection |
643 |
14 |
1 |
12 |
8 |
35 |
93,33% |
40,00% |
53,33% |
|
XSS (Cross-Site Scripting) |
79 |
208 |
38 |
178 |
31 |
455 |
84,55% |
14,83% |
69,72% |
|
Всего |
1219 |
196 |
1142 |
183 |
2740 |
||||
|
Итог (среднее по категориям) |
86,00% |
16,53% |
69,47% |
Тесты с безопасным кодом в OWASP Benchmark часто отличаются от уязвимых одной деталью. Например, пользовательский ввод доходит до опасного вызова только в ветке условия, которое никогда не выполняется. Чтобы не выдать на таком коде лишнее предупреждение, анализатору мало увидеть путь, по которому идут данные, нужно ещё вычислить, пройдут ли они по нему на самом деле. Поэтому результат на бенчмарке во многом показывает, насколько точно анализатор отслеживает данные и значения переменных в программе.
Результаты PVS-Studio на OWASP Benchmark можно получить самостоятельно:
mvn install.pom.xml и включите в настройках диагностические правила из группы OWASP. Затем запустите анализ командой mvn pvsstudio:pvsAnalyze.plog-converter и положите результат в директорию results репозитория BenchmarkJava.createScorecards.sh (или createScorecards.bat на Windows) — в результате сформируется HTML-страница с общими результатами и разбивкой по категориям.