Мы используем куки, чтобы пользоваться сайтом было удобно.
Хорошо
to the top

Вебинар: Классические VS тропические решения в статических анализаторах - 25.11

>
Покрытие OWASP Benchmark Java

Покрытие OWASP Benchmark Java

На этой странице собраны результаты Java анализатора PVS-Studio на открытом наборе тестов OWASP Benchmark для оценки работы SAST-инструментов.

Что такое OWASP Benchmark

OWASP Benchmark — это набор тестов, позволяющих оценить инструмент статического анализа на способность находить потенциальные уязвимости в Java приложениях. Бенчмарк суммарно содержит 2740 тестов: 1415 тестов содержат потенциальную уязвимость, классифицируемую согласно CWE, а 1325 — безопасный код. Каждый тест представляет собой небольшую часть веб-приложения.

Тесты с безопасным кодом нужны для того, чтобы оценка учитывала не только найденные потенциальные уязвимости, но и ложные срабатывания. Иначе хороший результат получил бы инструмент, который выдаёт предупреждения на всё подряд. Согласно OWASP Benchmark такой инструмент получит оценку 0%.

Как считается оценка

В репозитории бенчмарка есть список ожидаемых результатов, где для каждого теста указано, есть ли в нём потенциальная уязвимость или нет. С этим списком сверяются предупреждения анализатора, и все результаты делятся на четыре группы:

  • TP (True Positive) — есть потенциальная уязвимость, анализатор её нашёл;
  • FN (False Negative) — есть потенциальная уязвимость, но анализатор промолчал;
  • FP (False Positive) — нет потенциальной уязвимости, но анализатор выдал предупреждение;
  • TN (True Negative) — нет потенциальной уязвимости, анализатор промолчал.

Из них получаются две метрики:

  • TPR (True Positive Rate, TP / (TP + FN)) — сколько настоящих потенциальных уязвимостей нашлёл анализатор.
  • FPR (False Positive Rate, FP / (FP + TN)) — на скольких тестах c безопасным кодом анализатор ошибся.

Итоговая оценка равна TPR – FPR.

Оценка анализатора

Для оценки анализатора используется следующая конфигурация:

Ниже представлены метрики по результатам запуска анализатора PVS-Studio Java на всех 2740 тестах бенчмарка:

Метрика

Значение

TPR

86,00%

FPR

16,53%

Итоговая оценка

69,47%

Итоговые значения считаются как среднее арифметическое по 11 категориям уязвимостей.

Результаты по каждой категории приведены в таблице:

Категория

CWE

TP

FN

TN

FP

Всего

TPR

FPR

Оценка

Command Injection

78

92

34

98

27

251

73,02%

21,60%

51,42%

Insecure Cookie

614

36

0

31

0

67

100,00%

0,00%

100,00%

LDAP Injection

90

24

3

23

9

59

88,89%

28,12%

60,76%

Path Traversal

22

116

17

97

38

268

87,22%

28,15%

59,07%

SQL Injection

89

241

31

172

60

504

88,60%

25,86%

62,74%

Trust Boundary

501

51

32

33

10

126

61,45%

23,26%

38,19%

Weak Encryption Algorithm

327

130

0

116

0

246

100,00%

0,00%

100,00%

Weak Hashing Algorithm

328

89

40

107

0

236

68,99%

0,00%

68,99%

Weak Randomness

330

218

0

275

0

493

100,00%

0,00%

100,00%

XPath Injection

643

14

1

12

8

35

93,33%

40,00%

53,33%

XSS (Cross-Site Scripting)

79

208

38

178

31

455

84,55%

14,83%

69,72%

Всего

1219

196

1142

183

2740

Итог (среднее по категориям)

86,00%

16,53%

69,47%

Тесты с безопасным кодом в OWASP Benchmark часто отличаются от уязвимых одной деталью. Например, пользовательский ввод доходит до опасного вызова только в ветке условия, которое никогда не выполняется. Чтобы не выдать на таком коде лишнее предупреждение, анализатору мало увидеть путь, по которому идут данные, нужно ещё вычислить, пройдут ли они по нему на самом деле. Поэтому результат на бенчмарке во многом показывает, насколько точно анализатор отслеживает данные и значения переменных в программе.

Как воспроизвести результаты

Результаты PVS-Studio на OWASP Benchmark можно получить самостоятельно:

  • Скачайте репозиторий BenchmarkJava.
  • Скачайте инструмент BenchmarkUtils и установите его командой mvn install.
  • Подключите к проекту BenchmarkJava Maven-плагин PVS-Studio. Для этого добавьте его в pom.xml и включите в настройках диагностические правила из группы OWASP. Затем запустите анализ командой mvn pvsstudio:pvsAnalyze.
  • Сконвертируйте отчёт анализатора в формат SARIF с помощью plog-converter и положите результат в директорию results репозитория BenchmarkJava.
  • Запустите createScorecards.sh (или createScorecards.bat на Windows) — в результате сформируется HTML-страница с общими результатами и разбивкой по категориям.