Мы используем куки, чтобы пользоваться сайтом
было удобно.
Travis CI - распределённый веб-сервис для сборки и тестирования программного обеспечения, использующий GitHub в качестве хостинга исходного кода. Помимо указанных выше сценариев работы, можно добавить собственные, благодаря обширным возможностям для конфигурации. В данной статье мы настроим Travis CI для работы с PVS-Studio на примере кода PPSSPP.
Travis CI - это веб-сервис для сборки и тестирования программного обеспечения. Обычно его используют совместно с практикой непрерывной интеграции.
PPSSPP - эмулятор игровой приставки PSP. Программа в состоянии эмулировать запуск любых игр с образов дисков, предназначенных для Sony PSP. Выпуск программы состоялся 1 ноября 2012 года. PPSSPP распространяется по лицензии GPL v2. Любой желающий может внести свои улучшения в исходный код проекта.
PVS-Studio - статический анализатор кода для поиска ошибок и потенциальных уязвимостей в коде программ. В этой статье мы для разнообразия запустим PVS-Studio не локально на машине разработчика, а в облаке, и поищем ошибки в PPSSPP.
Нам понадобится репозиторий на GitHub, где лежит нужный нам проект, а так же ключ для PVS-Studio (можете получить триальный ключ или бесплатный для Open Source проектов).
Перейдем на сайт Travis CI. После авторизации при помощи аккаунта GitHub перед нами будет список репозиториев:
Для теста я сделал форк PPSSPP.
Активируем репозиторий, который хотим собирать:
На данный момент Travis CI не может собрать наш проект, так как нет инструкций для сборки. Поэтому настало время для конфигурации.
Во время анализа нам пригодятся некоторые переменные, например, ключ для PVS-Studio, которые было бы нежелательно указывать в файле конфигурации. Так что добавим переменные окружения при помощи настройки сборки в Travis CI:
Нам понадобятся:
Последние две необязательны. Они будут использоваться для отправки результатов по почте. Если вы хотите разослать отчет другим способом, то не нужно их указывать.
Итак, мы добавили нужные нам переменные окружения:
Теперь создадим файл .travis.yml и поместим его в корень проекта. В PPSSPP уже существовал файл конфигурации для Travis CI, однако, он был слишком большой и совершенно не подходил для примера, поэтому пришлось значительно его упростить и оставить только основные элементы.
Сперва укажем язык, версию Ubuntu Linux, которую мы хотим использовать в виртуальной машине, и необходимые пакеты для сборки:
language: cpp
dist: xenial
addons:
apt:
update: true
packages:
- ant
- aria2
- build-essential
- cmake
- libgl1-mesa-dev
- libglu1-mesa-dev
- libsdl2-dev
- pv
- sendemail
- software-properties-common
sources:
- sourceline: 'ppa:ubuntu-toolchain-r/test'
- sourceline: 'ppa:ubuntu-sdk-team/ppa'Все пакеты, которые указаны, нужны исключительно для PPSSPP.
Теперь укажем матрицу сборок:
matrix:
include:
- os: linux
compiler: "gcc"
env: PPSSPP_BUILD_TYPE=Linux PVS_ANALYZE=Yes
- os: linux
compiler: "clang"
env: PPSSPP_BUILD_TYPE=LinuxНемного подробнее про секцию matrix. В Travis CI существует два способа для создания вариантов сборки: первый - указать списком компиляторы, типы операционных систем, переменные окружения и т.д, после чего сгенерируется матрица всех возможных комбинаций; второй - явное указание матрицы. Разумеется, можно комбинировать эти два подхода и добавить уникальный случай, или же, напротив, исключить при помощи секции exclude. Подробнее об этом можно почитать в документации по Travis CI.
Осталось указать специфичные для проекта инструкции по сборке:
before_install:
- travis_retry bash .travis.sh travis_before_install
install:
- travis_retry bash .travis.sh travis_install
script:
- bash .travis.sh travis_script
after_success:
- bash .travis.sh travis_after_successTravis CI позволяет добавить свои команды для различных этапов жизни виртуальной машины. Секция before_install выполняется перед установкой пакетов. Затем install, которая следует за установкой пакетов из списка addons.apt, который мы указали выше. Сама сборка происходит в script. Если все прошло успешно, то мы попадаем в after_success (именно в этой секции мы и будем запускать статический анализ). Это не все этапы, которые можно модифицировать, если нужно больше, то стоит поискать в документации по Travis CI.
Для удобства чтения команды были вынесены в отдельный скрипт .travis.sh, который помещен в корень проекта.
Итак, мы имеем следующий файл .travis.yml:
language: cpp
dist: xenial
addons:
apt:
update: true
packages:
- ant
- aria2
- build-essential
- cmake
- libgl1-mesa-dev
- libglu1-mesa-dev
- libsdl2-dev
- pv
- sendemail
- software-properties-common
sources:
- sourceline: 'ppa:ubuntu-toolchain-r/test'
- sourceline: 'ppa:ubuntu-sdk-team/ppa'
matrix:
include:
- os: linux
compiler: "gcc"
env: PVS_ANALYZE=Yes
- os: linux
compiler: "clang"
before_install:
- travis_retry bash .travis.sh travis_before_install
install:
- travis_retry bash .travis.sh travis_install
script:
- bash .travis.sh travis_script
after_success:
- bash .travis.sh travis_after_successПеред установкой пакетов обновим подмодули. Это нужно для сборки PPSSPP. Добавим первую функцию в .travis.sh (обратите внимание на расширение):
travis_before_install() {
git submodule update --init --recursive
}Теперь мы подошли непосредственно к настройке автоматического запуска PVS-Studio в Travis CI. Сперва нам нужно установить пакет PVS-Studio в систему:
travis_install() {
if [ "$CXX" = "g++" ]; then
sudo apt-get install -qq g++-4.8
fi
if [ "$PVS_ANALYZE" = "Yes" ]; then
wget -q -O - https://files.pvs-studio.com/etc/pubkey.txt \
| sudo apt-key add -
sudo wget -O /etc/apt/sources.list.d/viva64.list \
https://files.pvs-studio.com/etc/viva64.list
sudo apt-get update -qq
sudo apt-get install -qq pvs-studio \
libio-socket-ssl-perl \
libnet-ssleay-perl
fi
download_extract \
"https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" \
cmake-3.6.2-Linux-x86_64.tar.gz
}В начале функции travis_install мы устанавливаем необходимые нам компиляторы, используя переменные окружения. Затем, если переменная $PVS_ANALYZE хранит значение Yes (мы указали его в секции env во время конфигурации матрицы сборок), мы устанавливаем пакет pvs-studio. Кроме него ещё указаны пакеты libio-socket-ssl-perl и libnet-ssleay-perl, однако, они нужны для отправки результатов по почте, поэтому в них нет необходимости, если вы выбрали другой способ доставки отчета.
Функция download_extract скачивает и распаковывает указанный архив:
download_extract() {
aria2c -x 16 $1 -o $2
tar -xf $2
}Настало время собрать проект. Это происходит в секции script:
travis_script() {
if [ -d cmake-3.6.2-Linux-x86_64 ]; then
export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
fi
CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
if [ "$PVS_ANALYZE" = "Yes" ]; then
CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fi
cmake $CMAKE_ARGS CMakeLists.txt
make
}Фактически, это упрощенная оригинальная конфигурация, за исключением этих строк:
if [ "$PVS_ANALYZE" = "Yes" ]; then
CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fiВ этом участке кода мы устанавливаем для cmake флаг экспорта команд компиляции. Это необходимо для статического анализатора кода. Подробнее об этом можно почитать в статье "Как запустить PVS-Studio в Linux и macOS".
Если сборка прошла успешно, то мы попадаем в after_success, где выполним статический анализ:
travis_after_success() {
if [ "$PVS_ANALYZE" = "Yes" ]; then
pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic \
-o PVS-Studio-${CC}.log \
--disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
sendemail -t mail@domain.com \
-u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" \
-m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" \
-s smtp.gmail.com:587 \
-xu $MAIL_USER \
-xp $MAIL_PASSWORD \
-o tls=yes \
-f $MAIL_USER \
-a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
fi
}Рассмотрим подробнее следующие строки:
pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic \
-o PVS-Studio-${CC}.log \
--disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.htmlПервая строка генерирует файл лицензии из имени пользователя и ключа, который мы указали в самом начале во время настройки переменных окружения Travis CI.
Вторая строка запускает непосредственно анализ. Флаг -j<N> устанавливает кол-во потоков для анализа, флаг -l <file> указывает лицензию, флаг -o <file> определяет файл для вывода логов, а флаг -disableLicenseExpirationCheck необходим для триальных версий, так как по умолчанию pvs-studio-analyzer предупредит пользователя о скором истечении лицензии. Чтобы этого не было - можно указать этот флаг.
Файл логов содержит необработанный вывод, который не получится прочитать без конвертирования, поэтому сперва необходимо сделать файл читабельным. Пропустим логи через plog-converter, и на выходе получаем html файл.
В данном примере я решил отправить отчеты по почте, использовав команду sendemail.
В итоге у нас получился следующий файл .travis.sh:
#/bin/bash
travis_before_install() {
git submodule update --init --recursive
}
download_extract() {
aria2c -x 16 $1 -o $2
tar -xf $2
}
travis_install() {
if [ "$CXX" = "g++" ]; then
sudo apt-get install -qq g++-4.8
fi
if [ "$PVS_ANALYZE" = "Yes" ]; then
wget -q -O - https://files.pvs-studio.com/etc/pubkey.txt \
| sudo apt-key add -
sudo wget -O /etc/apt/sources.list.d/viva64.list \
https://files.pvs-studio.com/etc/viva64.list
sudo apt-get update -qq
sudo apt-get install -qq pvs-studio \
libio-socket-ssl-perl \
libnet-ssleay-perl
fi
download_extract \
"https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" \
cmake-3.6.2-Linux-x86_64.tar.gz
}
travis_script() {
if [ -d cmake-3.6.2-Linux-x86_64 ]; then
export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
fi
CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
if [ "$PVS_ANALYZE" = "Yes" ]; then
CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fi
cmake $CMAKE_ARGS CMakeLists.txt
make
}
travis_after_success() {
if [ "$PVS_ANALYZE" = "Yes" ]; then
pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic \
-o PVS-Studio-${CC}.log \
--disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
sendemail -t mail@domain.com \
-u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" \
-m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" \
-s smtp.gmail.com:587 \
-xu $MAIL_USER \
-xp $MAIL_PASSWORD \
-o tls=yes \
-f $MAIL_USER \
-a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
fi
}
set -e
set -x
$1;Настало время добавить изменения на git-репозиторий, после чего Travis CI автоматически запустит сборку. Кликнем на "ppsspp", чтобы перейти к отчетам по сборке:
Перед нами появится обзор текущей сборки:
В случае успешного завершения сборки мы получим на почту письмо с результатами статического анализа. Разумеется, отправка по почте - не единственный способ получить отчет. Вы можете выбрать любой способ реализации. Но важно помнить, что после завершения сборки будет невозможно получить доступ к файлам виртуальной машины.
Самую сложную часть мы успешно завершили. Теперь давайте убедимся, что все наши усилия оправдались. Рассмотрим некоторые интересные моменты из отчета по статическому анализу, которые пришли мне по почте (не зря же я указал её).
void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
sha1_context ctx;
sha1_starts( &ctx );
sha1_update( &ctx, input, ilen );
sha1_finish( &ctx, output );
memset( &ctx, 0, sizeof( sha1_context ) );
}Предупреждение PVS-Studio: V597 The compiler could delete the 'memset' function call, which is used to flush 'sum' buffer. The RtlSecureZeroMemory() function should be used to erase the private data. sha1.cpp 325
Данный фрагмент кода находится в модуле безопасного хеширования, однако, в нём кроется серьезный дефект безопасности (CWE-14). Рассмотрим ассемблерный листинг, который генерируется при компиляции Debug-версии:
; Line 355
mov r8d, 20
xor edx, edx
lea rcx, QWORD PTR sum$[rsp]
call memset
; Line 356Все в полном порядке, и функция memset выполняется, тем самым затирая важные данные в оперативной памяти, однако, не стоит пока радоваться. Рассмотрим ассемблерный листинг Release-версии с оптимизацией:
; 354 :
; 355 : memset( sum, 0, sizeof( sum ) );
; 356 :}Как видно из листинга, компилятор проигнорировал вызов memset. Это связано с тем, что в функции sha1 после вызова memset больше нет обращения к структуре ctx. Поэтому компилятор не видит смысла тратить процессорное время на перезапись неиспользуемой в дальнейшем памяти. Можно исправить это, воспользовавшись функцией RtlSecureZeroMemory или аналогичной ей.
Правильно:
void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
sha1_context ctx;
sha1_starts( &ctx );
sha1_update( &ctx, input, ilen );
sha1_finish( &ctx, output );
RtlSecureZeroMemory(&ctx, sizeof( sha1_context ) );
}static u32 sceAudioOutputPannedBlocking
(u32 chan, int leftvol, int rightvol, u32 samplePtr) {
int result = 0;
// For some reason, this is the only one that checks for negative.
if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
....
} else {
if (leftvol >= 0) {
chans[chan].leftVolume = leftvol;
}
if (rightvol >= 0) {
chans[chan].rightVolume = rightvol;
}
chans[chan].sampleAddress = samplePtr;
result = __AudioEnqueue(chans[chan], chan, true);
}
}Предупреждение PVS-Studio: V547 Expression 'leftvol >= 0' is always true. sceAudio.cpp 120
Обратите внимание на else-ветку для первого if. Код будет выполнен только в том случае, если все условия leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0 окажутся ложными. Следовательно, мы получаем следующие утверждения, которые будут истинны для else-ветки: leftvol <= 0xFFFF, rightvol <= 0xFFFF, leftvol >= 0 и rightvol >= 0. Обратите внимание на последние два утверждения. Разве имеет смысл проверять то, что является необходимым условием выполнения этого фрагмента кода?
Так что мы можем со спокойной душой удалить эти условные операторы:
static u32 sceAudioOutputPannedBlocking
(u32 chan, int leftvol, int rightvol, u32 samplePtr) {
int result = 0;
// For some reason, this is the only one that checks for negative.
if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
....
} else {
chans[chan].leftVolume = leftvol;
chans[chan].rightVolume = rightvol;
chans[chan].sampleAddress = samplePtr;
result = __AudioEnqueue(chans[chan], chan, true);
}
}Другой сценарий. За этими избыточными условиями скрывается какая-то ошибка. Возможно, проверили не то, что требуется.
static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
if (!Memory::IsValidAddress(psmfData) ||
!Memory::IsValidAddress(psmfData)) {
return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
}
....
}V501 There are identical sub-expressions '!Memory::IsValidAddress(psmfData)' to the left and to the right of the '||' operator. scePsmf.cpp 703
Обратите внимание на проверку внутри if. Вам не кажется странным, что мы проверяем, валиден ли адрес psmfData, целых два раза? Вот и мне кажется это странным... На самом деле, перед нами, конечно, опечатка, и идея была в том, чтобы проверить оба входных параметра.
Корректный вариант:
static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
if (!Memory::IsValidAddress(psmfStruct) ||
!Memory::IsValidAddress(psmfData)) {
return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
}
....
}extern void ud_translate_att(
int size = 0;
....
if (size == 8) {
ud_asmprintf(u, "b");
} else if (size == 16) {
ud_asmprintf(u, "w");
} else if (size == 64) {
ud_asmprintf(u, "q");
}
....
}Предупреждение PVS-Studio: V547 Expression 'size == 8' is always false. syn-att.c 195
Эта ошибка находится в папке ext, поэтому не совсем относится к проекту, но ошибка была найдена до того, как я обратил внимание на это, так что решил оставить. Всё-таки эта статья не про обзор ошибок, а про интеграцию с Travis CI, и никакой настройки анализатора не проводилось.
Переменная size инициализируется константой, однако, совершенно не используется в коде, вплоть до оператора if, который, само собой, выдает false во время проверки условия, ведь, как мы помним, size равна нулю. Последующие проверки смысла тоже не имеют.
Судя по всему, автор фрагмента кода забыл о том, чтобы перезаписать переменную size перед этим.
На этом, пожалуй, закончим с ошибками. Цель данной статьи продемонстрировать работу PVS-Studio совместно с Travis CI, а не как можно тщательнее провести анализ проекта. Если хочется ошибок побольше и покрасивее, то на них всегда можно полюбоваться здесь :).
Использование веб-сервисов для сборки проектов совместно с практикой инкрементального анализа позволяет обнаружить много проблем сразу после слияния кода. Одной сборки, правда, может быть недостаточно, поэтому настройка тестирования совместно со статическим анализом значительно улучшит качество кода.
0
0
0
Мы ответим вам на
Если вы так и не получили ответ, пожалуйста, проверьте, отфильтровано ли письмо в одну из следующих стандартных папок:
0