metrica
Мы используем куки, чтобы пользоваться сайтом было удобно.
Хорошо
to the top
close form

Заполните форму в два простых шага ниже:

Ваши контактные данные:

Шаг 1
Поздравляем! У вас есть промокод!

Тип желаемой лицензии:

Шаг 2
Team license
Enterprise license
** Нажимая на кнопку, вы даете согласие на обработку
своих персональных данных. См. Политику конфиденциальности
close form
Запросите информацию о ценах
Новая лицензия
Продление лицензии
--Выберите валюту--
USD
EUR
RUB
* Нажимая на кнопку, вы даете согласие на обработку
своих персональных данных. См. Политику конфиденциальности

close form
Бесплатная лицензия PVS‑Studio для специалистов Microsoft MVP
* Нажимая на кнопку, вы даете согласие на обработку
своих персональных данных. См. Политику конфиденциальности

close form
Для получения лицензии для вашего открытого
проекта заполните, пожалуйста, эту форму
* Нажимая на кнопку, вы даете согласие на обработку
своих персональных данных. См. Политику конфиденциальности

close form
Мне интересно попробовать плагин на:
* Нажимая на кнопку, вы даете согласие на обработку
своих персональных данных. См. Политику конфиденциальности

close form
check circle
Ваше сообщение отправлено.

Мы ответим вам на


Если вы так и не получили ответ, пожалуйста, проверьте папку
Spam/Junk и нажмите на письме кнопку "Не спам".
Так Вы не пропустите ответы от нашей команды.

Вебинар: Трудности при интеграции SAST, как с ними справляться - 04.04

>
>
Toyota: 81 514 нарушений в коде

Toyota: 81 514 нарушений в коде

12 Окт 2016

История о том, что программного обеспечение всё больше проникает в нашу повседневную жизнь. Вместе с пользой и благами, программный код несёт и новые опасности. Теперь с ошибками программах мы имеем дело, не только сидя за компьютером, но и на дороге.

0439_Toyota_ru/image1.png
  • Люди: — Эй, Тойота, мы тут посчитали, у вас из-за корявой электроники и софта 89 человек погибло с 2000 по 2010.
  • Тойота: — Да они сами виноваты, путают педали.
  • Люди: — Хьюстон, у нас проблемы.
  • NASA: — Ща разберемся, нам надо 10 месяцев и 3 миллиона долларов.
  • Люди: — На.
  • Тойота: — 3 миллиона мало, вот вам еще сверху кэшем.

(прошло 10 месяцев)

  • NASA: — Эй, Тойота, мы у вас пару ошибок в коде нашли, а точнее 7134 нарушения стандартов MISRA, рекурсию, функцию на 740 строк и 9000 глобальных переменных.
  • Тойота: — А у нас свои стандарты. А вы ваще на Луну летали?
  • NASA (публично): — Тойота ни в чем не виновата.
  • (Акции Тойота подскочили на 4,6%)
  • Люди: — Ну ё-моё.

(спустя 3 года)

  • Два американских тестировщика (у которых дедушки погибли в Перл-Харбор): — Нет багов? А если найдем?

Национальное управление безопасностью движения на трассах США (NHTSA) подсчитало, что с 2000 года по 2010 год в авариях погибло 89 человек и 57 получили увечья, в связи с неисправностями электроники.

Toyota отрицает вину электроники и считает, на основе собственного расследования, что виновата "залипающая" педаль газа и плохо подогнанные коврики, но отзывает 8,5 млн автомобилей по всему миру.

Жалобы продолжают поступать.

Осторожнее слабонервным: https://www.youtube.com/watch?v=cOWdWHSgI-4

NHTSA начинают собственное расследование, привлекают на помощь NASA.

В ходе десятимесячного расследования спецы NASA выявили, что софт не соответствует стандартам MISRA (Motor Industry Software Reliability Association) и содержит 7134 нарушения. Toyota ответили, что у них свои собственные стандарты.

20 декабря 2010 года Тойота отвергает все обвинения, но выплачивает 16 миллиардов долларов в досудебном порядке по искам и выпускает апдейт софта для некоторых моделей машин и отзывает 5,5 миллиона автомобилей.

После объявления результатов исследования NASA акции Toyota на токийской бирже выросли на 4,6%.

В 2013 году в суд Оклахомы подается иск об аварии 2007 года, в которую попали две девушки на Toyota Camry 2005 года выпуска. Одна из них скончалась, другая провела пять месяцев в больнице с травмами спины и головы. Toyota не признала своей вины. Они заявили, что причиной аварии послужило то, что водитель перепутала педали газа и тормоза, а, когда поняла свою ошибку и начала тормозить, — было уже слишком поздно.

0439_Toyota_ru/image2.png

К делу подключаются два инженера: Майкл Барр и Филипп Купман. На 20 месяцев разбирать 280 000 строчек кода, писать отчет на 800 страниц. Каждый.

Адрес был засекречен. Номер отеля, в котором работали инженеры, круглосуточно охранялся — охрана следила, чтобы никто не вносил и не выносил никаких бумаг. Все телефоны и интернет были отключены.

Тойота отзывала более 10 миллионов автомобилей по всему миру. Вину так и не признали.

По словам Майкла Барра, их отчет засекретили. Так же засекретили условия контракта, на условиях которого им предоставили исходный код Тойоты. Но Барр рекомендует погуглить транскрипт материалов слушания.

Вот в таких условиях работали аналитики:

0439_Toyota_ru/image3.png

И вот такой отчет написали:

0439_Toyota_ru/image5.png

Как искали и что нашли

Главный подопытный — система электронного управления дроссельной заслонкой (ETCS).

0439_Toyota_ru/image7.png

0439_Toyota_ru/image9.png

Специалисты NASA сканировали микросхемы рентгеном.

0439_Toyota_ru/image11.png

В качестве причин ошибок рассматриваются даже космические лучи.

И код на С чекала:

0439_Toyota_ru/image13.png

И тут очередь дошла до кода.

Нарушения стандартов MISRA (и NASA)

По прикидкам, на каждые 30 нарушений стандартов MISRA приводят к одному "серьезному багу".

  • В MISRA-C:1998 перечислено 127 правил (93 обязательных и 34 рекомендательных).
  • В MISRA-C:2004 141 правило (121 обязательное и 20 рекомендательных). Правила разделены на 21 категорию.
  • В MISRA-C:2012 143 правила (каждое из которых может быть проверено статическим анализатором кода) и 16 директив (правил, соответствие которым открыто для интерпретаций или связано с процессами и процедурами). Правила делятся на обязательные, требуемые и рекомендательные; могут распространятся на отдельные единицы трансляции или на всю систему. Также правила разделены на Decidable и Undecidable.

Тойота в свои стандарты позаимствовало только 11 правил MISRA.

0439_Toyota_ru/image14.png

0439_Toyota_ru/image15.png

Инструменты анализа NASA могли проверить 35 правил MISRA и 14 из них были нарушены.

0439_Toyota_ru/image17.png

[Источник — Отчет NASA, приложение А: Software, стр 28]

Итого: 7134 нарушения (по подсчетам NASA) или 81 514 (по подсчетам Майкла Барра).

10 правил NASA

Статья на Хабре — "10 правил, которые позволяют NASA писать миллионы строк кода с минимальными ошибками"

The Power of Ten - 10 Rules for Writing Safety Critical Code

  • Restrict to simple control flow constructs.
  • Give all loops a fixed upper-bound.
  • Do not use dynamic memory allocation after initialization.
  • Limit functions to no more than 60 lines of text.
  • Use minimally two assertions per function on average.
  • Declare data objects at the smallest possible level of scope.
  • Check the return value of non-void functions, and check the validity of function parameters.
  • Limit the use of the preprocessor to file inclusion and simple macros.
  • Limit the use of pointers. Use no more than two levels of dereferencing per expression.
  • Compile with all warnings enabled, and use one or more source code analyzers.

[Источник — spinroot.com/p10]

0439_Toyota_ru/image18.png

Длина функции ограничивается 60-75 строчками кода, после удаления пустых строк и комментов. Более 200 функций в коде Camry05 превосходили заданную длину. Одна из функций была на 740 строк.

Переменные

31 имя было объявлено несколько раз в различных областях (in different scopes). Самое частое имя — sts_flags1, которая появлялось в 57 различных областях.

0439_Toyota_ru/image19.png

0439_Toyota_ru/image20.png

А вот это стоит показать покрупнее.

0439_Toyota_ru/image21.png

0439_Toyota_ru/image23.png

Запутанность кода

0439_Toyota_ru/image25.png

Граф управления потоком простой программы.

Цикломатическая сложность программы выше 50 — показатель, что программа не поддается тестированию.

0439_Toyota_ru/image26.png

У Тойоты в ETCS-коде:

  • 67 функций со сложностью over 50
  • Сложность Throttle angle function = 146; 1300 строк кода, без плана для unit test

Рекурсия

0439_Toyota_ru/image27.png

В коде Тойоты использовалась рекурсия, и каждая проблема с ней приводила к перезагрузке процессора (CPU reset).

Ну и что?

Количество говнокода, от которого зависит жизнь людей, растет. Пример с Тойотой показывает, что разработчики систем могут косячить и на элементарном уровне, не говоря уже на уровне принятия этических решений ИИ. Но основная беда не в том, что ошибки есть, а в том, что заинтересованные стороны препятствуют их поиску и исправлению. И эти стороны обладают достаточной мощью, чтобы надавить на NASA.

0439_Toyota_ru/image28.png

"Программирование сегодня — это гонка, в которой соревнуются разработчики, стремящиеся построить большие и обладающие защитой от дурака программы, и вселенная, порождающая всё больших и качественных дураков. На данный момент вселенная побеждает."

— Рич Кук, писатель-фантаст

СМИ

Отчеты по расследованию

Красочная презентация Филиппа Купмана:

http://www.slideshare.net/PhilipKoopman/toyota-unintended-acceleration?ref=https://habrahabr.ru/company/pvs-studio/blog/310862/

NASA Report on Toyota Unintended Acceleration Investigation

NASA Executive Summary

NASA Full Report

NHTSA Report on Toyota Unintended Acceleration Investigation

0439_Toyota_ru/image30.png

За 4 года до

0439_Toyota_ru/image32.png

Куда ни приеду, моя работа заключается в применении одной простой формулы. Я храню тайны.

Это элементарная арифметика.

Задача из учебника.

Если автомобиль новой модели, изготовленный моей компанией, выехал из Чикаго на запад со скоростью 60 миль в час, — и заклинивает задний мост, машина разбивается и сгорает со всеми, кто попался в ловушку ее салона, — стоит ли моей компании возвращать модель на доработку?

Берем общее количество выпущенных машин данной модели (A), умножаем на вероятное количество машин с неисправностью (B), потом умножаем результат на среднюю стоимость решения вопроса без суда (С). A умножить на B умножить на C. Равняется X. Столько стоит не возвратить модель на доработку.

Если X больше стоимости возврата — мы возвращаем машины, и никто больше не пострадает.

Если X — меньше стоимости возврата — возврата не будет.

— Чак Паланик "Бойцовский клуб", 1996 год.

— И часто бывают такие аварии?

— Вы даже не представляете.

— А в какой компании вы работаете?

— В очень крупной.

— к\ф "Бойцовский клуб", 1999 год.

Эта статья впервые была опубликована (на русском языке) на сайте habrahabr.ru. Статья размещена в нашем блоге и переведена с разрешения автора.

Популярные статьи по теме


Комментарии (0)

Следующие комментарии next comments
close comment form