Почему беспилотные автомобили боятся ярких цветов

Беспилотные автомобили оборудованы современными камерами и сенсорами, чтобы иметь детальную карту окружающего пространства и постоянно мониторить всю обстановку вокруг. Нейронная сеть должна распознавать дорожные знаки, линии разметки, все объекты вокруг и составлять безопасный для водителя и остальных участников движения маршрут.

Исследование немецких ученых

В ноябре 2019 года были получены результаты немецких специалистов из Тюбингенского университета и Института интеллектуальных систем М. Планка по исследованию алгоритмов распознавания объектов в беспилотниках.

В ходе исследований выяснилось, что система не гарантирует полную безопасность на дороге из-за возможных сбоев в работе, вызванных ярким пятном определенных цветов.

Ученые опубликовали свою работу «Attacking Optical Flow», в которой говорится, что если взять весь объем визуальной информации от камер беспилотников, то даже 1% от нее придется на цветное пятно, способное вызвать ошибку в автопилоте и создать опасную ситуацию.

В чем состоит опасность

Неправильная реакция на объекты в самых неожиданных ситуациях может привести к весьма серьезным последствиям. Если система не будет отличать людей от изображений или не сможет видеть человеческие фигуры в темноте, это создаст угрозу их жизни и здоровью.

При попадании яркого пятна в поле зрения камер, система может дать сбой. Находящийся рядом с таким пятном человек может выглядеть размыто, полностью засвечиваться, пропадать, сливаться, идентифицироваться как неодушевленный предмет. Распознав препятствие, автомобиль, в лучшем случае, осуществит резкое торможение. Но также может неправильно передать окружающую обстановку и среагировать иначе, так как компьютер «не увидел» фигуры людей на пути.

Зная об этой уязвимости компьютера, злоумышленники могут воспользоваться информацией и специально создавать аварийные ситуации с участием беспилотных авто в личных целях.

На что реагирует интеллектуальная система

Был проведен ряд экспериментов и выяснилось, что электроника ведет себя неадекватно при определенном сочетании цветов. Такие цвета могут встречаться в реальном мире повсеместно. Это может быть реклама на билбордах, принт на майке, рисунок на сумке, наклейка на транспорте и пр. Даже изображение небольшого размера способно вывести систему из строя.

После фиксации яркого пятна система слежения думает, что объекты движутся, выдает ошибку и перезагружается. Сбой может произойти из-за изображения, аппликации, наклейки, вспышки.

Ранее был обнаружен баг в системе распознавания дорожных знаков. Для того, чтобы сбить электронику с толку, достаточно было наклеить на знак стикеры черного или белого цвета.

Что происходит с автомобилем

Автопилот реагирует на яркие пятна непредсказуемо и каждый раз по-разному, что усложняет работу по устранению уязвимости. Поведение компьютера напоминает действия человека за рулем при эпилептическом припадке от вспышек стробоскопа. Например, автомобиль может неожиданно начать тормозить или резко сменить полосу движения. Предугадать действия невозможно.

Ученым потребовалось не более 4 часов для того, чтобы подобрать цветовые сочетания и заставить систему работать некорректно. Даже если яркое пятно неподвижно, электроника считает что объекты движутся и автомобиль реагирует со сбоями.