Система обнаружения пешеходов: Система обнаружения пешеходов: описание и принцип работы

Содержание

Система обнаружения пешеходов: описание и принцип работы

Производители автомобилей неустанно стараются повысить безопасность всех участников дорожного движения и свести риски травматизма к минимуму. Одним из методов является предотвращение столкновений с пешеходами. Ниже описаны особенности систем обнаружения пешеходов, как они устроены и работают, а также преимущества и недостатки использования подобных решений.

Что представляет собой система обнаружения пешеходов

Система обнаружения пешеходов предназначена для предотвращения или сведения к минимуму последствий от столкновения с участниками дорожного движения. Данная функция не способна свести количество инцидентов к 0%, но ее использование снижает процент смертности при авариях на 20%, а также уменьшает на 30% вероятность получения тяжелых травм.

sist-ob-peshsist-ob-peshСистема обнаружения пешеходов

Основные трудности заключаются в сложности логической реализации. С использованием программ и технических средств обнаружения пешеходов проблем не наблюдается. Сложности возникают на этапе прогнозирования направления движения и поведения человека в критической ситуации, когда речь идет о сохранении жизни.

Назначение и функции системы

Основное предназначение системы заключается в исключении наезда транспортного средства на пешехода. Результаты испытаний показали, что решение отлично действует на скорости до 35 км/ч и исключает до 100% столкновений. Когда автомобиль движется быстрее, система не может распознавать объекты корректно и вовремя реагировать, поэтому полная безопасность не гарантируется. Основные функции системы:

  • обнаружение пешеходов;
  • анализ опасных ситуаций и оценка вероятности столкновения;
  • звуковое информирование водителя об угрозе;
  • автоматическое снижение скорости или изменение траектории движения;
  • полная остановка транспортного средства.

Из каких элементов состоит система

Работа системы возможна благодаря оснащению автомобиля специальными программными и аппаратными средствами. В ее состав входят:

  1. Камера и радары на передней части автомобиля — сканируют дорогу перед автомобилем и распознают объекты на расстоянии до 40 метров.
  2. Блок управления — электронный прибор, куда поступает информация от устройств обнаружения пешеходов. Блок предназначен для настройки и управления системой, а также уведомления водителя в случае угрозы столкновения.
  3. Программное обеспечение — отвечает за способы распознавания пешеходов и других объектов, правильность прогнозирования и анализа ситуации, принятия решений в экстренных случаях.

Техническая реализация современных систем позволяет анализировать состояние дороги, наличие помех, рассчитывать безопасную траекторию движения.

Логика и принцип работы

Система обнаружения пешеходов сканирует пространство в радиусе 40 метров. Если объект обнаружен камерой и это подтверждается радаром, то она продолжает слежение и прогнозирует движение. Когда ситуация достигает критической отметки, водитель получает звуковое уведомление. Отсутствие реакции приводит в действие автоматическое торможение, изменение траектории или остановку автомобиля. Для распознавания пешеходов используют один их принципов:

  • целостное или частичное обнаружение;
  • поиск образцов из базы данных;
  • использование результатов нескольких камер.

Для большего эффекта сочетают несколько вариантов, что гарантирует минимизацию ошибок и погрешностей в работе.

Название и отличия систем разных производителей

Изначально о безопасности движения пешеходов задумалась компания Volvo, а затем подобные системы появились у TRW и Subaru.

  • Pedestrian Detection System (PDS ) от Volvo — использование одной камеры для считывания местности.
  • Advanced Pedestrian Detection System (APDS) от TRW — наличие камеры и радара.
  • EyeSight от Subaru — две камеры и отсутствие радара для обнаружения участников дорожного движения.

Независимо от технической реализации, все системы имеют схожий принцип работы и одно предназначение.

Преимущества и недостатки

Техническое решение делает поездки на автомобиле более комфортными и безопасными. Основные преимущества системы обнаружения пешеходов:

  • уменьшение количества аварий;
  • предотвращение 100% столкновений на скорости до 35 км/ч;
  • снижение уровня опасных травм и смертности при авариях;
  • увеличение безопасности движения.

Из недостатков стоит отметить:

  • ограниченный выбор систем;
  • сложность работы на большой скорости;
  • дороговизна.

С развитием технологий эти проблемы будут устранены.

Стремление производителей к беспилотным автомобилям и безопасности на дороге приведет к уменьшению количества аварийных ситуаций. Остается надеяться, что в будущем будет улучша

Система обнаружения пешеходов

История создания системы обнаружения пешеходов

Системами распознавания для нужд армии и гражданских систем безопасности начали заниматься различные разработчики еще в девяностые годы. В потребительской электронной технике системы распознавания лиц впервые появились в фотокамерах японского производства в начале 21-го века. В 2010 году систему обнаружения пешеходов для автомобилей Pedestrian Detection System впервые предложила компания Volvo.

В настоящий момент, помимо PDS от Volvo существуют действующие системы Advanced Pedestrian Detection System компании TRW и EyeSight фирмы Subaru.

Назначение системы обнаружения пешеходов

Система не только распознает двигающиеся по проезжей части фигуры людей, но и предупреждает водителя о том, что впереди пешеходы. В случае, если в соответствии с заданными в компьютерной программе настройками компьютер решит, что существует опасность столкновения с пешеходом, она включит систему автоматической защиты от столкновения.

Исследования, проведенные после начала применения на автомобилях систем распознавания, показали, что в случае наезда автомобиля, оснащенного системой обнаружения пешеходов, на человека, вероятность смертного исхода сокращается на 20%, а нанесения тяжких телесных повреждений на 30%

Сложности, стоящие перед разработчиками систем обнаружения пешеходов

Поведение человека, его рост, характер жестов, цвет одежды и многие другие параметры слишком разнообразны, поэтому для создания эффективной системы обнаружения пешеходов необходимо создавать крайне сложную программу, способную анализировать все вышеперечисленные факторы. Для оперативной работы программы требуются значительные ресурсы компьютерной памяти и другие мощные и надежные компоненты. Оснащение автомобиля мощным, а значит, дорогостоящим компьютерным оборудованием приводит, прежде всего, к значительному увеличению его цены.

Вторая важная проблема, с которой сталкиваются разработчики, — наложение фигур, предметов, находящихся в руках у пешеходов, и цветов одежды, друг на друга, а так же на предметы или сооружения на заднем фоне. Это крайне затрудняет процесс распознавания отдельных фигур.

Методы обнаружения пешеходов

Целостное обнаружение

Если система «засекает» подвижный объект, она сначала заключает его в рамку согласно габаритам. Затем компьютер анализирует определенные параметры обнаруженного предмета. Это может быть уровень инфракрасного (теплового) излучения, свидетельствующий о том, что объект «теплый», то есть это живое существо, человек. Альтернативный метод заключается в анализе гистограммы цветов внутри рамки и сравнения их с содержащимися в базе данных образцами. Недостатком этого метода является постоянное наличие помех от посторонних предметов, попавших в рамку.

Частичное распознавание

В случае применения этого алгоритма фигура человека расценивается как совокупность частей и фрагментов. Система анализирует контуры, их взаиморасположение и прочие параметры. Распознав отдельные части, программа формирует из них общую картину и сравнивает с образцом. Этот способ точнее, но требует больших технических и вычислительных ресурсов.

Метод распознавания по образцам

Этот недавно предложенный алгоритм сочетает в себе достоинства первого и второго, но с определенными усовершенствованиями. В базу данных системы распознавания вносится не только информация о форме тела или отдельных частей, цветах и тому подобных общих характеристиках, но образцы фигур, сфотографированных в месте, где система эксплуатируется. Таким образом, в процессе обучения она «натаскивается» на определенные локальные «типажи» для большей точности распознавания.

Распознавание по нескольким камерам

В этом случае на каждый подвижный объект (на переходящих дорогу пешеходов) нацеливается индивидуальная камера. Общая картина разбивается на фрагменты, и каждый квадрат оценивается отдельно на предмет нахождения в нем человека.

Как работает система обнаружения пешеходов

Когда датчики-радары и (или) видеокамера засекают подвижные объекты (в системе компании Subaru, например, для этого используются две камеры) по ходу движения, система определяет направление перемещения пешехода, скорость движения и прогнозирует его местонахождение в момент появления автомобиля в точке обнаружения объекта (дальность срабатывания системы – за 40 метров до объекта). Убедившись в том, что впереди объект, похожий на пешехода, компьютер выводит картинку с камеры на экран мультимедийной системы.

Если же компьютер считает, что при имеющейся скорости движения автомобиля и пешехода возможно столкновение, подается звуковой сигнал. Если водитель реагирует (поворачивает руль или нажимает на тормоз), система помогает ему остановить машину при помощи системы аварийного торможения.

В настоящий момент системы обнаружения гарантируют безопасность на скорости не выше 30-35 км/ч. В алгоритм распознавания внесены образцы типовых предметов, которые могут находиться в руках, к примеру, зонтов или сумок. Однако в условиях плохой видимости (по причине ухудшения погодных условий, например) и ночью система обнаружения пока бесполезна.

Примеры оснащения автомобилей системой обнаружения пешеходов

Работу системы обнаружения пешеходов можно увидеть, если прокатиться, например, в Volvo S60 в соответствующей комплектации.

Системой EyeSight оборудованы модели компании Subaru — Legacy и Outback. На Нью-Йоркском автосалоне 2012 года был анонсирован выпуск системы второго поколения.

Системы обнаружения движущихся объектов на проезжей части дороги

Содержание страницы

Система обнаружения пешеходов

Все большее распространение получают системы активной безопасности, обнаруживающие опасность и предупреждающие о ней водителя. Камеры и радары, установленные на автомобиле, позволяют безопасно парковаться, перестраиваться из ряда в ряд, обнаруживать на своем пути другие автомобили, пешеходов и даже диких животных.

Система обнаружения пешеходов предназначена для предотвращения столкновения с пешеходами. Она распознает людей возле автомобиля, автоматически замедляет его, снижает силу удара и даже избегает столкновения. Применение системы позволяет на 20 % сократить смертность пешеходов при ДТП и на 30 % снизить риск тяжелых травм.

Впервые система обнаружения пешеходов была использована на автомобилях Volvo в 2010 г. В настоящее время система имеет ряд модификаций:

  • Pedestrian Detection System от Volvo;
  • Advanced Pedestrian Detection System от TRW;
  • EyeSight от Subaru.

В системе обнаружения пешеходов реализованы следующие взаимосвязанные функции:

  • обнаружение пешеходов;
  • предупреждение об опасности столкновения;
  • автоматическое торможение.

Для обнаружения пешеходов используется одна или две видеокамеры и радар, которые эффективно работают на расстоянии до 40 м. Если пешеход обнаружен видеокамерой и результат подтвержден радаром, система отслеживает движение пешехода, прогнозирует его дальнейшее перемещение и оценивает вероятность столкновения с автомобилем. Результаты обнаружения выводятся на экран мультимедийной системы (рис. 1). Система также реагирует на автомобили, которые стоят на месте или движутся в попутном направлении.

Система обнаружения пешеходовСистема обнаружения пешеходов

Рис. 1. Экран мультимедийной системы

Если система установила, что при текущем характере движения автомобиля столкновение с пешеходом неизбежно, посылается звуковое предупреждение водителю. Далее система оценивает реакцию водителя на предупреждение — изменение характера движения автомобиля (торможение, изменение направления движения). Если реакция отсутствует, система обнаружения пешеходов автоматически доводит автомобиль до остановки. В этом качестве система обнаружения пешеходов является производной системы автоматического экстренного торможения.

Система обнаружения пешеходов позволяет полностью избежать столкновения на скорости до 35 км/ч. При большей скорости система не может полностью предотвратить ДТП, но тяжесть последствий для пешехода может быть уменьшена за счет замедления автомобиля перед столкновением. Статистические данные свидетельствуют, что вероятность смертельного исхода от столкновения пешехода с автомобилем на скорости 65 км/ч составляет 85 %, 50 км/ч — 45 %, 30 км/ч — 5 %.

Риск травмирования пешеходов значительно снижается, если система обнаружения пешеходов используется совместно с системой защиты пешеходов или подушкой безопасности для пешеходов. Обнаружение пешеходов с помощью инфракрасных камер реализовано в системе ночного видения, но активное предупреждение столкновения в ней не предусмотрено.

Система обнаружения пешеходов показала свою эффективность в сложных условиях городского движения. Она позволяет одновременно отслеживать несколько пешеходов, движущихся различными курсами, различает движение пешеходов с зонтами во время дождя и пр. Система неработоспособна ночью и в плохую погоду.

Система предупреждения о велосипедистах

Компания Jaguar Land Rover предложила инновационную систему предупреждения о велосипедистах. Система Bike Sense при потенциальной опасности столкновения с велосипедистом задействует зрение, слух и тактильные ощущения водителя. При этом воздействие на водителя производится на инстинктивном уровне, что позволяет быстрее перейти к действию.

Система предупреждения о велосипедистах Bike SenseСистема предупреждения о велосипедистах Bike Sense

Система предупреждения о велосипедистах, являясь электронной, включает входные устройства, блок управления и исполнительные устройства.

В качестве входных устройств выступают радары с широким радиусом действия и видеокамеры, установленные спереди и сзади автомобиля. Критерием распознавания велосипедиста является скорость его движения (до 15 км/ч) и типовое очертание. Входные устройства определяют велосипедиста на расстоянии 10 м.

Сигналы от входных устройств обрабатываются ЭБУ. В зависимости от конкретной дорожной ситуации активизируются определенные исполнительные устройства, но не ближе чем за 5 м до велосипедиста.

Исполнительными устройствами системы Bike Sense являются:

  • звуковой сигнал тревоги;
  • надувные валики в спинке водительского сиденья;
  • вибратор на педали акселератора;
  • вибратор на внутренней ручке двери;
  • светодиодная подсветка на внутренних элементах салона.

Для предупреждения об опасности используется звуковой сигнал велосипедного звонка, ассоциирующийся с велосипедистами. В зависимости от положения велосипедиста относительно автомобиля сигнал транслируется из левых или правых динамиков акустической системы.

В спинке водительского сиденья оборудованы специальные надувные валики. В зависимости от положения велосипедиста относительно автомобиля активизируется левый или правый валик, нажимая, соответственно, на левое или правое плечо водителя.

Вибратор на педали акселератора срабатывает для предупреждения нежелательного трогания автомобиля с места. Вибратор на внутренней ручке двери активизируется, чтобы предупредить опасное открывание двери, которой можно травмировать движущегося велосипедиста.

На передних стойках кузова, верхней части приборной панели, внутренней обивке дверей установлена комбинированная светодиодная подсветка зеленого, желтого и красного цвета. Светодиоды определенного цвета задействуются в зависимости от степени опасности столкновения с велосипедистом (зеленый — безопасно, желтый — возможная опасность, красный — опасно).

В алгоритме работы системы предупреждения о велосипедистах предусмотрены три типичные ситуации, на которые предлагается определенный набор действий:

  1. приближение велосипедиста сзади движущегося автомобиля:
    • сигнал тревоги со стороны опасности;
    • надувной валик со стороны опасности;
    • светодиодная подсветка со стороны опасности;
  2. приближение велосипедиста (пешехода) в поперечном направлении впереди стоящего автомобиля перед пешеходным переходом:
    • сигнал тревоги со стороны опасности;
    • вибрация педали акселератора;
  3. приближение велосипедиста сзади стоящего автомобиля и намерение водителя или пассажиров выйти из автомобиля (открыть дверь):
    • вибрация дверной ручки со стороны опасности;
    • светодиодная подсветка со стороны опасности.

Несмотря на оригинальность и значимость данной системы, она не будет иметь решающего значения для повышения безопасности велосипедистов. Для защиты велосипедистов требуется изменение законодательства в части дорожного движения и развития велосипедной инфраструктуры.

Система обнаружения крупных животных

Столкновение с крупными дикими животными является серьезной проблемой дорожного движения. Особенно остро данный вопрос стоит в северных европейских странах — Швеции, Норвегии, Финляндии, а также в США и Канаде. Как показывает статистика, 6 % всех столкновений составляют аварии с участием крупных диких животных. Можно представить последствия столкновения со взрослым лосем для пассажиров и автомобиля. И чем выше скорость движения, тем серьезнее последствия аварии. Даже если водителю удалось уйти от столкновения с животным, удержать автомобиль на дороге и избежать аварии не всегда удается.

Система обнаружения крупных животныхСистема обнаружения крупных животных

Шведская компания Volvo, первая из автопроизводителей, разработала систему обнаружения крупных животных и устанавливает ее на свои серийные автомобили. Система обнаружения крупных животных является дальнейшим развитием системы обнаружения пешеходов. Она использует те же аппаратные средства (видеокамеру, радар), что и Pedestrian Detection System, и отличается только программным обеспечением, которое позволяет распознавать форму диких животных, характер их перемещения.

Система определяет крупных диких животных (лося, оленя), а также домашних животных (лошадь, корову), животных меньшего размера (косулю, кабана) система не определяет. Для обнаружения диких животных используется видеокамера и радар, которые дополняют друг друга. При обнаружении животного система предупреждает водителя сигналом. При необходимости производится автоматическое экстренное торможение автомобиля. Если столкновения с животным избежать не удается, снижение скорости существенно уменьшает последствия аварии.

По-своему к решению проблемы безопасности подошли в Канаде, предложив придорожную систему обнаружения крупных животных. Пилотный проект Large Animal Detection System, LADS, отслеживает движение крупных диких животных и предупреждает водителя об их приближении к дороге.

Для обнаружения животных система использует датчики, которые располагаются на столбах вдоль дороги. Ранее в качестве таких датчиков использовался лидар, но по причине частых ложных срабатываний (из-за мелких животных, осадков, растительности) был заменен на радар.

Радар посылает сигнал во всех направлениях в радиусе 700 м. По отраженному сигналу система судит о наличии и направлении движения животных. Когда животное приближается к дороге, срабатывают сигнальные огни желтого цвета. Мигание огней происходит в течение 3 мин, хотя животное за это время может уйти далеко от дороги и не представлять опасность. Питание системы производится от солнечных батарей и резервных аккумуляторов.

Как заявляет производитель, система LADS снижает опасность столкновения с крупными животными до 80 %.

Просмотров: 234

Системы обнаружения пешеходов не работают. Особенно ночью — журнал За рулем

В тесте участвовало несколько автомобилей различных производителей, и все установленные на них системы обнаружения пешеходов оказались неэффективными ночью.

Материалы по теме

Американская автомобильная ассоциация (ААА) пришла к выводу, что технологии обнаружения пешеходов вовсе не так совершенны, как утверждают автопроизводители. Специалисты протестировали несколько популярных систем в различных условиях и в большинстве случаев получили неудовлетворительные результаты.

Объектами исследования стали автомобили Chevrolet Malibu 2019 года с системой торможения перед внезапно появившимся пешеходом, Honda Accord 2019 года с Honda Sensing, Tesla Model 3 2019 года с автоматическим экстренным торможением и Toyota Camry 2019 года с Toyota Safety Sense. Эти четыре седана были выбраны из-за их популярности на рынке.

Самую большую тревогу у специалистов вызвало то, что после захода солнца автомобиль не может видеть намного лучше водителя. Все системы, которые оценила ААА, в темное время суток были неэффективны, а ведь именно в это время в Соединенных Штатах (да и в остальных странах, наверняка, та же статистика) происходит 75% смертельных случаев среди пешеходов. В принципе, каждый производитель предупреждает автомобилистов об этом ограничении в руководстве по эксплуатации, поэтому исследование лишь подтвердило то, что водители и так должны знать.

Системы работают неплохо, когда взрослый пешеход среднего роста или выше выходит на улицу перед автомобилем, движущимся со скоростью 30 км/ч в час днем, в условиях хорошей видимости. На всех перечисленных автомобилях столкновений удалось избежать в 40% случаев и снизить скорость на 7 км в час (а значит, смягчить удар) еще в 35% случаев.

Чем ниже пешеход и выше скорость автомобиля, тем хуже работают системы. В совокупности они избежали столкновения с ребенком на 30 км в час только в 11% случаев и снизили скорость автомобиля на 9 км в час еще в 25% случаев.

Ни одна из машин не избежала столкновения (и даже не замедлилась), когда они на скорости 25 км/ч приблизились к пешеходу, который поворачивал налево, и была вероятность в 89% ударить ребенка, который перебегал дорогу перед двумя машинами, даже когда скорость составляла всего 32 км в час. При скорости в 50 км/ч ни одна из систем вообще не увидела ребенка.

Американская ассоциация призвала автомобилистов всегда быть внимательными, особенно ночью, и не полагаться полностью на электронных помощников.

Она также рекомендовала автопроизводителям повысить точность систем обнаружения пешеходов в условиях низкой освещенности. И если вы пешеход или байкер, вам тоже не мешало бы задуматься о своей безопасности, особенно после проведенного исследования. Следует носить одежду, которая сделает вас заметнее ночью, иметь светоотражающие элементы на одежде или с собой, если вы выходите ночью, и избегать ситуаций, когда пешеход становится невидимкой для водителя.

Фото: autoblog.com

Система обнаружения пешеходов Pedestrian Detection: устройство и принцип работы

Pedestrian Detection System призвана минимизировать риск столкновения автомобиля с пешеходами. Главная функция системы состоит в своевременном выявлении наличия людей в непосредственной близости от машины. В этом случае она автоматически замедляет ход движения, что понижает силу удара в случае неизбежности столкновения. Эффективность применения Pedestrian Detection в оснащении авто уже доказана на практике: на треть снижен риск получения серьезных травм и на четверть сокращено количество смертельных исходов для пешеходов при ДТП.

В целом эта система осуществляет три тесно связанные функции:

  • выявление людей по ходу движения транспортного средства;
  • сигнализация водителю о наличии риска столкновения;
  • понижение скорости движения до минимума в автоматическом режиме.

Эта система была разработана еще в 1990-х годах, однако применялась исключительно на военных средствах передвижения. Впервые в автомобилестроении систему под названием Pedestrian Detection в 2010 году представила компания Volvo.

Методы распознавания пешеходов

Pedestrian Detection System использует четыре метода, которые в совокупности позволяют системе получить достоверные данные о наличии в зоне движения человека:

  • Целостное обнаружение. В случае выявления движущегося предмета, система первоначально фиксирует его габариты. Если компьютерный анализ показывает, что имеющиеся габариты схожи с размерами человека, а инфракрасный датчик указывает на то, что объект теплый, то есть живой, то система делает вывод, что в зоне движения автомобиля находится человек. Однако у целостного обнаружения есть множество недостатков, так как в зону датчиков одновременно могут попасть несколько объектов.
  • Частичное обнаружение. В этом случае сама человеческая фигура рассматривается не целиком, а как совокупность некоторых элементов. Pedestrian Detection System ведет анализ контуров и расположения частей тела. Только после того, как будут проанализированы все составляющие, система делает вывод о наличии пешехода. Этот способ более точен, однако требует большего количества времени на сбор и анализ данных.
  • Обнаружение по образцам. Это сравнительно новый метод, который сочетает в себе преимущества как целостного, так и частичного распознавания пешеходов. Система оснащается большой базой данных, в которой фиксируется информация о возможных формах тела, росте, цвете одежды и прочих характеристиках людей.
  • Обнаружение по нескольким камерам. Этот метод позволяет использовать индивидуальные камеры слежения конкретно за каждым пешеходом, который переходит дорогу. Общая картина разбивается на отдельные части, каждая из которых индивидуально анализируется на риск возможного столкновения с человеком.

Общий принцип работы

Как только по мере движения датчики (или камеры слежения) устанавливают присутствие пешехода по траектории, Pedestrian Detection в автоматическом режиме определяет направление его движения и скорость, после чего вычисляет местоположение человека в момент максимального приближения транспортного средства. Расстояние до пешехода, когда камеры или датчики могут его распознать, достаточно большое — до сорока метров.

Когда компьютерная система делает вывод о том, что впереди находится человек, то тут же посылает соответствующий сигнал на дисплей. Если система вычисляет, что в момент приближения машины к человеку возможно столкновение, то она подает и звуковой сигнал водителю. Если водитель сразу же реагирует на оповещение (меняет траекторию движения или начинает экстренное торможение), то Pedestrian Detection System усиливает его действия использованием системы аварийного торможения на дороге. В том случае, если реакция водителя на оповещение отсутствует или недостаточна, чтобы избежать прямого столкновения, система автоматически доводит автомобиль до полной остановки.

Эффективность применения и имеющиеся недостатки

На сегодняшний день Pedestrian Detection System гарантирует полную безопасность движения и исключает риск столкновения с пешеходами на скорости, не превышающей 35 километров в час. Если транспортное средство движется с большей скоростью, система позволяет ослабить силу удара за счет замедления хода автомобиля.

Показатели эксплуатации автомобилей доказывают, что в условиях езды по городским улицам Pedestrian Detection System незаменима, так как позволяет единомоментно контролировать местоположение нескольких пешеходов, которые движутся по разным траекториям.

Оценить всю прелесть действия этой опции можно только на дорогостоящих автомобилях. Для удобства клиентов компания ГК FAVORIT MOTORS предлагает записаться на тест-драйв Volvo S60, который оснащен системой обнаружения пешеходов. Это позволит не только испытать новую функцию в действии, но и ощутить комфорт от ее использования в автомобиле. Мощный седан на 245 лошадиных сил, оснащенный полным приводом, не только гарантированно обеспечит легкость езды, но и предоставит максимальные условия по личной безопасности и безопасности пешеходов.

Однако у инновационной системы обнаружения пешеходов есть и свои минусы. Одним из самых существенных недостатков можно считать полную неспособность к распознаванию людей в ночное время суток или в условиях плохой видимости. В ряде случаев система может принять за пешехода и отдельно стоящее качающееся от ветра дерево.

К тому же для хранения объемной базы данных программы требуется повышение компьютерных ресурсов, что, в свою очередь, увеличивает и стоимость системы. А это повышает и стоимость транспортного средства.

На данный момент автопроизводители ведут разработки более сложного устройства системы обнаружения пешеходов, которое сможет работать только на сигналах Wi-Fi. Это позволит снизить его стоимость и обеспечить бесперебойную подачу информации в работе.


Обнаружение пешеходов / Хабр

Обнаружение пешеходов используется главным образом в исследованиях, посвященных беспилотным автомобилям. Общая цель обнаружения пешеходов — предотвращение столкновения автомобиля с человеком. На Хабре недавно был топик про «умные машины». Создание подобных систем очень популярное направление исследований (Darpa challenge). Я занимаюсь распознаванием пешеходов для подобного проекта интеллектуальных автомобилей. Очевидно, что проблема обнаружения пешеходов — программная, а предотвращение столкновения — аппаратная. В данной статье я упомяну лишь о программной части, кратко расскажу об одном способе обнаружения людей на изображении и алгоритме классификации.


В своей работе я использую два сенсора: инфракрасную камеру и лидар. Температура тела человека обычно выше окружающей среды. Поэтому на изображении с инфракрасной камеры человека можно легко локализовать. Как правило, легко обнаружить незакрытые одеждой части тела: голову и кисти рук. Но с помощью одной только камеры сложно определить размеры объекта, сложно сказать насколько далеко человек находится от камеры. Здесь на помощь приходит лидар. Он измеряет расстояние до объектов.

Зачем вообще нам лидар? Посмотрим для начала на наши картинки. Вся идея предварительной обработки изображения сводится к тому, чтобы локализовать области интереса. Нам не важно, что из себя представляет все изображение. Мы хотим выделить несколько областей и работать дальше с ними. В идеале область интереса должна охватывать изображения человека целиком. Зная что голова человека теплее окружающей среды, мы легко находим её на изображении. Дальше нам надо оценить размер человека. Тут–то и приходят на помощь данные от лидара. Зная расстояние до объекта, фокусное расстояние камеры, размер объекта в координатах реального мира, легко подсчитать размер объекта в пикселях. Мы определили размер объекта в координатах реального мира равный прямоугольнику 2 на 1 метр в уверенности, что среднестатистический человек вписывается в такой прямоугольник. Но в системе координат изображения области интереса все еще разного размера. Еще одно преобразование масштаба и наконец все области интереса не только охватывают одинаковую область реального мира, но и имеют одинаковые размеры в пикселях.

Рассмотрим каким образом можно совмещать данные двух сенсоров: находим горячую область на изображении (полагаем, что это голова человека), вычисляем угол, под которым находится центр этой область, приводим этот угол к системе координат лидара и по этому углу получаем расстояние до объекта. Для перевода угла из одной системы координат в другую, сенсоры должны быть откалиброваны. Вместо настоящей калибровки сенсоров используется их специфическое расположение, при котором центры сенсоров совпадают в горизонтальной плоскости:

Конечно, на тестовой машине все немного иначе. Во–первых, приведенный рисунок показывает расположение статических сенсоров: их положение не меняется со временем. Во–вторых, на нашей тестовой машине используется другой тип лидара — трехмерный. Он установлен посередине крыши автомобиля. Камера устанавливается в передней части крыши. Таким образом, центры сенсоров уже нельзя считать находящимися в одной точке. Вариантов решения данной проблемы я вижу два: параллельно перенести данные из системы координат одного сенсора в систему координат другого сенсора (предварительно измерив расстояние между ними), либо же (автоматически)откалибровать сенсоры.

Извлечение признаков, которые используются для распознавание образов, и их классификация занимают достаточно много времени. Обработка одного кадра с 6–7 объектами в Матлабе может занять целую минуту. Для систем, ориентированных на работу в реальном времени, такая длительная обработка неприемлема. На скорость сильно влияет количество обнаруженных теплых объектов, а человек не единственный теплый объект. Части машин, окна, светофоры тоже могут выделяться на общем температурном фоне. В данной работе упор сделан на скорость обработки информации. Нам нужно быстро отсеять максимум объектов, которые точно не являются людьми. При этом желательно не пропустить ни одного реального человека. Все оставшиеся объекты можно затем классифицировать с помощью полноценного статического классификатора.

Горячие области на изображении обнаруживаются с помощью метода под названием «Максимально стабильные области экстремума» (МСЕР от англ. Maximally Stable Extremal Regions [1]). Исходное изображение обрабатывается пороговой функцией с изменяющимся значением порога. В результате получается новая последовательность изображений, размер которой соответствует количеству различных значений порога (например, для монохромного изображения со значениями пикселей от 0 до 255 получим 256 изображений). Первое изображение в последовательности будет абсолютно белым. Дальше появятся черные области и самое последнее изображение в последовательности будет полностью черным. На рисунке ниже представлена такая последовательность в виде анимации:

Белые области на изображении являются областями экстремума. Мы можем проанализировать как долго та или иная область экстремума присутствует в последовательности изображений. Для этого можно использовать еще одну пороговую функцию. Например, со значением 10. Если область экстремума присутствует больше чем на 10 изображениях последовательности, то такая область называется максимально стабильной областью экстремума.

Найдя максимально стабильные области интереса, мы можем их еще немного отфильтровать: проверить соотношение сторон, отбросить далекие от камеры объекты, обработать перекрывающиеся между собой области.


Исходное изображение

Максимально стабильные области экстремума

Области интереса

Отфильтрованные области интереса

В качестве метрики для классификации объектов используется «дисперсия»[2]. Вычисление данной метрики занимает мало времени и, к тому же, её значение инвариантно к условиям освещения. Считается она по формуле . В оригинальной работе дисперсия вычисляется по контуру объекта. Для получения контура из областей интереса применяются последовательно фильтр Гаусса и оператор Собеля. Решение о принадлежности образа к тому или иному классу выносится с помощью пороговой функции. Изображения людей обладают меньшим значением дисперсии, чем изображения частей машин или зданий.

Результаты работы алгоритма в картинках:

Тестовой компьютер оснащен процессором Интел коре 2 дуо с частотой 3 ГГц, кэшем размером 6 МБ, оперативной памятью размером 2 ГБ. Тесты проводились в системе Матлаб. Среднее время обработки одного кадра 64 мс. Это значит, что за 1 секунду система сможет обрабатывать примерно 16 кадров. Это, конечно, лучше чем 1 кадр в минуту.

Закономерно возникают следующие вопросы: насколько надежна дисперсия для классификации, как увеличится время работы над одним кадром при использовании полноценного классификатора. Ответов на эти вопросы у меня пока нет. Сейчас как раз работаю над этим. Будут результаты — сообщу!


[1] J. Matas, O. Chum, M. Urban, and T. Pajdla, “Robust wide baseline stereo from maximally stable extremal regions,” in British Machine Vision Conference, 2002, pp. 384–396.
[2] A. L. Hironobu, A. J. Lipton, H. Fujiyoshi, and R. S. Patil, “Moving Target Classification and Tracking From Real-Time Video,” in Applications of Computer Vision, 1998. WACV ’98. Proceedings., Fourth IEEE Workshop on, October 1998, pp. 8–14.

Системы обнаружения пешеходов одна из активных систем безопасности автомобиля

Система обнаружения пешеходов (Pedestrian Detection System) распознает людей возле автомобиля и автоматически замедляет или полностью останавливает транспортное средство в случае возможного столкновения.

Применение данной системы позволяет на 15% сократить смертность пешеходов и на 30% снизить риск получения ими серьезных травм.

Впервые система обнаружения пешеходов была применена на автомобилях Volvo в 2010 году.

В настоящее время система имеет ряд модификаций:

Pedestrian Detection System от Volvo;

Advanced Pedestrian Detection System от TRW;

EyeSight от Subaru.

В системе слежение за пешеходами используются следующие взаимосвязанные функции:

обнаружение пешеходов;

предупреждение об опасности столкновения;

автоматическое торможение.

Для выявления пешеходов используется видеокамера и радар, которые эффективно работают на расстоянии до 40 м. Если пешеход обнаружен видеокамерой и результат подтвержден радаром, система отслеживает движение пешехода, прогнозирует его дальнейшее перемещение и оценивает вероятность столкновения с автомобилем. Результаты обнаружения выводятся на специальный дисплей. Система также реагирует на транспортные средства, которые стоят на месте или движутся в попутном направлении.

Система, придя к выводу, что при неизменной траектории движения автомобиля произойдет наезд на пешехода, посылается сигнал предупреждения водителю. После этого система оценивает реакцию водителя на сигнал об опасности – изменение характера движения автомобиля (торможение, изменение направления движения). Если реакция отсутствует, то система слежения за  пешеходами автоматически доводит автомобиль до остановки. В этом качестве система обнаружения пешеходов является производной системы автоматического экстренного торможения.

Благодаря системе слежения за пешеходами можно практически полностью избежать столкновения на скорости до 35 км/ч.

Правда при высокой скорости система не может полностью предотвратить ДТП, но тяжесть последствий для пешехода может быть снижена до минимума за счет замедления автомобиля перед столкновением. Статистические данные свидетельствуют, что вероятность смертельного исхода при столкновении пешехода с автомобилем на скорости 65 км/ч составляет 85%, 50 км/ч – 45%, 30 км/ч – 5%.

Риск нанесения травмы пешеходам значительно снижается, если система обнаружения пешеходов используется совместно с системой защиты пешеходов или подушкой безопасности для пешеходов. Правда последняя, как правило, слабо помогает, ведь водитель инстинктивно старается отклонить руль в последний момент, поэтому в большинстве случаев столкновение происходит слегка по касательной, а в этом случае польза от подушки гораздо меньше, ведь она не «работает» по бокам. Да и значительная часть травм пешеходов связана в первую очередь со вторичным ударом о столбы, дорожное ограждение и пр., уже после того как они отлетают от автомобиля. Эти повреждения подушка, разумеется, нивелировать не сможет.

Обнаружение пешеходов с помощью инфракрасных камер реализовано в системе ночного видения, но активное предупреждение столкновения в ней не предусмотрено.

Система обнаружения пешеходов показала свою эффективность в сложных условиях городского движения. Она позволяет одновременно отслеживать несколько пешеходов, движущихся различными курсами, различает движение пешеходов с зонтами во время дождя и др.

Среди минусов системы слежения это то, что она неспособна работать в темное время суток и в плохую погоду. Кроме того иногда система принимает за пешеходов отдельно стоящие деревья. А также ничто не застрахует вас от того, что водитель, двигающийся сзади и не соблюдающий дистанцию, въедет в вас сзади при торможении.

Очень скоро получит широкое распространение по всему миру альтернатива системы слежения за пешеходами основанная на Wi-Fi Direct.

Новая система, разрабатываемая компанией General Motors (GM), может сама обнаружить в условиях переполненных дорог приближающихся пешеходов и велосипедистов прежде, чем водитель будет в состоянии это сделать самостоятельно в условиях плохой видимости. Система предупреждения использует в своей основе беспроводную связь Wi-Fi Direct между электронной системой автомобиля и мобильным телефоном пешехода или велосипедиста.

Wi-Fi Direct является стандартом построения одноранговых сетей передачи данных, который позволяет устройствам, таким как смартфоны и планшетные компьютеры, обмениваться данными напрямую друг с другом, а не через традиционную точку доступа. Разрабатывая свою систему, исследователи GM решили объединить возможности технологии Wi-Fi Direct с электронной системой автомобиля, с другими системами обнаружения и предупреждения водителя, основанными на традиционных технологиях и которые уже устанавливаются на некоторые серийные автомобили.

Специалисты компании GM разработали приложение для всех популярных мобильных операционных систем, которое, используя технологию Wi-Fi Direct, позволяет системам транспортных средств идентифицировать себя. Это приложение могут установит в свои смартфоны и планшеты все люди, которые заботятся о своей безопасности на улицах городов.

Обнаружение пешеходов

OpenCV — PyImageSearch

pedestrian_detection_person_175

За эти годы я встретил много замечательных, вдохновляющих людей. Мой научный руководитель, который помог мне закончить аспирантуру. Мой отец, который всегда был рядом со мной, когда я был ребенком — и до сих пор существует. И моя девушка, которая всегда была позитивной, полезной и поддерживающей (даже когда я, вероятно, этого не заслуживала).

Я также встречал несколько деморализующих и разочаровывающих. членов семьи, которые изо всех сил старались удержать меня от того, чтобы я был предпринимателем и работал на себя.Коллеги, которые не любили меня или мою работу и решили публично выразить свое презрение. А есть те, кто сказал довольно неутешительные вещи по электронной почте, в Twitter и других интернет-изданиях.

Мы все знакомы с этими типами людей. Тем не менее, независимо от их поведения (будь то положительное или отрицательное), мы все построены из одного и того же генетического материала четырех азотистых оснований: цитозина, гуанина, аденина и тимина.

Эти пары оснований объединены таким образом, что все наши тела имеют одинаковую базовую структуру независимо от пола, расы или этнической принадлежности . На самом структурном уровне у всех нас есть голова , две руки , , туловище , и две ноги, .

Мы можем использовать компьютерное зрение, чтобы использовать эту полужесткую структуру и выделить элементы для количественной оценки человеческого тела. Эти функции могут быть переданы моделям машинного обучения, которые после обучения могут быть использованы для обнаружения и отслеживания людей в изображениях и видеопотоках. Это особенно полезно для задачи обнаружения пешеходов , о которой мы поговорим в сегодняшнем сообщении блога.

Прочтите, чтобы узнать, как использовать OpenCV и Python для обнаружения пешеходов.

Обнаружение пешеходов OpenCV

Знаете ли вы, что OpenCV имеет встроенных методов для обнаружения пешеходов?

OpenCV поставляется с предварительно обученной моделью HOG + Linear SVM, которую можно использовать для обнаружения пешеходов как в изображениях, так и в видеопотоках. Если вы не знакомы с гистограммой ориентированных градиентов и методом линейной SVM, я предлагаю вам прочитать этот пост в блоге, где я обсуждаю 6-шаговую структуру .

Если вы уже знакомы с процессом (или если вы просто хотите увидеть код того, как выполняется обнаружение пешеходов с помощью OpenCV), просто откройте новый файл, назовите его detect.py , и мы получим кодировка:

 # импортируем необходимые пакеты
from __future__ import print_function
из imutils.object_detection import non_max_suppression
из путей импорта imutils
импортировать numpy как np
import argparse
импорт imutils
импорт cv2

# создать аргумент, синтаксический анализ и анализ аргументов
ap = argparse.ArgumentParser ()
ap.add_argument ("- i", "--images", required = True, help = "путь к каталогу изображений")
args = vars (ap.parse_args ())

# инициализировать дескриптор HOG / детектор людей
hog = cv2.HOGDescriptor ()
hog.setSVMDetector (cv2.HOGDescriptor_getDefaultPeopleDetector ())
 

Строки 2-8 начинаются с импорта наших необходимых пакетов. Мы импортируем print_function , чтобы убедиться, что наш код совместим как с Python 2.7, так и с Python 3 (этот код также будет работать с OpenCV 2.4.X и OpenCV 3). Оттуда мы импортируем функцию non_max_suppression из моего пакета imutils.

Если у вас не установлен imutils , пусть pip установит его для вас:

 $ pip install imutils
 

Если у вас do установлено imutils , вам необходимо обновить до последней версии ( v0.3.1 ), которая включает в себя реализацию функции non_max_suppression , а также несколько других второстепенных обновлений:

 $ pip install - обновить imutils
 

Я дважды говорил о подавлении не максимальных значений в блоге PyImageSearch, один раз в этой вводной статье и еще раз в этой публикации о реализации более быстрого алгоритма NMS.В любом случае суть алгоритма подавления немаксимумов состоит в том, чтобы взять нескольких перекрывающихся ограничивающих прямоугольников и уменьшить их до одного ограничивающего прямоугольника:

Figure 3: (Left) Multiple bounding boxes are falsely detected for the person in the image. (Right) Apply non-maxima suppression allows us to suppress overlapping bounding boxes, leaving us with the correct final detection. Рис. 1: (слева) Несколько ограничивающих рамок ошибочно обнаружены для человека на изображении. (Справа) Применение подавления не максимальных значений позволяет нам подавить перекрывающиеся ограничивающие рамки, оставляя нам правильное окончательное обнаружение.

Это помогает уменьшить количество ложных срабатываний, сообщаемых конечным детектором объектов.

Строки 11-13 обрабатывают синтаксический анализ наших аргументов командной строки. Здесь нам нужен только один переключатель --images , который является путем к каталогу, содержащему список изображений, для которых мы собираемся выполнить обнаружение пешеходов.

Наконец, , строки 16 и 17, инициализируют наш детектор пешеходов. Сначала мы вызываем hog = cv2.HOGDescriptor () , который инициализирует дескриптор гистограммы ориентированных градиентов. Затем мы вызываем setSVMDetector , чтобы настроить машину опорных векторов как предварительно обученный детектор пешеходов, загруженный через cv2.Функция HOGDescriptor_getDefaultPeopleDetector () .

На этом этапе наш детектор пешеходов OpenCV полностью загружен, нам просто нужно применить его к некоторым изображениям:

 # цикл по путям изображения
для imagePath в paths.list_images (args ["images"]):
# загрузить изображение и изменить его размер до (1) уменьшить время обнаружения
# и (2) повысить точность обнаружения
изображение = cv2.imread (imagePath)
image = imutils.resize (изображение, ширина = мин (400, image.shape [1]))
orig = image.copy ()

# обнаруживаем людей на изображении
(прямоугольники, веса) = свинья.detectMultiScale (изображение, winStride = (4, 4),
padding = (8, 8), scale = 1.05)

# рисуем исходные ограничивающие рамки
для (x, y, w, h) в прямоугольниках:
cv2.rectangle (orig, (x, y), (x + w, y + h), (0, 0, 255), 2)

# применяем подавление не максимальных значений к ограничивающим прямоугольникам, используя
# довольно большой порог перекрытия, чтобы попытаться сохранить перекрытие
# коробки, которые все еще люди
rects = np.array ([[x, y, x + w, y + h] для (x, y, w, h) в прямоугольниках])
pick = non_max_suppression (rects, probs = None, overlapThresh = 0,65)

# рисуем окончательные ограничивающие рамки
для (xA, yA, xB, yB) в подборе:
CV2.прямоугольник (изображение, (xA, yA), (xB, yB), (0, 255, 0), 2)

# показать некоторую информацию о количестве ограничивающих рамок
filename = imagePath [imagePath.rfind ("/") + 1:]
print ("[ИНФОРМАЦИЯ] {}: {} исходные блоки, {} после подавления" .format (
имя файла, len (прямоугольник), len (выбрать)))

# показать выходные изображения
cv2.imshow ("До NMS", ориг.)
cv2.imshow ("После NMS", изображение)
cv2.waitKey (0)
 

В строке 20 мы начинаем перебирать изображения в нашем каталоге --images . Примеры в этом сообщении блога (и дополнительные изображения, включенные в исходный код этой статьи) являются образцами из популярного набора данных INRIA Person (в частности, из подмножества GRAZ-01).

Отсюда Lines 23-25 ​​ обрабатывают загрузку нашего изображения с диска и изменение его размера до максимальной ширины 400 пикселей. Мы пытаемся уменьшить размеры изображения по двум причинам:

  1. Уменьшение размера изображения гарантирует, что необходимо оценивать меньшее количество скользящих окон в пирамиде изображений (т. Е. Иметь функции HOG, извлеченные из линейной SVM и затем переданные в нее), тем самым сокращая время обнаружения (и увеличивая общую пропускную способность обнаружения).
  2. Изменение размера изображения также повышает общую точность обнаружения пешеходов (т.е.е., меньше ложных срабатываний).

Фактическое обнаружение пешеходов на изображениях обрабатывается строками 28 и 29 путем вызова метода detectMultiScale дескриптора hog . Метод detectMultiScale создает пирамиду изображений с масштабом = 1,05 и размером шага скользящего окна (4, 4) пикселей в обоих направлениях x и y соответственно.

Размер скользящего окна фиксирован и составляет 64 x 128 пикселей , как было предложено в оригинальной статье Далала и Триггса « Гистограммы ориентированных градиентов для обнаружения человека». Функция detectMultiScale возвращает 2-кортеж из прямоугольников или ограничивающего прямоугольника (x, y) — координаты каждого человека на изображении и весов , значение достоверности, возвращаемое SVM для каждого обнаружение.

При большем масштабе размер оценивает минус слоев в пирамиде изображений, что может ускорить выполнение алгоритма. Однако наличие слишком большого масштаба (т.е. меньшее количество слоев в пирамиде изображения) может привести к тому, что пешеходы не будут обнаружены.Аналогично, наличие слишком маленького размера масштаба резко увеличивает количество слоев пирамиды изображений, которые необходимо оценить. Это не только может быть расточительным с точки зрения вычислений, но также может значительно увеличить количество ложных срабатываний, обнаруживаемых датчиком пешеходов. Тем не менее, шкала является одним из наиболее важных параметров для настройки при обнаружении пешеходов. Я проведу более тщательный обзор каждого из параметров для detectMultiScale в одном из будущих сообщений блога.

Линии 32 и 33 берут наши начальные ограничивающие рамки и рисуют их на нашем изображении.

Однако для некоторых изображений вы заметите, что для каждого человека обнаружено нескольких перекрывающихся ограничивающих прямоугольников (как показано на рис. 1 выше).

В этом случае у нас есть два варианта. Мы можем определить, является ли одна ограничивающая рамка полностью содержащейся внутри другой (как реализует один из примеров OpenCV). Или мы можем применить подавление не максимальных значений, а подавить ограничивающие прямоугольники , которые перекрываются значительным порогом - и это именно то, что делают , строки 38 и 39, .

Примечание: Если вам интересно узнать больше о структуре HOG и подавлении не максимальных значений, я бы начал с чтения этого вводного поста о 6-шаговой структуре. Оттуда ознакомьтесь с этим сообщением о простом подавлении не максимальных значений, за которым следует обновленное сообщение, в котором реализован оптимизированный метод Малисевича.

После применения подавления не максимальных значений мы рисуем окончательные ограничивающие рамки на строках 42 и 43 , отображаем некоторую базовую информацию об изображении и количестве ограничивающих рамок на строках 46-48 и, наконец, отображаем наши выходные изображения на нашем экран на , строки 51-53 .

Результаты обнаружения пешеходов на изображениях

Чтобы увидеть наш скрипт обнаружения пешеходов в действии, просто введите следующую команду:

 $ python detect.py - изображения изображений
 

Ниже я привел образец результатов скрипта обнаружения:

Figure 1: The first result of our pedestrian detection script. Рисунок 2 : Первый результат нашего сценария обнаружения пешеходов.

Здесь мы обнаружили человека, стоящего рядом с полицейской машиной.

Figure 2: Detecting a single person in the foreground and another person in the background. Рисунок 3: Обнаружение одного человека на переднем плане и другого человека на заднем плане.

В приведенном выше примере мы видим мужчину, обнаруженного на переднем плане изображения, в то время как женщина, толкающая детскую коляску, обнаружена на заднем плане.

Figure 3: An example of why applying non-maxima suppression is important. Рисунок 4: Пример того, почему важно применять подавление не максимальных значений.

Изображение выше служит примером того, почему важно применять подавление не максимальных значений. Функция detectMultiScale ошибочно обнаружила два ограничивающих прямоугольника (вместе с правильным ограничивающим прямоугольником), оба перекрывая настоящего человека на изображении.Применяя подавление не максимальных значений, мы смогли подавить посторонние ограничивающие рамки, оставив нам истинное обнаружение

Figure 4: A second example demonstrating non-maxima suppression in action. Рисунок 5: Второй пример, демонстрирующий подавление немаксимальных значений в действии.

Опять же, мы видим, что обнаружено несколько ложных ограничивающих рамок, но, применив NMS, мы можем удалить их, оставив нам истинное обнаружение на изображении.

Figure 5: Detecting pedestrians in a shopping mall. Рисунок 6: Обнаружение пешеходов в торговом центре.

Вот мы обнаруживаем пешеходов в торговом центре.Обратите внимание, что два человека идут на от от камеры, а другой идет на к камере. В любом случае наш метод HOG способен обнаруживать людей. Большее значение overlapThresh в функции non_maxima_suppression гарантирует, что ограничивающие прямоугольники не подавляются, даже если они частично перекрываются.

Figure 6: Detecting people in a blurred image. Рисунок 7: Обнаружение людей на размытом изображении.

Я был особенно удивлен результатами этого изображения.Обычно дескриптор HOG не работает хорошо при наличии размытия при движении, но мы все же можем обнаружить пешеходов на этом изображении.

Figure 7: Detecting pedestrians outdoors, walking along the street. Рисунок 8: Обнаружение пешеходов на улице, идущих по улице.

Это еще один пример нескольких перекрывающихся ограничивающих прямоугольников, но из-за большего overlapThresh они , а не подавляются, что оставляет нам правильное обнаружение человека.

Figure 8: Detecting four members of a family. Рисунок 9: Обнаружение четырех членов семьи.

На изображении выше показана универсальность нашего детектора пешеходов HOG + SVM. Мы можем обнаружить не только взрослого мужчины, но и троих маленьких детей. (Обратите внимание, что детектор не может найти другого ребенка, скрывающегося за своим [предположительно] отцом).

Figure 9: Detecting a depiction of pedestrians. Рисунок 10: Обнаружение изображения пешеходов.

Я добавляю это изображение в последнюю очередь просто потому, что считаю его забавным. Мы четко видим дорожный знак, вероятно, используемый для обозначения пешеходного перехода.Однако наш детектор HOG + SVM отмечает двух людей на этом изображении как положительную классификацию!

Сводка

В этом сообщении в блоге мы узнали, как выполнять обнаружение пешеходов с помощью библиотеки OpenCV и языка программирования Python.

Библиотека OpenCV фактически поставляется с предварительно обученным HOG + Linear SVM-детектором на основе метода Далала и Триггса, чтобы автоматически обнаруживал пешеходов на изображениях.

Хотя метод HOG имеет тенденцию быть более точным, чем его аналог Хаара, он все же требует, чтобы параметры для detectMultiScale были установлены правильно.В будущих публикациях в блоге я рассмотрю каждый из параметров detectMultiScale , подробно расскажу, как настроить каждый из них, и опишу компромиссы между точностью и производительностью.

В любом случае, надеюсь, вам понравилась эта статья! Я планирую сделать больше руководств по обнаружению объектов в будущем, поэтому, если вы хотите получать уведомления, когда эти сообщения будут опубликованы, рассмотрите возможность подписки на информационный бюллетень, используя форму ниже.

Я также подробно рассказываю об обнаружении объектов с помощью метода HOG + Linear SVM в курсе PyImageSearch Gurus , , так что обязательно посмотрите!

Figure 9: Detecting a depiction of pedestrians.

Загрузите исходный код и БЕСПЛАТНОЕ 17-страничное руководство по ресурсам

Введите свой адрес электронной почты ниже, чтобы получить.zip кода и БЕСПЛАТНОЕ 17-страничное руководство по ресурсам по компьютерному зрению, OpenCV и глубокому обучению. Внутри вы найдете мои тщательно отобранные учебники, книги, курсы и библиотеки, которые помогут вам освоить CV и DL!

,

Обнаружение и отслеживание пешеходов в системе видеонаблюдения: проблемы, всесторонний обзор и проблемы

1. Введение

Слово наблюдение, приставка sur - французское слово, означающее «над», а корень veiller означает «наблюдать». В отличие от наблюдения Стив Манн в [1] вводит термин «супервизия». В отличие от слова sur, sous означает «под», то есть означает, что камера физически находится рядом с человеком (например, камера крепится на голове). Наблюдение и супервизия используются для постоянного внимательного наблюдения за подозреваемым, заключенным, человеком, группой или текущим поведением и деятельностью с целью сбора информации.В целях улучшения обычных систем безопасности использование систем наблюдения все чаще поощряется государственными и частными организациями. В настоящее время системы наблюдения широко исследованы и эффективно используются в нескольких приложениях, таких как (а) транспортные системы (железнодорожные станции, аэропорты, сети городских и автомобильных дорог), (б) правительственные учреждения (военные базовые лагеря, тюрьмы, стратегическая инфраструктура, радары). центры, лаборатории и больницы), (c) промышленные помещения, банкоматы, банки, торговые центры, общественные здания и т. д.Большинство систем наблюдения в общественных и частных местах зависят от человека-оператора-наблюдателя, который обнаруживает любые подозрительные действия пешеходов на видеосцене [2, 3]. Термин пешеход - это человек, который идет или бежит по улице. В некоторых общинах человека, использующего инвалидную коляску, также считают пешеходом. Самой сложной задачей для автоматического видеонаблюдения является обнаружение и отслеживание подозрительной активности пешеходов. Для динамической среды реального времени методы, основанные на обучении, не обеспечивали подходящего решения для анализа сцены в реальном времени, потому что сложно получить предварительные знания обо всех объектах.Тем не менее, методы, основанные на обучении, принимаются из-за их точности и надежности. В литературе несколько исследователей используют эффективно основанную на глубоком обучении (DL) модель для целей классификации видеонаблюдения по сравнению с традиционными подходами, а именно. модель персептрона, вероятностная нейронная сеть (PNN), радиальная базовая нейронная сеть (RBN) и т. д. Многочисленные методы, основанные на обучении, включают искусственную нейронную сеть (ANN), машину опорных векторов (SVM), AdaBoost и т. д. Эти методы требуют наличия таких функций в виде гистограммы ориентированных градиентов (HOG), ускоренных устойчивых признаков (SURF), локального двоичного шаблона (LBP), масштабного и инвариантного преобразования признаков (SIFT) и т. д.для классификации типа объекта. В частности, эти функции представлены различными версиями алгоритмов глубокого обучения, такими как сети глубоких убеждений (DBN), рекуррентные нейронные сети (RNN), генеративные состязательные сети (GAN), сверточные нейронные сети (CNN), ограниченная машина Больцмана (RBM), AlphaGo, AlphaZero, представления двунаправленного кодера капсульных сетей для преобразователей (BERT) и т. Д.

Эти варианты алгоритмов DL используются во многих приложениях компьютерного зрения, таких как распознавание лиц, классификация изображений, распознавание речи, преобразование текста в речь, рукописная транскрипция , машинный перевод, медицинская диагностика, автомобили: зона движения, удержание полосы движения, обнаружение пешеходов и ориентиров для водителя, цифровые помощники, реклама, поиск, социальные рекомендации, игры и поиск изображений на основе контента.Преимущество подходов DL заключается в его способности изучать сложные функции сцены с очень меньшей обработкой необработанных данных и его способность эффективно изучать немаркированные необработанные данные. Совсем недавно новый метод глубокого обучения под названием CNN показал более высокие характеристики по сравнению с традиционными методами в области исследования обработки видео. CNN может эффективно обрабатывать сложные и большие данные.

За последнее десятилетие системы видеонаблюдения превратились из простой системы сбора видео в интеллектуальные автономные системы в реальном времени.На рисунке 1 показана временная диаграмма эволюции видеонаблюдения.

Рисунок 1.

Развитие систем видеонаблюдения.

Системы визуального наблюдения появились еще в 1942 году. В основном замкнутое телевидение (CCTV) используется в коммерческих целях в качестве системы безопасности, в основном для помещений. Основными проблемами первоначальных систем видеонаблюдения были (1) сигналы напряжения, не передаваемые открыто в распределенной среде, (2) система видеонаблюдения зависит от стратегического размещения камер в соответствии с географической структурой рабочего места, (3) для входа камеры требуется наблюдатель. видеозапись камеры видеонаблюдения [4].Система видеонаблюдения теряет свое основное преимущество в качестве активной среды реального времени, поскольку видеоматериалы могут использоваться только после того, как факт или инцидент произошли, что может быть использовано в качестве юридического доказательства или инструмента судебной экспертизы. Затем, в 1996 году, Axis представила камеры наблюдения на базе IP, которые преодолевают ограничения первоначальных камер видеонаблюдения, такие как (1) IP-камеры передают необработанные изображения вместо сигналов напряжения, используя безопасный канал передачи TCP / IP, (2) IP-камера поставляется с видеоаналитикой, т.е.е., сама камера может использоваться для анализа изображений, (3) кабель Ethernet может использоваться в качестве источника питания вместо выделенного источника питания, и (4) двусторонние двунаправленные аудиосигналы могут передаваться по одному выделенному сеть [5]. Новейшая система наблюдения облегчает удаленный мониторинг местоположения на портативных устройствах, таких как мобильные телефоны.

Системы видеонаблюдения можно разделить на категории на основе системы камер, приложений и архитектуры. Система камер включает одиночную камеру, многокамерную камеру, фиксированную камеру, движущуюся камеру и системы гибридных камер и т. Д.Система на основе приложений включает в себя отслеживание и распознавание объектов, повторную идентификацию идентификаторов, настраиваемое уведомление о событиях и систему на основе предупреждений, анализ поведения и т. Д. Наконец, система на основе архитектуры включает автономные системы, облачные и распределенные системы [6]. Общая структура автоматизированной системы визуального наблюдения представлена ​​на рисунке 2 [7, 8, 9]. Обычно система видеонаблюдения основана на нескольких камерах, видео с нескольких камер снимаются по сети и сохраняются в базе данных.

Рисунок 2.

Общая структура автоматизированной системы визуального наблюдения [7, 8, 9].

Данные необходимо объединить перед включением дальнейшей обработки. Это может быть сделано с использованием методов объединения данных, таких как мультисенсорный уровень, отслеживание за отслеживанием и от внешнего вида к внешнему [10, 11, 12]. После объединения данных выполняются следующие шаги. Традиционная система видеонаблюдения состоит из различных этапов, таких как (1) обнаружение движения и объектов, (2) классификация объектов, (3) отслеживание объектов, (4) понимание поведения и анализ активности, (5) идентификация пешеходов и (6) данные. фьюжн.Каждый этап автоматизированной системы визуального наблюдения описывается следующим образом.

1.1 Обнаружение движения и объектов

Обнаружение объектов - это первый шаг, который имеет дело с обнаружением экземпляров семантических объектов определенного класса, таких как люди, здания, автомобили и т. Д., В последовательности видео. Различные подходы к обнаружению объектов - это различие между кадрами, вычитание фона и анализ движения с использованием методов оптического потока [13]. Эти подходы обычно используют извлеченные функции и алгоритмы обучения для распознавания экземпляров категории объектов.Процесс обнаружения объектов делится на две категории. Во-первых, обнаружение объекта, которое включает в себя в основном три типа методов, таких как вычитание фона, оптический поток и пространственно-временная фильтрация. Во-вторых, классификация объектов использует в первую очередь визуальные особенности, такие как метод на основе формы, движения и текстуры [13]. Обнаружение движения является одной из проблем видеонаблюдения, поскольку оно не только отвечает за извлечение движущихся объектов, но также имеет решающее значение для многих приложений, включая кодирование видео на основе объектов, анализ движения человека и взаимодействие человека с машиной [14, 15] ,

Следующим шагом после обнаружения объекта является сегментация движения. Этот шаг используется для обнаружения областей, соответствующих движущимся объектам, например людям или транспортным средствам. В основном он фокусируется на обнаружении движущихся областей из видеокадров и создании базы данных для отслеживания и анализа поведения. Обнаружение движения используется для обнаружения изменения положения объекта относительно его окружения или изменения окружения относительно объекта. Обнаружение движения может быть достигнуто с помощью электронных датчиков движения, которые обнаруживают движение в реальной среде.

1.2 Отслеживание объектов

Отслеживание объектов в видеопоследовательности означает идентификацию одного и того же объекта в последовательности кадров с использованием уникальных характеристик объекта, представленных в виде характеристик. Как правило, процесс обнаружения всегда сопровождается отслеживанием в системах видеонаблюдения. Отслеживание выполняется от одного кадра к другому с использованием алгоритмов отслеживания, таких как отслеживание на основе ядра, отслеживание на основе точек и отслеживание на основе силуэтов [16].

1.3 Анализ поведения и активности

В некоторых случаях обязательно анализировать поведение людей и определять, является ли их поведение подозрительным или нет, например, поведение пешехода в людном месте (например.грамм. общественные рынки и правительственные учреждения и т. д.). На этом шаге движение объектов распознается на видеосцене и генерируется описание действия. Ахмед Элайв и др. [80] предложили стратегию критического анализа и моделирования скопления людей с целью выбора наиболее подходящего масштаба из трех подходов, т.е. (1) микроскопический, означает, что пешеходы обнаруживаются индивидуально на основе местоположения, скорости и параметра движения игнорируются , (2) мезоскопический, означает, что пешеход обнаруживается на основе положения, скорости и зависит от функции распределения, и (3) макроскопический, означает, что пешеход определяется на основе среднего количества пешеходов, момента пешехода.Его можно использовать для эффективного принятия решений в критических ситуациях, когда важна безопасность людей. Безопасность людских скоплений зависит от количества и плотности пешеходов, движущихся физически в различных местах с высокой людностью.

1.4 Идентификация личности

Последний шаг - идентификация человека. Человеческое лицо и походка являются основными биометрическими характеристиками, которые могут быть использованы для идентификации личности в системах визуального наблюдения после анализа поведения [8].

Целью этой главы является обсуждение вопросов и проблем, связанных с проектированием системы визуального наблюдения.Опять же, сгруппируйте методы обнаружения и отслеживания пешеходов, используемые для движущейся и фиксированной камеры, в широкие категории и дайте информативный анализ относительных методов в каждой категории. В эту главу внесены следующие основные вклады:

  • Сравнительный анализ общедоступных эталонных наборов данных пешеходов с их использованием, спецификациями и ограничениями среды

  • Анализировать проблемы и проблемы обнаружения и отслеживания пешеходов в записанных видеопоследовательностях с помощью подвижной и фиксированной камеры

  • Классификация методов обнаружения и слежения за пешеходами различными способами на основе общей концепции методов, принадлежащих к каждой категории, и описанные предлагаемые улучшения для каждого метода

Эта глава организована следующим образом разделы.Раздел 1 дает вводную часть, важность системы видеонаблюдения, последние достижения и общие основы видеонаблюдения. В разделе 2 обсуждаются различные эталонные наборы данных о пешеходах, используемые для сравнения различных методов обнаружения и отслеживания пешеходов. Раздел 3 представляет подробное обсуждение вопросов и проблем обнаружения и отслеживания пешеходов в видеопоследовательности. В разделе 4 методы обнаружения пешеходов и метод слежения за движущейся и фиксированной камерой сгруппированы по различным категориям, описана их общая концепция с улучшениями в каждой категории.В Разделе 5 обсуждаются возможные будущие направления. Наконец, глава завершилась обсуждением в Разделе 6.

2. Наборы данных о пешеходах, представленные в литературе

Современные методы обнаружения и отслеживания пешеходов включают в себя адаптивный локальный двоичный шаблон (LBP), гистограмму ориентированных gradient (HOG) в трекер с несколькими ядрами, метод на основе пространственно-временной контекстной информации с использованием баз данных эталонных тестов [10]. В этом разделе мы обрисовали в общих чертах наборы данных тестов, которые обычно используются исследователями.На рисунке 3 показан образец изображения каждого набора данных о пешеходах. Затем мы обсуждаем каждую базу данных с ее спецификацией, использованием и ограничениями окружающей среды, после чего проводится сравнительный анализ.

Рисунок 3.

Пример набора данных пешеходов. (а) Наборы данных о пешеходах Калтеха состоят из уникальных аннотированных пешеходов. b) набор данных GM-ATCI о пешеходах заднего вида. (c) Изображения набора данных Tsinghua-Daimler Cyclist Detection Benchmark. d) набор городских данных NICTA. (e) Набор городских данных ETH. (f) Набор данных TUD-Брюссель.(g) Набор данных Microsoft COCO о пешеходах. (h) Наборы статических данных обнаружения пешеходов INRIA. (i) Набор данных объекта PASCAL. (j) CVC-ADAS набор наборов данных о пешеходах. (k) Изображения из базы данных пешеходов Массачусетского технологического института. (l) Набор исследовательских данных Mapillary vistas.

2.1 Набор данных о пешеходах Массачусетского технологического института (MIT)

Это один из первых наборов данных о пешеходах, довольно маленький и относительно хорошо решенный на данный момент. Этот набор данных содержит 709 изображений пешеходов, сделанных на городских улицах.Из них 509 обучающих и 200 тестовых изображений пешехода в городских сценах. Каждое изображение содержит либо вид спереди, либо вид сзади с относительно ограниченным диапазоном поз [11, 12].

2.2 Набор данных Caltech для пешеходов

Набор данных Caltech состоит из видео с разрешением 640 × 480, снятого с транспортного средства, проезжающего по обычному трафику в городской среде. Около 250 000 из 350 000 ограничивающих рамок и 2300 уникальных пешеходов были аннотированы для целей тестирования и обучения. Аннотации включают ограничивающие рамки для каждого пешехода, идущего по улицам, и подробные метки загораживания для каждого объекта, снятого в видеопоследовательности в городской среде.Аннотации пешеходов используются для проверки точности алгоритма обнаружения и слежения за пешеходами [10].

2.3 Набор данных пешеходов General Motors-Advanced Technical Center (GM-ATCI)

Набор данных GM-ATCI - это база данных пешеходов заднего вида, полученная с помощью стандартной автомобильной камеры заднего вида, установленной на автомобиле, для оценки обнаружения пешеходов заднего вида. Всего набор данных содержит 250 клипов продолжительностью 76 минут и более 200 000 аннотированных ограничивающих рамок пешеходов.Набор данных был записан в разных местах, в том числе: на закрытых и открытых парковках, на городских дорогах и частных подъездных путях. Этот набор данных был собран как для дневных, так и для ночных сценариев, с разными погодными условиями и условиями освещения [15].

2.4 Набор данных пешеходов Daimler

Изображения пешеходов, снятые с установленной на транспортном средстве откалиброванной стереокамеры в городской среде. Этот набор данных содержит информацию отслеживания и большое количество помеченных ограничивающих рамок с плавающей картой несоответствия и наземным изображением истинной формы.Обучающий набор содержит 15 560 образцов пешеходов с 6744 метками пешеходов, а тестовый набор содержит более 21 790 изображений с 56 492 пешеходными метками [15].

2.5 Набор данных о пешеходах Национальной службы информационных и коммуникационных технологий Австралии (NICTA)

Это крупномасштабный набор данных о городах, собранный во многих городах и странах. Набор данных содержит около 25 551 уникального пешехода-человека, что позволяет получить набор данных из более чем 50 000 изображений с зеркальным отображением и аннотациями для проверки точности алгоритма обнаружения и отслеживания [16].

2.6 Набор данных пешеходов Швейцарского федерального технологического института (ETH)

Это набор городских данных, полученный со стереосистемы, установленной на коляске. Наблюдение за дорожной обстановкой из салона автомобиля. База данных используется для обнаружения и отслеживания пешеходов с движущихся платформ в городских условиях. Набор данных состоит из агентов движения, таких как разные автомобили и пешеходы. Можно предсказать их дальнейшее движение или даже интерпретировать их намерения. При этом нужно держаться подальше от любых препятствий, оставаться на назначенной дороге и читать или интерпретировать любые дорожные знаки на обочине улицы.Кроме того, человек способен оценить ситуацию, когда он находится рядом со школой или пешеходным переходом, он идеально адаптирует свое поведение за рулем [17].

2.7 Набор данных для пешеходов TUD-Брюссель

Этот набор данных состоит из пар, записанных в многолюдной городской среде с движущейся платформы с бортовой камерой и сложным сценарием безопасности автомобилей в городской среде [18].

2.8 Набор данных о пешеходах Национального института исследований в области информатики и автоматизации (INRIA)

INRIA в настоящее время является одним из самых популярных наборов статических данных для обнаружения пешеходов.Он содержит движущихся людей со значительными вариациями внешнего вида, позы, одежды, фона, освещения, а также движущихся камер и фона. Каждая пара показывает два последовательных кадра [19].

2.9 PASCAL классы визуальных объектов (VOC) 2007 и 2012 набор данных

Это набор данных статических объектов с различными видами и позициями объектов. Цель задачи классов визуальных объектов - распознать объекты из ряда классов визуальных объектов в реалистичных сценах. Были отобраны 20 классов объектов: (1) человек, (2) животное, (3) транспортное средство [20].

2.10 Набор данных Microsoft Common Object in Context (COCO) 2018

COCO - это недавний набор данных, созданный Microsoft [22]. Набор данных, разработанный для стимулирования исследований по обнаружению объектов с упором на обнаружение объектов в контексте. Аннотации включают в себя различные экземпляры сегментации для объектов, принадлежащих к 80 категориям объектов, сегментацию наполнения для 91 категории, аннотации ключевых точек для экземпляров людей и пять меток изображений для каждого изображения. Различные задачи набора данных COCO 2018: (1) обнаружение объектов с использованием масок сегментации на изображении, (2) паноптическая сегментация, (3) оценка ключевых точек человека и (4) обнаружение плотной позы.На рис. 3 (g) показаны образцы изображений набора данных MS COCO.

2.11 Набор данных исследования Mapillary vistas

Паноптическая сегментация Mapillary vistas нацелена на полный стек восприятия для сегментации сцены в изображениях улиц [22]. Паноптическая сегментация решает как вещи, так и классы вещей, эффективно объединяя обычно отдельные задачи семантической сегментации и сегментации экземпляра. На рис. 3 (l) показан образец изображений наборов данных исследования Mapillary vistas. Сравнительный анализ недавно использованной базы данных пешеходов с ее приложением для системы видеонаблюдения представлен в таблице 1.Сравнение выполняется с точки зрения применения набора данных, размера набора данных, сценариев среды создания набора данных и типа деталей аннотации, используемых для тестирования, обучения и проверки производительности алгоритма обнаружения и отслеживания. Эти наборы данных используются исследователями для тестирования производительности соответствующего алгоритма обнаружения и отслеживания пешеходов.


40 [11 ] 901 90 140 Городское окружение
Источник данных Цель Изображение или видеоклипы Аннотация Среда Ref. Год
MIT Сегментация, обнаружение и отслеживание пешеходов на городских улицах 709 изображений пешеходов
509 обучающих и 200 тестовых изображений
Без аннотированных пешеходов Сценарий дневного освещения 2000, 2005
Набор данных пешеходов Калифорнийского технологического института Обнаружение и отслеживание пешеходов, идущих по улице 250 000 кадров (в 137 приблизительно минутных отрезках) 350 000 ограничивающих рамок и 2300 уникальных пешеходов были аннотированы Urban среда [10] 2012
GM-ATCI Сегментация, обнаружение и отслеживание пешеходов, вид сзади 250 видеопоследовательностей 200K аннотированных ограничивающих рамок пешеходов Набор данных был собран как в дневном, так и в ночном сценариях с разными погодными и световыми условиями [13 ] 2015
Daimler Обнаружение и отслеживание пешеходов 15,560 образцов пешеходов, 6744 отрицательных образцов Критерий перекрытия двухмерной ограничивающей рамки и карта несоответствия с плавающей точкой и изображение истинной формы земли Городская среда ] 2016
NICTA 2016 Сегментация, оценка позы, изучение пешеходов 25 551 уникальный пешеход, 50 000 изображений 2D наземное изображение Городская среда [16] 6 6 2016 MS COCO 2018 Обнаружение объектов, сегментация, обнаружение ключевых точек, обнаружение DensePose 300 000, 2 миллиона экземпляров, 80 категорий объектов 5 подписей на изображение Городская среда [22] 2018
Mapillary vistas набор данных 2017 Семантическое понимание уличных сцен 25000 изображений, 152 категории объектов Человеческие аннотации с точностью до пикселя и конкретных экземпляров для понимания уличных сцен Городская среда [22] 2017
MS COCO 2017 Распознавание, сегментация, титры 328,124 изображений, 1.5 миллионов экземпляров объектов Сегментированные люди и объекты Городская среда [22] 2017
MS COCO 2015 Распознавание, сегментация, субтитры 328124 изображения, 80 категорий объектов Сегментированные люди и объекты Городская среда [22] 2015
ETH Сегментация, обнаружение, отслеживание Видео Набор данных состоит из других транспортных агентов, таких как разные автомобили и пешеходы Городская среда 2010
TUD-Брюссель Обнаружение, отслеживание 1092 пары изображений 1776 пешеход с аннотациями Городская среда [18] 2009
ING изображения Аннотации помечены вручную [19] 2005
CVC-ADAS Обнаружение, отслеживание 60 000 кадров 7900 пешеходов с аннотациями Городское окружение [20] 6 2009 P 6 2012 Обнаружение, классификация, сегментация 11530 изображений, 20 классов объектов 27450 ROI с аннотациями 6929 сегментов Городская среда [21] 2012

Таблица 1.

Недавно использованные исследователями пешеходные базы данных.

4. Обнаружение и отслеживание пешеходов

При видеонаблюдении одной из ключевых задач является обнаружение присутствия пешеходов в видеопоследовательности, т. Е. Локализация всех объектов, являющихся людьми [45, 68]. Эта проблема соответствует определению областей, обычно наименьших прямоугольных ограничивающих рамок в видеопоследовательности, которые окружают людей. В большинстве систем наблюдения человеческое поведение распознается с помощью анализа траекторий, положений людей и исторических или предшествующих сведений о месте происшествия.На рисунке 5 показаны некоторые примеры обнаружения и отслеживания пешеходов. Haritaoglu et al. [46] описывают комбинированный подход к анализу формы и отслеживанию тела, а также моделируют различную внешность человека. Это было разработано для наружной среды с использованием одной камеры. Система обнаруживает и отслеживает группы людей и отслеживает их поведение даже при частичной окклюзии. Однако производительность в основном основана на обнаруженных траекториях соответствующих объектов на видео. Кроме того, в некоторых случаях результатов недостаточно для семантического распознавания динамических действий человека и анализа событий.Усовершенствованная автоматическая система видеонаблюдения включает множество функций, таких как обнаружение движения [69, 70], анализ поведения человека, обнаружение и отслеживание [71, 72, 73]. Отслеживание человека является довольно сложной задачей, поскольку люди могут отличаться внутри класса по форме, внешнему виду из-за разных точек зрения и других визуальных свойств.

Рисунок 5.

Пример обнаружения и сопровождения пешеходов. (а) Обнаружение пешеходов на улице, идущих по улице. (b) Обнаружение пешеходов ADAS.(c) Детектор пешеходов основан на детекторе совокупных характеристик канала. d) обнаружение транспортных средств и пешеходов на дорогах в реальном времени. (e) Прогнозирование действий пешеходов основано на анализе поз человека в условиях дорожного движения. (f) Обнаружение пешеходов на основе иерархической модели совместного возникновения. (g) Межмодальные глубокие представления для надежного обнаружения пешеходов. (h) Обнаружение пешеходов OpenCV. (i) Отслеживание объектов с помощью библиотеки dlib C ++. (j) Отслеживание нескольких объектов с помощью трекера Калмана.(k) Мультиклассовое слежение за множеством объектов с использованием обнаружения изменяющейся точки. (l) Отслеживание пешеходов с использованием метода глубокой окклюзии.

Krahnstoever et al. [75] разработал систему управления активными камерами в режиме реального времени для системы наблюдения с несколькими камерами. Следовательно, различные исследователи сместили акцент с обнаружения пешеходов со статической фиксированной камерой на динамическое обнаружение пешеходов с помощью нескольких камер. Слежение за пешеходами осуществляется с помощью стационарных камер с использованием метода на основе формы [76], который определяет и сравнивает форму человеческого тела в последовательных кадрах.Камеры были откалиброваны с использованием общей метрической системы координат, описанной в [77, 78]. Funahasahi et al. [73] разработали систему отслеживания частей головы и лица человека с помощью метода иерархического отслеживания с использованием стационарной камеры и поворотной камеры. Современная система наблюдения фокусируется на отслеживании людей путем обнаружения, как описано в [72, 73, 74, 75]. Andriluka et al. [76, 77, 78] объединили первоначальную оценку позы человека по кадрам в структуре отслеживания путем обнаружения.Sapp et al. [79] связали местоположения суставов тела внутри и поперек фреймов из ансамбля подмоделей. Ву и Неватиа [80] предложили подход к обнаружению и отслеживанию частично окклюзированных людей с использованием сборки частей тела.

Отслеживание людей становится более сложной задачей при использовании движущихся камер, чем при использовании статических камер, как описано в Разделе 2. Многие эффективные методы отслеживания пешеходов, используемые в статической камере, такие как вычитание фона и моделирование [80] и предположение о постоянстве плоскости земли, делают задача посложнее.Вместо использования методов, основанных на моделировании фона для извлечения информации о человеке, широко используются детекторы людей для обнаружения человека на видео. Следовательно, задача состоит в том, чтобы успешно обнаруживать людей с помощью движущихся камер, а затем применять методы слежения к обнаруженным людям. Однако детекторы человека могут эффективно извлекать человека, но все же имеют некоторые ограничения, а именно. Детекторы человека могут давать ложные результаты или пропускать обнаружение человека, когда люди частично или полностью закрыты, обнаружение может быть неудачным и отслеживание может быть ненадежным до тех пор, пока человек снова не появится в кадрах.Замечено, что многие исследователи работают над многими проблемами обнаружения и отслеживания пешеходов, но все же представляют собой полное и надежное решение всех проблем, подобных обсуждаемым. Большинство алгоритмов обнаружения и слежения за пешеходами были протестированы в помещении и на улице. Были также предприняты попытки оценить точность системы на основе скорости обнаружения, времени и вычислительной сложности. Из оценки производительности алгоритмов, представленных авторами, следует, что подходы обнаружения и отслеживания пешеходов на основе глубокого обучения могут быть эффективным выбором для среды реального времени [45, 65].Существующие подходы к обнаружению пешеходов и их отслеживанию в системе наблюдения еще предстоит усовершенствовать.

.

Новый алгоритм повышает скорость и точность обнаружения пешеходов

New algorithm improves speed and accuracy of pedestrian detection Система обнаружения пешеходов была разработана в лаборатории статистических визуальных вычислений Калифорнийского университета в Сан-Диего. Предоставлено: Лаборатория статистических визуальных вычислений, Калифорнийский университет в Сан-Диего.

Что, если бы компьютеры могли распознавать объекты так же, как человеческий мозг? Инженеры-электрики из Калифорнийского университета в Сан-Диего сделали важный шаг к этой цели, разработав систему обнаружения пешеходов, которая работает в режиме, близком к реальному времени (2-4 кадра в секунду) и с более высокой точностью (почти половина ошибки). по сравнению с существующими системами.Технология, включающая модели глубокого обучения, может быть использована в «умных» транспортных средствах, робототехнике и системах поиска изображений и видео.

«Мы стремимся создать системы компьютерного зрения, которые помогут компьютерам лучше понимать окружающий мир», - сказал Нуно Васконселос, профессор электротехники инженерной школы Калифорнийского университета в Сан-Диего Джейкобс, руководивший исследованием.По его словам, большой целью является видение в реальном времени, особенно для систем обнаружения пешеходов в беспилотных автомобилях. Васконселос является филиалом факультета Центра визуальных вычислений и Института контекстной робототехники в Калифорнийском университете в Сан-Диего.

Новый алгоритм обнаружения пешеходов, разработанный Васконселосом и его командой, сочетает традиционную архитектуру классификации компьютерного зрения, известную как каскадное обнаружение, с моделями глубокого обучения.

Системы обнаружения пешеходов обычно разбивают изображение на маленькие окна, которые обрабатываются классификатором, сигнализирующим о присутствии или отсутствии пешехода.Этот подход сложен, потому что пешеходы появляются в разных размерах - в зависимости от расстояния до камеры - и мест на изображении. Обычно миллионы окон должны проверяться видеокадром со скоростью от 5 до 30 кадров в секунду.

При каскадном обнаружении детектор работает в несколько этапов. На первых этапах алгоритм быстро определяет и отбрасывает окна, которые он может легко распознать как не содержащие человека (например, небо). На следующих этапах обрабатываются окна, которые сложнее классифицировать алгоритму, например, те, которые содержат дерево, которое алгоритм может распознать как имеющие человекоподобные особенности (форма, цвет, контуры и т. Д.)). На заключительных этапах алгоритм должен различать пешехода и очень похожие объекты. Однако, поскольку на заключительных этапах обрабатывается только несколько окон, общая сложность невысока.

Традиционное каскадное обнаружение полагается на "слабых учеников", которые являются простыми классификаторами, для выполнения работы на каждом этапе. На первых этапах используется небольшое количество слабых учеников, чтобы отклонить простые окна, в то время как на более поздних стадиях используется большее количество слабых учеников для обработки более сложных окон. Хотя этот метод быстр, он недостаточно эффективен, когда достигает финальных стадий.Это потому, что слабые учащиеся, используемые на всех этапах каскада, идентичны. Таким образом, даже несмотря на то, что на последних этапах есть больше классификаторов, они не обязательно способны выполнять очень сложную классификацию.

Модели глубокого обучения

Для решения этой проблемы Васконселос и его команда разработали новый алгоритм, который включает модели глубокого обучения на заключительных этапах каскадного детектора.Модели глубокого обучения лучше подходят для распознавания сложных образов, которое они могут выполнять после обучения с использованием сотен или тысяч примеров - в данном случае изображений, на которых либо есть человек, либо нет. Однако модели глубокого обучения слишком сложны для реализации в реальном времени. Хотя они хорошо работают на заключительных этапах каскада, они слишком сложны, чтобы их можно было использовать на ранних этапах.

Решение представляет собой новую каскадную архитектуру, которая объединяет классификаторы из разных семейств: простые классификаторы (слабые обучающиеся) на ранних этапах сложные классификаторы (модели глубокого обучения) на более поздних этапах.По словам Васконселоса, сделать это нетривиально, поскольку алгоритм, используемый для изучения каскада, должен находить комбинацию слабых обучающихся, которая обеспечивает оптимальный компромисс между точностью обнаружения и сложностью для каждого каскада. Соответственно, Васконселос и его команда представили новую математическую формулировку этой проблемы, результатом которой стал новый алгоритм для каскадного проектирования.

«Ни один из предыдущих алгоритмов не был способен оптимизировать компромисс между точностью обнаружения и скоростью для каскадов со ступенями такой различной сложности.Фактически, это первые каскады, включающие этапы глубокого обучения. "Результаты, которые мы получаем с помощью этого нового алгоритма, значительно лучше для точного обнаружения пешеходов в реальном времени", - сказал Васконселос.

В настоящее время алгоритм работает только для двоичных задач обнаружения, таких как обнаружение пешеходов, но исследователи стремятся расширить каскадную технологию для одновременного обнаружения множества объектов.

«Один из подходов к этой проблеме - научить, например, пять разных детекторов распознавать пять разных объектов.Но мы хотим обучить этому только один детектор. Следующая задача - разработка этого алгоритма ", - сказал Васконселос.

Работа, озаглавленная «Каскады с учетом сложности обучения для глубокого обнаружения пешеходов», была представлена ​​15 декабря 2015 г. на Международной конференции по компьютерному зрению в Сантьяго, Чили.


Команда Google принимает вызов 2014 г.
Предоставлено Калифорнийский университет в Сан-Диего

Цитата : Новый алгоритм повышает скорость и точность обнаружения пешеходов (2016, 8 февраля) получено 16 августа 2020 с https: // физ.орг / Новости / 2016-02-алгоритм-точность-pedestrian.html

Этот документ защищен авторским правом. За исключением честных сделок с целью частного изучения или исследования, нет часть может быть воспроизведена без письменного разрешения. Контент предоставляется только в информационных целях.

,

Отправить ответ

avatar
  Подписаться  
Уведомление о