В российской компании «Когнитивные технологии» провели беспрецедентный эксперимент по сравнению возможностей искусственного интеллекта (ИИ) и естественного интеллекта (ЕИ)
Кто лучше проведет автомобиль по городским улицам - человек или искусственный разум? Таким вопросом задались сотрудники компании «Когнитивные технологии» (Cognitive Technologies) и провели уникальный эксперимент.
- Идея сравнить ИИ с человеком пришла по ходу испытаний нашего беспилотного легкового автомобиля, - рассказывает руководитель департамента беспилотных транспортных средств Юрий Минкин.
Очевидно, что на данном этапе своего развития, ИИ еще пока не способен как человек анализировать текущие дорожные ситуации во всем комплексе, поэтому ученые проводили сравнение по тем возможностям, которые уже достиг ИИ, а именно в распознавании объектов дорожной сцены.
В испытаниях приняли участие 17 волонтеров - студентов московских вузов. Тесты по оценке качества и скорости определения дорожных знаков, автомобилей и пешеходов проводились на дорогах общего пользования Москвы и Московской области. Ряд тестов проходил в сложных погодных условиях, а именно в темное время суток и в дождь.
- Реально тестирование на дорогах происходило так -, рассказывает Минкин. - В машину, помимо водителя и инженера-оператора садился испытуемый, который в соответствие с заданием, озвучивал те или иные объекты дорожной сцены, замеченные им во время движения и человек, который фиксировал его ответы. Параллельно велась запись результатов распознавания ИИ той же линейки объектов». По итогам поездки данные обрабатывались и заносились в общую таблицу испытаний.
Всего тестирование проводилось по 27 различным маршрутам в населенных пунктах при скоростях от 50 до 60 км/ч. На каждом маршруте человеку и машине давалось для распознавания не более 30 – 35 объектов.
В итоге жюри подвело итоги по пяти номинациям:
Качество определения объектов дорожной сцены в хороших погодных и дорожных условиях оказалось примерно равным у ЕИ и ИИ, как по скорости, так и по точности. По последнему показателю для дорожных знаков, автомобилей и пешеходов они превысили 99%.
В условиях, когда отдельные объекты были видны не полностью, ИИ «показал» свое преимущество в скорости детекции. Например, на дорожных знаках ИИ на доли секунды раньше смог видеть частично заслоненные объекты.
Пример детекции автомобилей в дождь. ИИ отлично разобрался с детекцией автомобилей в сильный дождь.
В условиях дождя скорость и качество детекции дорожных знаков оказалось у искусственного интеллекта. Преимущество ИИ составило 98.3% против 97% у ЕИ.
Качество распознаванием пешеходов в темное время суток и при плохих погодных условиях оказалось лучше у студентов. Точность распознавания ЕИ составила примерно 99.2% против 98% как ночью, так и в дождь. «Человек – довольно сложный объект для распознавания, пешеходы не имеют постоянной формы. Они могут идти обнявшись, взявшись за руки, нести на себе груз и т.д.», - комментирует Минкин.
Пример распознавания частично заслоненных пешеходов.
В переходных ситуациях перехода из света в тень и ослепления ИИ быстрее справлялся с поставленной задачей распознавания.
В итоге специалисты пришли к выводу, что при некотором отставании искусственного интеллекта от человеческого, у первого есть гораздо больший потенциал для развития. А потому не исключено, что в следующих подобных соревнованиях ИИ все-таки одержит окончательную победу над ЕИ.
