Презентация "Введение в техническое зрение" – проект, доклад

Введение в техническое зрение

Степанов Дмитрий Николаевич Начальник лаборатории систем технического зрения dnstepanov@gmail.com

Image by kirkh.deviantart.com

Презентации будут доступны (флешка, дропбокс, BTSync) Вместо упражнений по пятницам – домашние задания 1-2 домашних задания => экзамен/зачёт за СЕМЕСТР автоматом Возможные задания: 1) практическая работа + её демонстрация на лекции 2) реферат + доклад Список вопросов/тем будет ближе к середине семестра Меня можно найти почти каждый день, 10:00-18:00, к. 5014/5017 Электронная почта: dnstepanov@gmail.com Кафедра требует отмечать посещаемость, 4 пропуска – объяснения с Юревичем

Организационные вопросы

Есть возможность написания НИР и бакалаврских работ Тематика: техническое зрение и/или нейронные сети, машинное обучение Требования: чтение иностранных статей, программирование (Matlab, C/C++, Python) Бонусы: реальное внедрение, возможность устройства на работу

НИР и бакалаврские работы

Что такое компьютерное зрение? Почему это сложно Примеры использования Смежные области Мобильные роботы Вопросы

Сегодняшнее занятие - введение

Основная идея Позволить компьютерам понимать изображения и видео Смежные области Компьютерная графика: модели – в изображения Компьютерная фотография: изображения – в изображения Компьютерное зрение: изображения – в модели

Что такое компьютерное зрение?

Что изображено на сцене? Где автомобили? Как далеко до здания?

Зрение Потрясающая способность живых существ 50% головного мозга макаки Самая большая часть мозга человека среди других функций До 93% информации – из зрения

Почему это сложно

Это король или ферзь?

Почему это важно Безопасность Здоровье Охрана Комфорт и др. Развлечение

Самая короткая история технического зрения

Зрение 1966: Марвин Минский сформулировал студенту летнюю задачу в области технического зрения (connect a television camera to a computer and get the machine to describe what it sees) 1970’s: Некоторый прогресс в понимании отдельных изображений 1980’s: нейросети; сдвиг в сторону геометрии и математической строгости 1990’s: распознавание лиц; статистический анализ 2000’s: широкое признание; большие размеченные базы данных; начало обработки видео 2030’s: восстание машин?

Guzman ‘68 Ohta Kanade ‘78 Turk and Pentland ‘91

Optical character recognition (OCR)

Распознавание цифр, AT&T labs http://www.research.att.com/~yann/

Технология для преобразования сканированных документов в текст

Распознавание номерных знаков http://en.wikipedia.org/wiki/Automatic_number_plate_recognition

Обнаружение лиц

Камеры, смартфоны сейчас легко обнаруживают лица

Обнаружение улыбок

Sony Cyber-shot® T70 Digital Still Camera

Распознавание объектов (в супермаркетах)

Штрих-коды LaneHawk by EvolutionRobotics “A smart camera is flush-mounted in the checkout lane, continuously watching for items. When an item is detected and recognized, the cashier verifies the quantity of items that were found under the basket, and continues to close the transaction. The item can remain under the basket, and with LaneHawk,you are assured to get paid for it… “

Биометрия

Как «афганская девушка» Шарбат Гула была идентифицирована спустя 18 лет по радужной оболочке (iris recognition)

Вход без пароля

Сканеры отпечатков – смартфоны, мыши, системы безопасности, автомобили

Распознавание лиц (по небольшой базе – вполне надёжно)

Распознавание объектов

Point & Find, Nokia Google Goggles

Спецэффекты

The Matrix movies, ESC Entertainment, XYZRGB, NRC

Реконструкция 3D-модели движущегося лица

Total Moving Face Reconstruction, ECCV 2014 Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman, Steven M. Seitz

Захват движения (MoCap)

Pirates of the Carribean, Industrial Light and Magic

Анализ спортивных игр

Sportvision first down line Nice explanation on www.howstuffworks.com http://www.sportvision.com/video.html

«Умные» автомобили

Mobileye BMW, GM, Volvo и др. (70% производителей ещё в 2010 году)

Slide content courtesy of Amnon Shashua

Google

Oct 9, 2010. "Google Cars Drive Themselves, in Traffic". The New York Times. John Markoff June 24, 2011. "Nevada state law paves the way for driverless cars". Financial Post. Christine Dobby Aug 9, 2011, "Human error blamed after Google's driverless car sparks five-vehicle crash". The Star (Toronto)

Игры

Object Recognition: http://www.youtube.com/watch?feature=iv&v=fQ59dXOo63o Mario: http://www.youtube.com/watch?v=8CTJL5lUjHg 3D: http://www.youtube.com/watch?v=7QrnwoO1-8A Robot: http://www.youtube.com/watch?v=w8BmgtMKFbY

Медицина

Image guided surgery Grimson et al., MIT

3D imaging MRI, CT

Промышленные роботы

Vision-guided robots position nut runners on wheels

Мобильные роботы http://www.robocup.org/

NASA’s Mars Spirit Rover http://en.wikipedia.org/wiki/Spirit_rover

Saxena et al. 2008 STAIR at Stanford

Космос

Vision systems (JPL) used for several tasks Panorama stitching 3D terrain modeling Obstacle detection, position tracking For more, read “Computer Vision on Mars” by Matthies et al.

NASA'S Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007.

Навигация По визуальным маркерам PTAM, LSD-SLAM, ORB-SLAM Обеспечение безопасного вождения, обнаружение препятствий Плоскость Стерео Kinect Структурированная подсветка

СТЗ для роботов

Соединение информации от датчиков различной физической природы СТЗ + Одометрия (пройденный путь) GPS (сканирующий) лазерный дальномер

Комплексирование

Качественная навигация Как мы определяем, куда идти Как ставим и описываем себе и другим цели навигации Уровень абстракции – «какой-то розовый 9-этажный дом» Без метрики и чисел

Новый подход (самое начало пути)

Камера и человеческий глаз Восприятие света и цвета Пиксели Модель камеры, преобразование геометрии Фильтрация изображений

Дальше

Россия, 194064, г. Санкт-Петербург, Тихорецкий пр., 21 тел.: (812) 552-0110 (812) 552-1325 факс: (812) 556-3692 http://www.rtc.ru e-mail: rtc@rtc.ru

Г О С У Д А Р С Т В Е Н Н Ы Й Н А У Ч Н Ы Й Ц Е Н Т Р Р О С С И И ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ

Г О С У Д А Р С Т В Е Н Н Ы Й Н А У Ч Н Ы Й Ц Е Н Т Р Р О С С И И

ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ

Спасибо за внимание!