Рус Eng За 365 дней одобрено статей: 1903,   статей на доработке: 306 отклонено статей: 801 
Библиотека
Статьи и журналы | Тарифы | Оплата | Ваш профиль

Вернуться к содержанию

Идея многоракурсной системы технического зрения для формирования 3D-моделей поверхности объекта в задачах разработки мобильных роботов
Багутдинов Равиль Анатольевич

Аспирант Инженерной школы информационных технологий и робототехники, Ассистент Отделения автоматизации и робототехники, Программист Научно-образовательной лаборатории 3D-моделирования и промышленного дизайна, Национальный исследовательский Томский политехнический университет

634034, Россия, Томская область, г. Томск, ул. Советская, 84/3, оф. 216

Bagutdinov Ravil

PhD student of the Engineering School of Information Technology and Robotics, Assistant of the Department of Automation and Robotics, Programmer of the Scientific and Educational Laboratory of 3D Modeling and Industrial Design, National Research Tomsk Polytechnic University

634034, Russia, Tomskaya oblast', g. Tomsk, ul. Sovetskaya, 84/3, of. 216

ravil_bagutdinov@yahoo.com
Другие публикации этого автора
 

 

Аннотация.

На сегодняшний день проблема разработки систем, алгоритмов и методов пространственной ориентации и навигации роботов остается одной из наиболее актуальных задач. Предметом исследования являются многоракурсные и биполярные системы технического зрения, а также алгоритм формирования 3D-моделей поверхности объектов. Автор подробно рассматривает такие аспекты в разработке мобильных роботов, как способы получения информации о трехмерной сцене, оценка глубины сцены, комплексирование, метод построение эпиполярных линий, затрагиваются некоторые элементы виртуальной реальности. Применяемые подходы в работе основываются на методах цифровой обработки изображений, распознавания образов, дискретных преобразований и системного анализа, приведен метод построения эпиполярных линий. В работе также рассматривается формирование 3D-моделей поверхности объекта в системах технического зрения (СТЗ), применительно к мобильным роботам, представлен алгоритм определения дальности до точек на поверхности объекта в СТЗ на мобильном роботе. Результаты исследования могут быть применимы в системах модернизации управления, мониторинга и обработки информации, обеспечения более точного технического зрения при разработке мобильных и автономных роботов, что в свою очередь может повлиять на импортозамещение и общую экономическую составляющую использования и разработки робототехнических комплексов и систем.

Ключевые слова: многоракурсная система, биполярная система, формирование 3D, разработка мобильных роботов, алгоритмы, методы, техническое зрение, цифровая обработка, мультисенсорная система, робототехнические комплексы

DOI:

10.7256/2454-0714.2017.4.21909

Дата направления в редакцию:

23-02-2017


Дата рецензирования:

19-02-2017


Дата публикации:

11-01-2018


Abstract.

To date, the problem of developing systems, algorithms and methods for spatial orientation and navigation of robots remains one of the most urgent problems. The subject of the study are multi-angle and bipolar systems of technical vision, as well as an algorithm for the formation of 3D models of the surface of objects. The author examines in detail such aspects in the development of mobile robots, as ways of obtaining information about the three-dimensional scene, estimation of the depth of the scene, integration, the method of constructing epipolar lines, some elements of virtual reality are touched upon. Applied approaches in the work are based on the methods of digital image processing, image recognition, discrete transformations and system analysis, a method for constructing epipolar lines is given. The work also considers the formation of 3D models of the surface of the object in the systems of technical vision, applied to mobile robots, an algorithm for determining the distance to the points on the surface of the object in the systems of technical vision on the mobile robot. The results of the research can be applied in systems for modernizing the management, monitoring and processing of information, providing more accurate technical vision in the development of mobile and autonomous robots, which in turn can affect the import substitution and the overall economic component of the use and development of robotic systems and systems.

Keywords:

technical vision, methods, algorithms, the development of mobile robots, forming a 3D, bipolar system, Multi-angles system, digital processing, Multi-Sensor system, robotic systems

Введение

Система технического зрения (СТЗ) является основной частью информационно-измерительных систем, назначение которых формировать, выдавать информацию об объектах и процессах в окружающей среде для полноценного функционирования робота. Последним возможным этапом преобразования исходного сигнала является его измерение, т. е. количественная оценка его величины путем сравнения с некоторым эталоном и выражения этой величины в единицах, определяемых этим эталоном. Это общая для всех информационно-измерительных систем часть унифицирована и стандартизирована. Она состоит из двух приборов: электронного ядра системы (крейта) и интерфейсов, связующих его с датчиками, которых в общем случае может быть несколько [1]. Следующее звено — система связи, которая присутствует в информационно-измерительных системах, в которых требуется передавать информацию на такие большие расстояния и в таких условиях, когда для этого требуется специальная система такой передачи с преобразованием исходной информации в вид, необходимый для ее осуществления.

С развитием информационных технологий и робототехники актуальной задачей является переход от бинокулярных СТЗ к многоракурсным. В робототехнике это реализуется путем перемещения робота с СТЗ перпендикулярно направлению видения или такого же перемещения видеокамеры манипулятором. Для отдельных объектов — это осмотр их со всех сторон. В результате компьютерной обработки получаемой видеоинформации синтезируется объемная модель. Разумеется, это неизмеримо информативнее традиционных стереоизображений и позволяет осуществлять соответственно более качественное планирование и управление движением.

Основная часть

Поскольку внешняя среда трехмерная, сенсорное обеспечение систем управления в общем случае должно иметь возможность давать именно такую 3D информацию об этой среде и об отдельных объектах [2]. Существуют три основных способа получения информации о трехмерной сцене:

1. На основе двумерного образа по взаимному видимому расположению отдельных объектов дается оценка третьей координаты. Такие системы получили название 2,5-мерные (2,5D) или псевдотрехмерные.

2. Монокулярная СТЗ дополняется каким-либо дальномером, который определяет третью координату — дальность.

3. Стерео СТЗ, содержащая две видеокамеры, разнесенные на определенное расстояние (базу) в плоскости перпендикулярной третьей координате — дальности.

Первый способ оценки глубины сцены наиболее прост и основан на использовании следующих приемов:

— Оценка расстояния до предмета на основе знания его размеров.

— Использование при наложении изображения предметов друг на друга очевидного факта, что предмет, закрывающий другой предмет, находится ближе.

— Использование эффекта перспективы, заключающегося в визуальном сближении двух уходящих вдаль параллельных линий.

— Анализ световых эффектов теней, бликов, и т. п.

Второй указанный способ — это, по существу, комплексирование, когда третья координата определяется не СТЗ, а другой системой. Перейдем к рассмотрению другого способа - стереосистемы. Две видеокамеры, разнесенные на определенное расстояние — базу, позволяют сформировать общее трехмерное изображение видимой сцены. Количественная оценка дальности до отдельных объектов может быть определена как высота треугольника, образованного базой и направлениями от каждой камеры на этот объект. Для этого надо знать только угол между этими направлениями. Практически получил распространение также алгоритм оценки дальности непосредственно по величине расхождения (сдвига) изображений конкретного объекта на экранах двух видеокамер, которое называется диспарантностью [10]. Процесс формирования трехмерной сцены по стереопаре изображений включает два этапа. На первом этапе устанавливается соответствие между двумя изображениями одной и той же сцены. После чего вычисляются величины диспарантности, по которым определяется третья координата отдельных точек каждого видимого объекта, а, следовательно, и его форма. Установление указанного соответствия можно представить как процесс деформации совмещаемых изображений, как бы нанесенных на эластичные листы, до их совпадения [3]. Эта операция формализована с помощью ряда алгоритмов — пирамидальный, псевдоградиентный и др. Идея пирамидального алгоритма состоит в том, что пара сопоставляемых изображений посредством указанного деформирования последовательно совмещается сначала центрами яркости изображений, затем центрами яркости отдельных частей, начиная с четырех прямоугольников, на которые разбиваются изображения, и далее вплоть до совмещения отдельных пикселей. Рассмотрим процедуру поиска соответствующих точек на двух изображениях, основанную на построении так называемых эпиполярных линий. Эпиполярная линия — это линия пересечения плоскости изображения плоскостью проведенной через луч зрения одной камеры и оптический центр другой камеры. На рисунке 1 приведена соответствующая схема.

metod_epipolyarn

Рисунок 1. Метод построения эпиполярных линий

(1,2 - видеокамеры, Q1,Q2 - их оптические оси)

Допустим, что видеокамеры откалиброваны, т. е. имеется таблица, в которой каждой пиксельной координате точки (x, y) поставлена в соответствие пара угловых координат — азимут ϕ и наклон θ, задающие направление (А) на данную точку из оптического центра камеры. Считаем также, что известно взаимное положение двух камер, заданное базой R, связывающей оптические центры двух камер, и матрицей углов поворота одной камеры относительно другой. Возьмем на изображении, полученном с первой камеры, некоторую точку с координатами (x1, y1). Этой точке на изображении с камеры 1 соответствуют два угла ( ϕ, θ), задающих луч А к данной точке. Зная взаимное положение двух камер чисто геометрически можно построить этот луч на изображении с камеры 2 — эпиполярную линию. После чего для каждой точки этой линии на изображении с камеры 2 можно проделать аналогичную операцию по отношению к камере 1 и построить свою эпиполярную линию, соответствующую эпиполярной линии на второй камере. С помощью эпиполярных линий осуществляется нахождение точек на изображении с одной камеры, соответствующих точкам.

Принципиально новый подход в развитии стереосистем дает идея многоракурсной системы, заключающаяся в увеличении количества “точек зрения” (ракурсов) [11]. Помимо более высокого качества получения трехмерного изображения внешней среды многоракурсная СТЗ позволяет получать виртуальные объемные изображения ее отдельных объектов. Существует два основных способа формирования объемного изображения, основанных на этом принципе. Первый способ — это использование нескольких видеокамер, второй — использование мобильного робота или манипулятора с одной видеокамерой. Рассмотрим принцип действия многоракурсных СТЗ на примере применительно ко второму варианту. Робот, обходя объект, делает его снимки с разных ракурсов. Затем на основе полученных кадров синтезируется 3D модель этого объекта. На рисунке 2 представлена схема такой системы, соответствующая трем дискретным положениям робота.

formir_3d

Рисунок 2. Формирование 3D-моделей поверхности объекта в СТЗ на мобильном роботе

Задача СТЗ сводиться к определению расстояния от камеры до некоторых характерных точек в абсолютной системе координат, связанной с неподвижной точкой, например, с первоначальным положением камеры. Эта задача решается в следующем порядке:

— идентификация точек на поверхности объекта, т. е. установление соответствия между точками, зафиксированными с разных ракурсов;

— вычисление дальности до этих точек.

На основе полученных значений дальности для выбранных точек осуществляется стандартными средствами (например, OpenGL, DirectX) построение 3D изображения объекта [4]. Полученная трехмерная компьютерная модель объекта передается оператору на дисплей компьютера в наиболее удобной форме, в том числе с возможностями вращения объекта, построения проекций и др. На рисунке 3 приведен алгоритм вычисления дальности до характерных точек поверхности объекта и последующего построения 3D модели этого объекта. Известно, что для повышения точности определения дальности необходимо увеличивать базу, а для повышения точности решения задачи идентификации точки на нескольких изображениях желательно расстояние между очередными точками съема визуальной информации уменьшать. В рассматриваемой монокулярной СТЗ необходимо, следовательно, выбирать оптимальное расстояние между соседними позициями робота (ракурсами), на которых СТЗ осуществляет съемку кадров в соответствии с требуемой погрешностью. Значение величины базы R определяется по известной зависимости погрешности определения дальности от величины базы. Перед вычислением дальности решается задача идентификации точки на двух изображениях. Для обеспечения требуемой точности ее решения вычисленное значение базы R разбивается на n равных частей, так чтобы при каждом смещении камеры на расстояние R/n задача идентификации решалась с требуемой точностью.

algoritm_dalnosti

Рисунок 3. Алгоритм определения дальности до точек на поверхности объекта в СТЗ на мобильном роботе

После выполнения n последовательных съемов изображения и решения на каждом шаге задачи идентификации характерных точек исходного изображения на последнем n-ом шаге определяется расстояние до этих характерных точек описанными выше методами.

Заключение

Наряду с рассмотренными выше способами для получения трехмерной общей картины внешней среды, идея многоракурсной системы технического зрения может использоваться для получения объемных 3D-изображений отдельных объектов или комплекса проекций. В работе автором помимо способов формирования 3D-моделей, рассматривается метод построения эпиполярных линий и алгоритм определения дальности до точек на поверхности объекта в СТЗ на мобильном роботе. Результаты исследования могут быть применимы в системах модернизации управления, мониторинга и обработки информации, обеспечения более точного технического зрения при разработке мобильных и автономных роботов, что в свою очередь может повлиять на импортозамещение и общую экономическую составляющую использования и разработки робототехнических комплексов и систем.

Библиография
1.
Хорн Б. К. Зрение роботов: Пер. с англ. – М.: Мир, 1989. – 487 с., ил.
2.
Багутдинов Р.А. Задача моделирования оптического потока на основе динамики движения частиц // Кибернетика и программирование. — 2016.-№ 5.-С.10-15. DOI: 10.7256/2306-4196.2016.5.18981. URL: http://e-notabene.ru/kp/article_18981.html
3.
Клевалин В.А., Поливанов А.Ю. Цифровые методы распознавания в системах технического зрения промышленных роботов// Мехатроника, автоматизация, управление, 2008, № 5.-С. 56-56.
4.
Багутдинов Р. А. Результаты исследований использования многомерного подхода при моделировании процессов в полевых транзисторах [Электронный ресурс] // Современные научные исследования и инновации.-2015-№. 10.-C. 1-3.-Режим доступа: http://web.snauka.ru/issues/2015/10/57975.
5.
Мошкин В. И., Петров А. А., Титов В. С., Якушенков Ю. Г. Техническое зрение роботов – М.: Машиностроение, 1990. – 272 с.:ил.
6.
Гришин В.А. Системы технического зрения в решении задач управления беспилотными летательными аппаратами // Датчики и системы, №2, 2009.-C. 46-52.
7.
Дворкович А. В., Мохин Г. Н., Нечепаев В. В. Об эффективности цифровой обработки статических изображений //Цифровая обработка сигналов и ее применение Докл. 1 Междун. конф.-М, 1998-Т 3-С 202-204.
8.
Федоткин И. М. Математиеческое моделирование технологических процессов. Либроком, 2011.-416 с.
9.
Коробейников А.Г., Федосовский М.Е., Алексанин С.А. Разработка автоматизированной процедуры для решения задачи восстановления смазанных цифровых изображений // Кибернетика и программирование.-2016.-1.-C. 270-291.
10.
Юревич Е. И. Сенсорные системы в робототехнике : учеб. пособие / Е. И. Юревич. — СПб. : Изд-во Политехн. ун-та, 2013. — 100 с
11.
Островский О.А. Криминалистическая портретная экспертиза по видеоизображениям, как форма определения личности // В сборнике: The Eleventh International Conference on Eurasian scientific development Proceedings of the Conference. Editor Jana Ilyna, Russia. 2016. С. 176-179
12.
Воротников С.А. Информационные устройства робототехнических систем. М.: изд. МГТУ им Н.Э. Баумана, 2005.
13.
Попов А.В., Юревич Е.И. Роботы с силовым очувствлением. СПб.: Астерион, 2008. . Каляев И.А., Мельник Э.В. Децентрализованные системы компьютерного управления. Ростов-на-Дону: изд. ЮНЦ РАН, 2011.
14.
Поваркова A.B. Компьютерный анализ изображений: общие сведения, системы, примеры использования. // Вестник инфектологии. Электронный журнал. http://www.infectology.ru/microscopY/today/analvsis/index.aspx
15.
Семин, М.С. Прикладные задачи, решаемые с помощью систем технического зрения Текст. / М.С. Семин // Специальная техника. 2002.-№6. С 12-17.
16.
Попов Е.П., Писменный Г.В. Основы робототехники: Введение в специальность. Учеб. пособие для вузов по спец. «Робототехн. Системы и комплексы». М.: Высш. шк., 1990.-224с.
17.
Бурков А.П., Комин В.Г., Красильникъянц Е.В. Промышленная система технического зрения на базе интеллектуальной цифровой камеры IntCAM 285-1// Вестник ИГЭУ. Вып. 4. 2007.
References (transliterated)
1.
Khorn B. K. Zrenie robotov: Per. s angl. – M.: Mir, 1989. – 487 s., il.
2.
Bagutdinov R.A. Zadacha modelirovaniya opticheskogo potoka na osnove dinamiki dvizheniya chastits // Kibernetika i programmirovanie. — 2016.-№ 5.-S.10-15. DOI: 10.7256/2306-4196.2016.5.18981. URL: http://e-notabene.ru/kp/article_18981.html
3.
Klevalin V.A., Polivanov A.Yu. Tsifrovye metody raspoznavaniya v sistemakh tekhnicheskogo zreniya promyshlennykh robotov// Mekhatronika, avtomatizatsiya, upravlenie, 2008, № 5.-S. 56-56.
4.
Bagutdinov R. A. Rezul'taty issledovanii ispol'zovaniya mnogomernogo podkhoda pri modelirovanii protsessov v polevykh tranzistorakh [Elektronnyi resurs] // Sovremennye nauchnye issledovaniya i innovatsii.-2015-№. 10.-C. 1-3.-Rezhim dostupa: http://web.snauka.ru/issues/2015/10/57975.
5.
Moshkin V. I., Petrov A. A., Titov V. S., Yakushenkov Yu. G. Tekhnicheskoe zrenie robotov – M.: Mashinostroenie, 1990. – 272 s.:il.
6.
Grishin V.A. Sistemy tekhnicheskogo zreniya v reshenii zadach upravleniya bespilotnymi letatel'nymi apparatami // Datchiki i sistemy, №2, 2009.-C. 46-52.
7.
Dvorkovich A. V., Mokhin G. N., Nechepaev V. V. Ob effektivnosti tsifrovoi obrabotki staticheskikh izobrazhenii //Tsifrovaya obrabotka signalov i ee primenenie Dokl. 1 Mezhdun. konf.-M, 1998-T 3-S 202-204.
8.
Fedotkin I. M. Matematiecheskoe modelirovanie tekhnologicheskikh protsessov. Librokom, 2011.-416 s.
9.
Korobeinikov A.G., Fedosovskii M.E., Aleksanin S.A. Razrabotka avtomatizirovannoi protsedury dlya resheniya zadachi vosstanovleniya smazannykh tsifrovykh izobrazhenii // Kibernetika i programmirovanie.-2016.-1.-C. 270-291.
10.
Yurevich E. I. Sensornye sistemy v robototekhnike : ucheb. posobie / E. I. Yurevich. — SPb. : Izd-vo Politekhn. un-ta, 2013. — 100 s
11.
Ostrovskii O.A. Kriminalisticheskaya portretnaya ekspertiza po videoizobrazheniyam, kak forma opredeleniya lichnosti // V sbornike: The Eleventh International Conference on Eurasian scientific development Proceedings of the Conference. Editor Jana Ilyna, Russia. 2016. S. 176-179
12.
Vorotnikov S.A. Informatsionnye ustroistva robototekhnicheskikh sistem. M.: izd. MGTU im N.E. Baumana, 2005.
13.
Popov A.V., Yurevich E.I. Roboty s silovym ochuvstvleniem. SPb.: Asterion, 2008. . Kalyaev I.A., Mel'nik E.V. Detsentralizovannye sistemy komp'yuternogo upravleniya. Rostov-na-Donu: izd. YuNTs RAN, 2011.
14.
Povarkova A.B. Komp'yuternyi analiz izobrazhenii: obshchie svedeniya, sistemy, primery ispol'zovaniya. // Vestnik infektologii. Elektronnyi zhurnal. http://www.infectology.ru/microscopY/today/analvsis/index.aspx
15.
Semin, M.S. Prikladnye zadachi, reshaemye s pomoshch'yu sistem tekhnicheskogo zreniya Tekst. / M.S. Semin // Spetsial'naya tekhnika. 2002.-№6. S 12-17.
16.
Popov E.P., Pismennyi G.V. Osnovy robototekhniki: Vvedenie v spetsial'nost'. Ucheb. posobie dlya vuzov po spets. «Robototekhn. Sistemy i kompleksy». M.: Vyssh. shk., 1990.-224s.
17.
Burkov A.P., Komin V.G., Krasil'nik''yants E.V. Promyshlennaya sistema tekhnicheskogo zreniya na baze intellektual'noi tsifrovoi kamery IntCAM 285-1// Vestnik IGEU. Vyp. 4. 2007.