Выделение лица по цвету кожи
Источник: Інформатика та комп’ютерні технології / Збірка праць VII міжнародної науково-технічної конференції студентів, аспірантів та молодих науковців – 22-23 листопада 2011 р., Донецьк, ДонНТУ . – 2011. У 2-х томах, Т. 1, с. 173-177
УДК 004.931
ВЫДЕЛЕНИЕ
ЛИЦА НА СНИМКЕ ИЗ ВИДЕОПОТОКА С ЦЕЛЬЮ ЕГО РАСПОЗНАВАНИЯ
Умяров Н.Х.,
Федяев О.И.
Донецкий
национальный технический университет, Украина
В данной работе
практически реализован один из важных этапов процесса автоматического
распознавания лиц – локализация лица на снимках из видеопотока. Выполнен анализ
современных методов поиска лица на изображении. Разработана программа выделения
лиц на основе алгоритма Виола-Джонса.
1
Постановка задачи
В настоящее время
задача распознавания человеческих лиц становится всё более актуальной. Процессу
непосредственного распознавания лиц предшествует важный этап автоматической
локализации лица на снимке, методы реализации которого сейчас активно
развиваются. Поэтому целью данной работы является разработка такой подсистемы,
которая вводит снимки с вэб-камеры, выделяет и локализует на них лица,
сохраняет изображения лиц в базе данных для последующего распознавания [1].
Вводимый снимок
S(x,y)
– представляет собой совокупность изображений отдельных объектов (лиц) и фона
S(x,y)
= L1(x,y)
+ L2(x,y)
+…+ Ln(x,y)
+ F(x,y),
где
n
– количество выделяемых на снимке лиц;
F(x,y)
– изображение фона; (x,y)
∈
G
– область определения снимка.
Снимок
S(x,y)
с видеокамеры определён только на дискретном множестве точек
D
с координатами (xi,yi)
∈
G.
При этом,
где
Dk
– дискретная область
k-го лица; D
– дискретная прямоугольная решётка, в узлах которой определён снимок
S(x,y).
Узлы решётки определяются координатами (xi,yj)
или их номерами (i,j),
в которых задаётся цвет снимка в данной точке, что в совокупности определяет
пиксель снимка.
Таким образом,
исходный снимок
S(x,y)
можно рассматривать как прямоугольную целочисленную решётку
P, узлы
которой являются пикселями:
,
где
i,j
– целочисленные координаты (номера) пикселя;
p(i,
j)∈{0,
1} – цветовой компонент пикселя.
Задача работы
заключалась в нахождении множества точек (i,j)∈Dk,
для которых
S(xi,yj)
=
Lk(xi,yi).
2
Детектор лица по цвету кожи
Детектор цвета
кожи, используя представление объектов в цвете, позволяет найти изображение
человеческого лица на фотографии или в видеопотоке. В случае использования
цветовой модели
HSB
для
качественного детектирования необходимо правильно подобрать параметры цвета
кожи. Алгоритм детектирования лица по цвету кожи показан на рис. 1.
Рисунок 1 —
Алгоритм выделения лица на чёрно-белом снимке
Успешную работу
алгоритма осложняет влияние освещённости на цвет кожи выделяемого лица. На рис.
2 показаны два изображения: на верхнем изображении лицо выделилось успешно, а на
нижнем — неудачно. Следовательно, недостаток данного алгоритма — сильная
зависимость от освещения.
Рисунок 2 —
Результаты выделения лица при разной освещённости изображения
3 Алгоритм
Виола-Джонса
Как видно, алгоритм
выделения лица по цвету кожи не годится для формирования качественной обучающей
выборки. Поэтому были рассмотрены другие методы, которые опирались на
антропологические особенности лица — расположение глаз, носа, рта, ушей. Из
этого класса наилучшие рекомендации имел алгоритм Виола-Джонса, описанный в 2001
году [2].
В его основе лежит
алгоритм
adaptive
boosting’a
(адаптивного усиления) или сокращённо
AdaBoost.
Смысл алгоритма заключается в том, что если есть набор эталонных объектов, т.е.
есть изображение и класс к которому оно принадлежит (например, -1 – нет лица на
изображении, +1 – есть лицо). Кроме того, имеется множество простых
классификаторов, из которых можно построить один более совершенный и мощный
классификатор. При этом в многошаговом процессе составления и обучения
финального классификатора акцент делается на эталоны, которые распознаются
«хуже». В этом и заключается адаптивность алгоритма, т.к. в процессе обучения он
подстраивается под наиболее «сложные» объекты. Примеры его применения показали,
что
AdaBoost
очень эффективный и быстрый алгоритм. Он хорошо себя зарекомендовал при решении
таких задач, в которых выделяемые объекты (например, лица) сильно зашумлены. На
рис. 3 показана идея локализации лица на изображении по данному алгоритму:
Рисунок 3 – Идея
алгоритма Виола-Джонса из библиотеки OpenCV
В основе алгоритма
лежат три ключевые концепции:
а) Использование
«Интегральных изображений», позволяющие вычислять площадь окна сканирования в
несколько раз быстрее, чем в алгоритме детектирования по цвету кожи (см.
подраздел 2). Интегральное изображение в точке (x,y)
включает в себя сумму пикселей, которые расположены левее и выше изображения:
,
(1)
где
ii(x,
y) –
значение интегрального изображения в точке (x,y).
Для вычисления
интегрального изображения используются следующие рекуррентные формулы:
(2)
где
s(x,
y) –
накапливаемая сумма строки,
s(x,
-1) = 0,
ii(-1,
y)= 0.
б) Адаптивный
алгоритм обучения выбирает небольшое число признаков низкого уровня из более чем
180 тыс. признаков. Существует много мотиваций для использования признаков, а не
отдельных пикселей. Самая важная причина: признак может кодировать разные
значения, которые трудно определять и изучать, используя конечное множество
обучаемых данных. Признаки вычисляются намного быстрее, чем пиксельные величины,
что подробно будет рассмотрено далее. В алгоритме Виола-Джонса используется три
вида признаков: два прямоугольника, три прямоугольника и четыре, хотя в
действительности число видов признаков может быть и больше. Область глаз более
тёмная по сравнению со средней областью лица и переносицы. Примитивы этой
конфигурации и размеров наиболее лучшим образом «характеризуют» данное
изображение. На основе таких классификаторов с отобранными наиболее эффективными
примитивами строится каскад классификаторов. Каждый последующий элемент каскада
имеет более жёсткие условия успешного прохождения, чем предыдущий (используется
больше примитивов). Тем самым до конца доходят только самые «правильные».
Обучение базируется на идее бустинга. Для успешного обучения требуется несколько
тысяч «положительных» и «отрицательных» изображений (в зависимости от того, есть
ли на нём лицо, или нет). На рис. 4 показан алгоритм бустинга [3]:
Рисунок 4 —
Алгоритм бустинга
Бустинг
используется для выбора небольшого конечного множества признаков высокого уровня
и для тренировки классификатора. Для обучения нейросетевого классификатора
применяется простой (слабый, англ.
weak)
алгоритм обучения.
в) Использование
каскада Хаара [4], который выбирает небольшое число признаков и объединяет их в
признаки более высокого уровня. В результате получаем каскад из 38 шагов на
большом наборе данных, состоящем из 507 лиц с более чем 75 миллионами
сканирующих окон. Лица распознаются со скоростью 10 вычислений признаков в
секунду для каждого окна. Результирующий детектор скользит по изображению в
разных масштабах, при этом увеличивается не масштаб изображения, а масштаб
самого окна.
Таким образом приобретается инвариантность к отдалению лица от камеры.
4
Программная реализация
Программный продукт
автоматического выделения лица на снимках видеопотока был реализован на ноутбуке
со встроенной веб-камерой и операционной системой семейства
Windows. Так
как информация, передаваемая с веб-камеры, поступает в виде потока байтов, то
для их обработки использовался стандартный
Microsoft
WebCam
driver, а
также библиотеки — надстройки, реализующие работу с веб-камерой на более высоком
уровне. Всё это существенно облегчило решение поставленной задачи, благодаря
избавлению от прямого вызова низкоуровневых функций. Результат работы программы
выделения лиц показан на рис. 5.
Рисунок 5 –
Результат автоматического выделения лица методом Виола-Джонса
Выводы
В данной работе
проанализированы современные алгоритмы выделения лиц на снимках, принимаемых из
веб-камеры в реальном времени. Изучены основные особенности цветового формата
HSB.
Построен алгоритм распознавания лица по цвету кожи человека. Из-за
чувствительности этого алгоритма к изменению яркости изображения предпочтение
было отдано методу Виола-Джонса. Выполнена программная реализация алгоритма
Виолы-Джонса, позволившая эффективно выделять лица на компьютерных изображениях.
Выполненная работа
является важным этапом на пути построения системы распознавания лица человека в
режиме реального времени.
Литература:
[1] Умяров
Н.Х., Федяев О.И. Параметрическая модель свёрточной нейронной сети // VI
международная научно-техническая конференция студентов, аспирантов и молодых
научных работников «Информатика и компьютерные технологии»: Т. 2 – Донецк,
ДонНТУ, 2010. – 292с.
[2] Paul Viola, Michael Jones. Rapid Object Detection using a Boosted Cascade of
Simple Features, 2001. — 8 pages
[3] Саймон Хайкин. Нейронные сети: полный курс.: издательский дом «Вильямс»,
2006. — 1104с.
[4] Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky. Empirical Analysis of
Detection Cascades of Boosted Classifiers for Rapid Object Detection.: Intel
ВСЕ
Рисование
Советы художника
История искусств
Живопись
Рисунок
Цветоведение
Поэтапное рисование
Вдохновение
О художниках
Ученики
Композиция
Абстракция
Книги
Температура цвета лица.
В лице человека есть тёплые, холодные и горячие участки. Это связано с анатомическими особенностями — капилляры неравномерно располагаются под кожей.
Более всего горячий красноватый оттенок проявляется в крыльях носа и ушных раковинах. В некоторых случаях хорошо заметен румянец на щеках, нарисовать который стоит, или красноватые нижние веки. Всё это меняет температурный режим всего лица целиком. Более холодные оттенки кожи проявляются на верхних веках и губах. Все остальная цветовая карта лица меняется в зависимости от освещения и складывается из индивидуальных особенностей модели.
Абрам Архипов «Девушка с кувшином».
Качество температуры конкретного участка лица можно найти, сравнив его с соседним, например, разбирая нос на цветовые составляющие, можно сравнивать оттенки с цветами переносья, щёк и губ. Горячие участки лица могут быть абсолютно разные по цвету — от ярко-рыжих до золотисто-персиковых, от разбелённо-алых до пунцовых.
Абрам Ефимович Архипов «В гостях» 1915 г.
При создании замеса для холодных, тёплых, нейтральных и горячих участков лица ориентируйтесь на характерный цвет лица модели и общий цветовой строй своего этюда. Не копируйте оттенки натуры слепо, складывайте их в единую цветовую мозаику, проверяйте, сочетаются ли цвета в этюде портрета так же гармонично, как в самой модели.
Национальные особенности.
Цвет кожи жителей разных регионов сильно различается. Температура воздуха, влажность, ветреность, сам состав воздуха — всё влияет не только на строение головы и частей лица, но и на цвет и тон кожи. Тёмный цвет кожи жителей степи резко контрастирует по цвету с лицами городских жителей, а южане отличаются от северян не только темнотой лиц, но и более тёплым цветовым оттенком лица. В портретах людей разных национальностей и географических районов именно цвету лица придаётся особое значение — это характерная, ярко выраженная индивидуальность и принадлежность к определённой этнической группе одновременно.
Посмотрим на женские портреты Николая Фешина: сколько в них разнообразия по общему цвету лица и нюансным оттенкам, моделирующим форму в пространстве!
Различие по полу.
Обычно лица женщин светлее, чем у мужчин. Разумеется, если сравнивать людей разного пола, но одной национальности и места проживания. Это связано с физиологией — женская кожа более тонкая и нежная, она меньше подвергается воздействию прямых солнечных лучей и ветра (женщины больше времени проводят в помещении, старательнее защищают лицо от воздействия атмосферы, пользуются косметическими средствами). Семейные портреты кисти известных художников подтверждают этот факт. Кстати, детские лица ещё более светлые, чистые по цвету, нежных оттенков.
Ларжильер Никола «Семейный портрет»
Как и в любом правиле, здесь есть исключения. Индивидуальные особенности и генетика вносят коррективы в любой заведённый порядок, поэтому, прежде чем писать портрет, проанализируйте, модель по всем возможным характеристикам, чтобы получить цвет оттенка лица для конкретного персонажа.
Караваджо «Гадалка» 1595 г.
Что касается разницы самого цвета кожи и теплохолодности между мужчинами и женщинами, единого рецепта нет — при рисовании портрета красками придётся внимательно изучать натуры и выявлять её индивидуальные особенности. Тут всё может выглядеть совершенно по-разному.
Жорж Латур. Гадалка [1630—1639]
Качество освещения.
Портретная живопись демонстрирует не только форму в пространстве, но и степень освещённости портретируемого. Форма, характер, а тем более цветовой оттенок лица. Слепящий лобовой свет делает лицо не только плоским, но и излишне высветленным, объединяет и выбеливает цветовые оттенки.
Боковое освещение выявляет форму ярче всего, распределяет света и тени по лицу оптимальным образом, проявляет глубокие тёмные и нюансные светлые, объединяя их полутонами, цветовыми и тональными. Не слишком контрастное боковое освещение выявляет природный естественный цвет и тон лица и показывает, как он меняется в освещённых и теневых участках. Это самый удобный и самый распространённый в живописи вариант освещения лица на портрете.
Рассеянный свет хорошо выявляет локальный цвет лица человека, помогает художнику понять и намешать цвет кожи человека для портрета, но скрывает полутона, залегающие в тенях и полутенях. А значит на портрете будет сложно получить множество цветовых оттенков лица. Такие портреты выглядят монументально, цельно, лаконично. Для передачи характера портретируемого такой приём имеет место быть.
Портрет С.И. Лычевой. Художник: Александр Дейнека. 1935 г
Контражур или освещение из-за объекта в живописи портретов встречается не часто, но такие изображения особенно оригинальны и примечательны. Тёмные, погружённые в тень лица, лишённые насыщенных цветов и привычных глазу цветовых сочетаний создают выразительный цветовой образ и делают лицо портретируемого необычным и таинственным. В таких случаях в портрете преобладают тёмные коричневые, серые, фиолетовые или зеленоватые малонасыщенные оттенки.
Общий колорит картины.
Оттенки лица на картине не всегда бывают телесного цвета. Часто это совсем не цвет тела, а сложные серые, желтоватые, голубые и даже зелёные цвета. Но при всём при том, лица на таких картинах выглядят живыми и реалистичными. Дело в том, что художник “встраивает” цвет лица портретируемого в общий колористический строй всей картины. Сначала задумывается цветовой эскиз: в нём художник определяет, какие цвета и оттенки он будет использовать, создаёт эмоционально выразительный цветовой художественный образ. Цвета, в том числе и цвет лица персонажей, здесь не случайны — они выражают основную идею художника, передают эмоции и чувства, создают настроение.
Например, для передачи драматических моментов, художник применяет землисто-белый или почти глухой чёрный цвет в изображении лиц.
Андрей Мыльников “Прощание” 1975 г.
Для передачи теплоты солнечных лучей и радостного летнего тепла в картине, цвет лица может варьироваться от насыщенных жёлтых до коричневато-оливковых оттенков.
Обратите внимание и на ярко выраженные зелёные рефлексы фона на лице в этом портрете.
И даже красные лица на картинах бывают — посмотрите на лицо фигуры первого плана.
Андрей Мыльников “Лето” 1970.
Хоть это и не портрет, а сюжетная композиция, но сами оттенки тел, лиц, земли, воды и неба и элементов пейзажа вокруг совсем не реалистичные, не природные. Всё написано почти чистыми первичными цветами — красным, жёлтым и синим. И только благодаря этому в картине есть ощущение радости, праздничности, нарядности.
Получается, что телесный цвет неоднозначен, изменчив, имеет множество характеристик и уникален для каждого конкретного случая. Да и не всегда нужен именно телесный цвет, универсальный цвет лица — в большинстве своём рисовать лица можно тем цветом, который необходим для выражения авторской идеи.
Разумеется, на занятиях живописью мы с учениками старательно изучаем и тщательно воспроизводим мельчайшие характерные особенности модели в портретах, учимся намешивать множество градаций цвета лица для каждого конкретного портретируемого. Учебная постановка для того и нужна, чтобы изучать модель в среде и изображать её максимально точно и правильно. Но в творческой работе художника первична опора на общий композиционный строй и цветовой замысел, выявлению которого помогает наработанное в процессе обучения мастерство живописца. Интересных портретных решений вам, дорогие художники, творческих успехов! Пусть мои советы добавят остроты и выразительности вашим работам.
Если вам понравилась эта статья, сделайте следующее:
1. Поставьте «лайк».
2. Поделитесь этим постом с друзьями в социальных сетях и своём блоге.
3. И конечно же, оставьте свой комментарий ниже 🙂