Сегментация изображений — это метод компьютерного зрения, при котором изображение делят на области на уровне пикселей. Такой подход помогает системе понять, где именно находится объект, какова его форма и какие части сцены относятся к фону.
В отличие от простой классификации, сегментация не ограничивается ярлыком для всей картинки. Она разбирает изображение детально, поэтому применяется в медицине, беспилотном транспорте, промышленном контроле, анализе спутниковых снимков и других задачах, где важны границы объектов.
Содержание статьи
Как работает сегментация изображений
Сегментация изображений присваивает пикселям метки классов или отдельных объектов. На выходе получается маска сегментации — карта, показывающая, какие пиксели относятся к дороге, человеку, опухоли, зданию или другой области.
Если говорить проще, алгоритм не просто «видит машину», а выделяет её контур. Он определяет, какие пиксели принадлежат самой машине, а какие — дороге, небу или соседним объектам.
Это можно делать разными способами. Классические методы опираются на цвет, яркость, контраст и границы между областями. Современные модели глубокого обучения учатся на размеченных наборах данных и находят более сложные закономерности в визуальной информации.
Чем сегментация отличается от классификации и детекции объектов
Сегментация изображений отличается тем, что работает на уровне пикселей. Классификация отвечает на вопрос «что изображено», детекция — «что и где находится», а сегментация — «какие именно пиксели принадлежат каждому объекту или области».
Разница хорошо видна на одном примере. Классификатор может определить, что на снимке есть автомобиль. Детектор объектов добавит прямоугольную рамку и покажет его положение. Сегментация пойдёт дальше и выделит точную форму автомобиля, а не приблизительную область вокруг него.
Это особенно важно, когда объекты соприкасаются, частично перекрывают друг друга или имеют сложный контур. Прямоугольная рамка в таких случаях даёт грубую оценку, а сегментационная маска описывает границу гораздо точнее.
| Метод | Что делает | Результат |
| Классификация изображений | Определяет общий класс изображения | Одна или несколько меток |
| Детекция объектов | Находит объекты и их положение | Метки и ограничивающие рамки |
| Сегментация изображений | Размечает изображение по пикселям | Маски объектов и областей |
Какие задачи решает сегментация изображений
Сегментация изображений обычно решает три задачи: семантическую сегментацию, сегментацию экземпляров и паноптическую сегментацию. Они различаются тем, как система обращается с классами и отдельными объектами.
Что такое семантическая сегментация
Семантическая сегментация присваивает каждому пикселю класс, но не разделяет разные объекты одного и того же типа. Все пиксели класса «дорога» будут одной областью, а несколько машин рядом могут быть отмечены как один общий класс «машина».
Этот вариант подходит, когда нужно понимать структуру сцены: где тротуар, где небо, где здание, где вода. Для анализа окружения этого часто достаточно.
Что такое сегментация экземпляров
Сегментация экземпляров выделяет каждый отдельный объект по отдельности. Она не просто отмечает класс «человек», а показывает, где заканчивается один человек и начинается другой.
Такой подход нужен, если объекты надо считать, отслеживать или анализировать по одному. Задача сложнее, потому что модель должна разделять даже близко расположенные или частично перекрывающиеся объекты одного класса.
Что такое паноптическая сегментация
Паноптическая сегментация объединяет два подхода: она размечает все пиксели по классам и одновременно различает отдельные экземпляры объектов там, где это нужно. В итоге система получает полное описание сцены.
Например, дорога и небо будут отмечены как фоновые области, а каждая машина или каждый пешеход — как отдельный объект. Это даёт более целостное представление об изображении, но требует более сложных моделей и вычислений.
Что означают классы things и stuff
В компьютерном зрении классы сегментации часто делят на things и stuff. Things — это отдельные счётные объекты, а stuff — сплошные области без чётких экземпляров.
К things обычно относят человека, автомобиль, велосипед, дорожный знак. Их можно пересчитать и выделить по одному. К stuff относят небо, асфальт, стену, траву, воду. Эти области задают контекст сцены, но обычно не рассматриваются как набор отдельных объектов.
Такое различие влияет на выбор задачи. Семантическая сегментация хорошо работает с фоновыми областями, а сегментация экземпляров — с отдельными объектами. Паноптический подход объединяет оба типа информации.
Какие классические методы сегментации существуют
Классические методы сегментации используют свойства пикселей: яркость, цвет, контраст и локальные различия. Они проще по устройству и часто требуют меньше вычислительных ресурсов, чем глубокие нейросети.
Их применяют там, где структура изображения относительно предсказуема или где нет смысла разворачивать сложную модель. Такие методы по-прежнему полезны в отдельных сценариях, особенно при предварительной обработке данных.
- Пороговая обработка — делит пиксели по выбранному порогу яркости или интенсивности.
- Гистограммы — помогают понять распределение значений пикселей и выделить фон или объектные области.
- Поиск границ — находит резкие изменения яркости и контраста, которые часто совпадают с контурами объектов.
- Алгоритм водораздела — интерпретирует изображение как рельеф и разделяет области по «впадинам» и «хребтам».
- Сегментация по регионам — объединяет соседние пиксели со схожими характеристиками.
- Кластеризация — группирует пиксели по похожим признакам, например методом K-means.
Как глубокое обучение используется в сегментации изображений
Глубокое обучение позволяет моделям находить сложные визуальные закономерности и точнее выделять объекты на изображении. Такие модели обучаются на размеченных данных, где каждому пикселю заранее назначена правильная метка.
Именно этот подход сегодня лежит в основе большинства продвинутых систем сегментации. Он лучше справляется со сложным фоном, шумом, перекрытием объектов и меняющимися условиями съёмки.
Какие архитектуры применяют чаще всего
Для сегментации изображений используют несколько типов нейросетевых архитектур. Они отличаются тем, как извлекают признаки, восстанавливают пространственную структуру изображения и формируют маски.
- FCN — полностью сверточные сети, которые широко применяются в семантической сегментации.
- U-Net — архитектура с пропусками между слоями кодировщика и декодировщика, полезная там, где важна точность границ.
- DeepLab — семейство моделей, использующее расширенные свёртки для захвата более широкого контекста.
- Mask R-CNN — одна из известных архитектур для сегментации экземпляров.
- Vision Transformer и родственные модели — применяют механизм внимания и используются в задачах компьютерного зрения наряду со сверточными сетями.
Выбор архитектуры зависит от постановки задачи. Для разметки медицинских снимков может подойти одна схема, а для анализа городской сцены в беспилотном транспорте — другая.
Как обучают модели сегментации
Модели сегментации обучают на изображениях с пиксельной разметкой. Это значит, что для каждого снимка заранее известно, какие пиксели относятся к нужным классам или объектам.
Такая разметка требует большой ручной работы. Специалистам нужно не просто подписать изображение, а очертить реальные границы областей. Поэтому подготовка данных часто становится одним из самых трудоёмких этапов.
Для обучения и оценки моделей применяют открытые наборы данных, если они подходят под задачу. Среди часто используемых источников встречаются COCO, ADE20K и Cityscapes. Они отличаются составом классов, типами сцен и способом разметки.
Где применяется сегментация изображений
Сегментация изображений нужна там, где системе мало знать сам факт присутствия объекта. Она полезна, когда требуется видеть форму, границы и взаимное расположение элементов сцены.
Сценариев применения много, и они сильно различаются по требованиям к точности, скорости и типам классов.
- Медицинская визуализация — выделение тканей, органов, опухолей и других патологических областей на МРТ, КТ, УЗИ и рентгеновских снимках.
- Беспилотный транспорт — распознавание полос движения, машин, пешеходов, дорожных знаков и других элементов сцены.
- Робототехника — навигация в пространстве и разделение объектов для манипуляций.
- Спутниковые и аэрофотоснимки — выделение дорог, зданий, водоёмов, растительности и других типов поверхности.
- Промышленность — сортировка продукции, контроль качества и поиск дефектов.
- Сельское хозяйство — анализ состояния посевов, выделение сорняков и оценка структуры поля.
- Городская инфраструктура — мониторинг трафика, анализ видеопотока и наблюдение за объектами среды.
Какие ограничения есть у сегментации изображений
Главные ограничения сегментации связаны с качеством данных, вычислительными затратами и сложностью самой сцены. Чем выше требования к точности и детальности, тем дороже обычно обучение и запуск модели.
Проблемы возникают, когда объекты перекрываются, имеют размытые границы или похожи по цвету на фон. Дополнительные трудности создают тени, блики, шум, плохое освещение и редкие классы, для которых мало размеченных примеров.
Даже сильная модель зависит от обучающего набора данных. Если в нём не хватает нужных сценариев, результат на новых изображениях будет нестабильным.
Когда сегментация нужна, а когда можно обойтись без неё
Сегментация нужна, если важны точные границы объектов и разметка сцены по пикселям. Если достаточно понять общий класс изображения или приблизительное положение объекта, можно использовать более простые методы.
Например, для задачи «есть ли на снимке кошка» хватит классификации. Для задачи «где находится кошка» подойдёт детекция. А для задачи «какие пиксели принадлежат кошке и где заканчивается её силуэт» уже нужна сегментация.
Выбор зависит от цели. Чем точнее должен быть ответ системы, тем выше вероятность, что без сегментации не обойтись.
