Pixel3DMM – это нейросеть для 3D-реконструкции лиц по фотографиям. В отличие от классических подходов, она работает на уровне пикселей, что позволяет точнее передавать детали, особенно в сложных областях вроде глаз или губ. Модель обучается без жестких ограничений на форму, поэтому справляется с разнообразными выражениями и ракурсами. Код открытый, написан на PyTorch, так что можно дорабатывать под свои задачи. Из плюсов – неплохая точность даже на низком разрешении и относительно быстрая обработка. Минусы – требует нормальных GPU для тренировки, а из коробки работает лучше на близких к фронтальным ракурсах. Если ковыряться в настройках, можно выжать больше, но для старта хватит и базового варианта. Подойдет тем, кому нужно быстро получить 3D-модель лица без лишних сложностей.
Основные возможности:
- Генерация 3D-моделей из 2D-изображений — берет обычные фото и превращает их в объемные модели, сохраняя детали.
- Автоматическая реконструкция лиц — анализирует портреты и создает 3D-версии с точной передачей черт.
- Поддержка разных ракурсов — достраивает недостающие части объекта, даже если на фото видна только одна сторона.
- Работа с текстурой и освещением — учитывает тени и блики, чтобы модель выглядела естественно.
- Экспорт в популярные форматы — позволяет сохранить результат в OBJ или PLY для использования в других программах.
- Оптимизация под слабые устройства — работает даже на компьютерах без мощных видеокарт, хоть и медленнее.
- Интеграция с Blender — есть скрипты для удобного переноса моделей прямо в редактор.
