Трехмерное глубокое обучение на PYTHON (Ма К., Хегде В., Йольан Л.) ; ДМК Пресс, 2023

От издательства
Об авторах
О рецензентах
Предисловие
Часть I. Основы обработки bD-данных
Глава 1. Введение в обработку bD-данных
Технические требования
Настройка среды разработки
Представление SD-данных
Представление в виде облака точек
Представление в виде полигональной сетки
Представление в виде воксела
Формат файла SD-данных - файлы PLY
Формат файла SD-данных - файлы OBJ
Понятие системы SD-координат
Понятие модели камеры
Пример программирования моделей камеры и систем
координат
Резюме
Глава 2. Введение в трехмерное компьютерное
зрение
и геометрию
Технические требования
Ознакомление с базовыми понятиями отрисовки,
растеризации
и затенения
Понятие барицентрических координат
Модели источника света
Концепция модели затенения по Ламберту
Концепция модели освещения по Фонгу
Пример программирования SD-отрисовки
Использование разнородных пакетов данных в
библиотеке PyTorch3D
и оптимизаторов PyTorch
Пример программирования разнородных мини-
пакетов
Понятия трансформации и поворота
Примеры программирования трансформации и
поворота
Резюме
Часть II. Трехмерное глубокое обучение с
использованием библиотеки PyTorch3D
Глава 3. Подгонка деформируемых сеточных
моделей к необработанным облакам точек
Технические требования
Задача подгонки полигональных сеток к облакам
точек
Формулирование задачи подгонки деформируемой
полигональной
сетки в задачу оптимизации
Функции потери для регуляризации
Функция потери с учетом лапласианова
сглаживания полигональной
сетки
Функция потери с учетом согласованности
нормалей полигональной
сетки
Функция потери с учетом длин ребер
полигональной сетки
Реализация подгонки полигональной сетки с
помощью библиотеки
PyTorch3D
Эксперимент без использования каких-либо
регуляризационных
функций потери
Эксперимент с использованием только одной
функции потери -
потери с учетом длин ребер полигональной сетки
Резюме
Глава 4. Обнаружение и отслеживание позы
объекта с помощью дифференцируемой отрисовки
Технические требования
Зачем нужна дифференцируемая отрисовка
Как сделать отрисовку дифференцируемой
Какие задачи можно решать с использованием
дифференцируемой
отрисовки
Задача оценивания поз объекта
Как это программируется
Пример оценивания позы объекта для подгонки
силуэта и подгонки
текстуры
Резюме
Глава 5. Понятие дифференцируемой
объемометрической отрисовки
Технические требования
Общий обзор объемометрической отрисовки
Понятие отбора лучей
Применение отбора объемов
Обследование лучевого маршировщика
Дифференцируемая объемометрическая отрисовка
Реконструкция SD-моделей по многоракурсным
изображениям
Резюме
Глава 6. Обследование нейронных полей яркости
излучения (NeRF)
Технические требования
Концепция нейронных полей яркости излучения
(NeRF)
Что такое поле яркости излучения?
Представление полей яркости излучения с
помощью нейронных сетей ...
Тренировка модели NeRF
Понимание архитектуры модели NeRF
Понимание объемной отрисовки с использованием
полей яркости
излучения
Проецирование лучей на сцену
Накопление цвета луча
Резюме
Часть III. Современное трехмерное глубокое
обучение с использованием библиотеки PyTorch3D
Глава 7. Обследование контролируемых нейронных
полей признаков
Технические требования
Концепция синтеза изображений на основе GAN-
сети
Введение в композиционный SD-информированный
синтез
изображений
Генерирование полей признаков
Отображение полей признаков в изображения
Обследование контролируемой генерации сцен
Обследование контролируемой генерации
автомобилей
Обследование контролируемой генерации лиц
Тренировка модели GIRAFFE
Начальное расстояние Фреше
Тренировка модели
Резюме
Глава 8. Моделирование человеческого тела в 3D
Технические требования
Постановка задачи SD-моделирования
Определение подходящего представления
Концепция техники линейно-переходного кожного
покрова
Концепция модели SMPL
Определение модели SMPL
Форма и шаблонная полигональная сетка в
зависимости от позы
Суставы в зависимости от формы
Применение модели SMPL
Оценивание позы и формы человека в 3D с
помощью метода SMPLify
Определение целевой функции оптимизации
Обследование метода SMPLify
Выполнение исходного кода
Обследование исходного кода
Резюме
Глава 9. Сквозной синтез ракурсов с помощью
модели SynSin
Технические требования
Общий обзор синтеза ракурсов
Сетевая архитектура модели SynSin
Сети пространственных признаков и глубин
Нейронный отрисовщик облака точек
Модуль уточнения и дискриминатор
Тренировка и тестирование модели на практике
Резюме
Глава 10. Модель Mesh R-CNN
Технические требования
Общий обзор полигональных сеток и вокселов
Архитектура модели Mesh R-CNN
Графовые свертки
Предсказатель полигональной сетки
Демонстрация модели Mesh R-CNN с помощью
PyTorch3D
Демонстрационный пример
Резюме
Тематический указатель