Artikel im CVIU Journal veröffentlicht

Die Synthese neuartiger Ansichten mit Hilfe von Neural Radiance Fields (NeRF) ist die führende Technik zur Erzeugung qualitativ hochwertiger Bilder von neuen Standpunkten. Bestehende Methoden beruhen jedoch auf vordefinierten extrinsischen und intrinsischen Kameraparametern, was ihre Verwendbarkeit in realen Anwendungen mit variierenden Kameraeigenschaften einschränkt. Die aktuelle Forschung hat sich auf die Verfeinerung der extrinsischen Kameraparameter konzentriert, wobei häufig von festen intrinsischen Parametern ausgegangen wird oder eine Vorverarbeitung erforderlich ist. Außerdem arbeiten die meisten Ansätze nur mit einem einzigen intrinsischen Kameramodell, was ihre Anpassungsfähigkeit an verschiedene Kamerasysteme einschränkt.

Um diese Einschränkungen zu beheben, wurde in einem gemeinsamen Forschungsprojekt der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), der Technischen Universität München (TUM) und der Universität der Bundeswehr München (UniBw M) mit NeRFtrinsic Four ein durchgängig trainierbares NeRF-Framework vorgestellt, das sowohl extrinsische als auch diverse intrinsische Kameraparameter gemeinsam optimiert. Die Methode nutzt Gauß-Fourier-Merkmale zur Schätzung der extrinsischen Parameter und prognostiziert dynamisch variierende intrinsische Parameter unter Verwendung von Projektionsfehlerüberwachung. NeRFtrinsic Four übertrifft bestehende Methoden bei Standard-Benchmarks (LLFF, BLEFF) und führt den iFF-Datensatz ein, der speziell zum Testen unterschiedlicher intrinsischer Kameraeigenschaften entwickelt wurde.

Diese Forschungsarbeit wurde in der Zeitschrift Computer Vision and Image Understanding (CVIU) veröffentlicht.

NeRFtrinsic Four: Advancing View Synthesis with Joint Camera Optimization

Hannah Schieber, Fabian Deuser,  Bernhard Egger, Norbert Oswald, Daniel Roth

[LINK]