Camera Tracker Node

Le Camera Tracker est un solver de structure-from-motion. Il analyse les déplacements de features dans la footage, puis résout simultanément :

• La trajectoire 3D de la caméra (translation + rotation à chaque frame).
• Un point cloud 3D de la scène — points trackés reconstruits dans l'espace.
• Optionnellement, la focale de la caméra si inconnue.

Avec ces données exportées, on peut placer des éléments 3D (modèles, textes, particules) qui semblent vraiment filmés dans la scène — ils restent solidement ancrés au sol ou aux objets réels pendant que la caméra bouge.

• Effects Library : Tools > Tracking > Camera Tracker
• Ajout rapide : clic droit dans le Node Editor → Add Tool > Tracking > Camera Tracker

Tracker classique

Pour tracker un/quelques points 2D. Reste en 2D.

Planar Tracker

Pour surfaces planes (écran, pancarte, route). Reste en 2D mais avec perspective.

Camera Tracker

Pour solver la caméra en 3D. Sort du 2D — résultat : une scène 3D avec caméra animée + point cloud. Pour intégrer du CGI, tout ce qui est projeté en 3D.

Règle : si l'objectif final est un élément qui bouge avec la scène (CG, volumetric, matte painting 3D), Camera Tracker. Si c'est du screen replacement 2D, Planar.

• Background (orange) — footage à tracker.
• Occlusion Mask (blanc) — mask des zones à ignorer : personnages en mouvement, véhicules, eau, nuages. Crucial car leurs points créent des faux tracks qui pourrissent le solve.

MediaIn → Camera Tracker → Export
                       ↓
                 Camera 3D, Point Cloud 3D, Shape 3D (ground),
                 Merge 3D, Renderer 3D, Merge 2D → MediaOut

Avec occlusion (personnage):
MediaIn → Camera Tracker ← Occlusion Mask (roto du perso)

1. Track Phase

   Auto-détection des features trackables (via pattern matching). Ajuster la sensibilité et l'espacement des features. Lancer Bidirectional Tracking pour avoir des tracks plus longs (backward après forward).

2. Solve Phase

   Le solver reconstruit caméra + point cloud à partir des tracks. Fournir la focal length si connue (EXIF, data caméra) pour un meilleur résultat. Sinon, Fusion essaie de la calculer — fonctionne mais moins précis.

3. Refine Phase (étape critique)

   Cycle itératif :

   Track → Solve → Refine Filters → Solve →
   Cleanup tracks → Solve → Cleanup from point cloud → Solve → Repeat.

   Filtrer les tracks par length min, tracking error, solve error. Supprimer les tracks provenant d'objets en mouvement, de reflets, de parallax errors. C'est l'étape la plus importante — un solve propre à ≈ 0.6-0.8px ne s'obtient que par ces cycles de nettoyage.

4. Export Phase

   Génère automatiquement : Camera 3D animée, Point Cloud 3D, Shape 3D (ground plane), Renderer 3D, Merge 2D — chaîne complète prête pour l'intégration CG.

< 0.5 px = excellent

Tracking quasi parfait. Exploitable tel quel.

0.6 - 0.8 px = très bon

Qualité pro, résultat publiable. Référence à viser.

0.8 - 1.0 px = bon

Acceptable pour la plupart des besoins. Visible légèrement si on zoome.

> 1.0 px = problème

Drift visible au rendu. Continuer le refine : supprimer tracks courts, outliers, objets mobiles.

Cliquer Exportcrée une structure de nodes prête à l'emploi :

• Camera 3D — caméra Fusion virtuelle avec position/rotation animées match à la caméra réelle.
• Point Cloud 3D— nuage des points trackés dans l'espace 3D reconstruit. Sert à aligner les objets CG.
• Shape 3D (ground plane) — plan par défaut posé au niveau du sol deviné.
• Merge 3D — scène qui assemble tous les éléments 3D.
• Renderer 3D— rend la scène 3D en 2D, aligné avec le plan d'origine.

• Intégration d'un objet CG — robot, voiture, créature 3D posée dans la scène live, qui reste ancrée à sa place pendant que la caméra bouge.
• 3D matte painting — fond numérique 3D projeté sur la caméra trackée, cohérent avec la perspective et le mouvement.
• Volumetric effects — particules, fumée, feu, light rays qui existent vraiment en 3D dans la scène et ne glissent pas comme un overlay 2D.
• Rayons laser, balles, projectiles — tracés 3D qui traversent la scène avec la bonne perspective et ancrage.
• Hologramme / UI 3D — écrans floats avec texte ou graphiques qui respectent la profondeur de la scène.
• Set extension — prolonger un décor réel avec des éléments 3D (murs, bâtiments, horizon) qui tiennent en perspective.
• Replace sky / ground 3D — ciel ou sol remplacés par des éléments 3D (pas juste un screen replacement 2D mais un vrai plan 3D avec parallaxe).

• Tracks longs = solve meilleur — privilégier moins de tracks mais longs (sur 50+ frames) que beaucoup de tracks courts.
• Seed frames distants — deux frames de référence bien séparées dans le plan (pas voisines) + qui partagent un maximum de tracks en commun. Active la triangulation précise.
• Focal length fournie = solve précis — récupérer la focale de la prise (EXIF, rapport caméra) et la rentrer. Gain de qualité significatif.
• Occlusion mask obligatoire pour les personnages — toujours roto les objets en mouvement et connecter à Occlusion Mask. Sinon les points sur eux créent des faux tracks qui font drifter le solve.
• Ne pas trop tracker — trop de tracks = bruit. Viser quelques centaines max, pas milliers.
• Plans difficiles à tracker :
  • Plans fixes (pas de parallaxe → pas de solve possible).
  • Mouvement zoom pur (pas de translation).
  • Footage full motion blur.
  • Surfaces sans texture (ciel, neige).
  • Réflexions (eau, verre, miroir).
• Itérer refine jusqu'à plafond — le premier solve est rarement bon. Chaque cycle de cleanup descend l'erreur de quelques dixièmes. S'arrêter quand le gain devient marginal.
• Pour des plans difficiles (VFX pro), préférer des solutions dédiées (SynthEyes, 3DEqualizer, Mocha Pro) qui offrent plus de contrôle. Le Camera Tracker Fusion est excellent pour 80% des cas et natif.