Module de navigation basé sur la comparaison des images de caméra de drones avec l'imagerie satellite

Qu'est-ce qu'un module de navigation basé sur la comparaison des images de caméra de drones avec l'imagerie satellite?

Pouvez-vous fournir un module de navigation qui utilise des images de caméra de drones orientées vers le bas pour comparer avec l'imagerie satellite stockée? On estime que la demande du client est qu'il n'y a pas de positionnement GPS ou de positionnement GPS n'est basé que sur la solution de sauvegarde.

Pour développer un module de navigation pour un drone qui compare les images de caméra orientées vers le bas en temps réel avec des images satellites pré-stockées, Suivez cette approche structurée:

1. Architecture du système

• Composants:
  • Capture d'image en temps réel: Caméra orientée vers le bas avec résolution / FOV réglable, synchronisé avec des capteurs d'altitude (par ex., baromètre, Lidar).
  • Base de données d'images satellites: Carreaux géotaggés stockés à plusieurs résolutions, indexé par les coordonnées GPS pour une récupération rapide.
  • Unité de traitement: GPU à bord / FPGA pour le traitement d'image accéléré.
  • Fusion du capteur: Intègre le GPS, IMU, et des données visuelles pour un positionnement robuste.

2. Flux de travail

1. Initialisation:
   • Utilisez GPS grossier pour récupérer les carreaux satellites pertinents de la base de données.
   • Calibrez à l'aide de données d'altitude pour mettre à l'échelle des images de drones à la résolution satellite.
2. Prétraitement d'image:
   • Convertir les images en niveaux de gris, Appliquer l'égalisation de l'histogramme, et détection de bord (par ex., Prudent).
   • Distorsion de perspective correcte à l'aide de données de pitch / rouleau de drone.
3. Fonctionnement correspondant:
   • Détecteurs: Utilisez l'orbe ou le surf pour l'équilibre entre la vitesse et la précision.
   • Matchs: Flann avec Ransac pour filtrer les valeurs aberrantes et calculer l'homographie.
4. Estimation de la position:
   • Dériver le compensation du GPS de la matrice d'homographie.
   • Fuser avec les données IMU via le filtre Kalman pour les mises à jour de la trajectoire en douceur.
5. Mécanisme de secours:
   • Passez à l'odométrie visuelle ou au GPS si les matchs par satellite échouent (par ex., zones non cartographiées).

3. Considérations techniques

• Échelle d'altitude: Ajustez dynamiquement la mise à l'échelle de l'image en utilisant l'altitude en temps réel.
• Optimisation de la base de données:
  • Imagerie satellite de carreaux en morceaux de 100x100m avec plusieurs niveaux de zoom.
  • Cache a fréquemment accédé aux carreaux pour réduire la latence.
• Performance en temps réel:
  • Limiter le traitement à 500 ms par cadre; Les images d'échantillon si nécessaire.
  • Prioriser les images clés (par ex., processus tous les 5e cadre) Pendant le vol à grande vitesse.

4. Essai & Étalonnage

• Métriques de précision: Comparez les estimations visuelles avec RTK-GPS Ground Truth.
• Robustesse environnementale:
  • Tester à travers les saisons / l'éclairage; Utiliser la normalisation de l'histogramme pour atténuer les changements d'éclairage.
  • Exclure les fonctionnalités transitoires (voitures, ombres) via segmentation sémantique (optionnel).

5. Exemple de scénario

• Drone à 50m altitude:
  • Capture 640×480 image (0.5Résolution M / Pixel).
  • Correspond aux carreaux satellites “XYZ123” en utilisant 200 Points clés de l'orbe.
  • L'homographie donne un décalage de 2m de la géotag de Tile (34.0522° N, 118.2437° W).
  • Kalman Filter fusionne ceci avec IMU, Sortie de position corrigée 34.05219 ° N, 118.2436° W.

6. Défis & Solutions

• Environnements dynamiques: Masque des objets en mouvement à l'aide de modèles ML (Yolo).
• Limites de calcul: Utilisez l'orbe accéléré par le matériel sur Jetson TX2.
• Espace de rangement: Compresser les carreaux de satellite à l'aide de webp (mode sans perte).

7. Outils & Bibliothèques

• Opencv: Pour la détection / correspondance des fonctionnalités.
• Ros: Intégration modulaire du pipeline (par ex., ros_navigation nœud).
• PostgreSQL / Postgis: Requêtes de tuiles géospatiales efficaces.

8. Performance attendue

• Précision de position: 1-3m dans des conditions optimales.
• Taux de mise à jour: 2 Hz (avec 640×480 Entrée sur le GPU de niveau intermédiaire).

Cette conception équilibre la précision et l'efficacité de calcul, Tiration de fusion du capteur et traitement d'image adaptatif pour une navigation fiable.