Spleenlab’s approach is to break down the vision of fully autonomous flight into its sub-steps and fully automate these individual processes using AI-based applications. One of the most critical phases of autonomous flight is landing, where a large number of variable factors play a role.
The US company DroneUp, which has been commissioned by Walmart to deliver parcels by drone over the last mile, asked Spleenlab for a software solution for fully automated landing. At the time, the engineers were already working on a so-called vertical clearance function, which scans the intended landing area for obstacles such as people or objects and sends the corresponding information back to the drone’s control system. At the same time, the development of the downstream process, automatic precision landing, was initiated and driven forward as a core product of the VISIONAIRY software.
The initialisation of the Safe Precision Landing procedure begins with the detection of the landing area, which is provided with a unique marking (similar to a QR code, for example). Once the landing area has been recognised, it is continuously tracked and the vertical clearance is started. Vertical clearance primarily relies on a redundant sensor setup – consisting of LiDAR and camera. The algorithm analyses point clouds supplied by the LiDAR sensor to determine the inclination of the landing zone and to detect objects within a defined radius. By processing camera data, it is possible to use artificial intelligence to classify and track multiple objects in the landing zone. Tracking of the landing pad and vertical clearance run in parallel. This system architecture ensures an extremely high level of safety and is a basic requirement for fully automated flights.
However, it is also possible to perform the vertical clearance function with cameras only, which of course also has economic advantages, as LiDAR sensors are still relatively expensive compared to cameras. If the landing zone is clear and its inclination is within tolerance, the drone switches to the precision landing process. During precision landing, an image-based AI algorithm continuously ensures precise tracking of the landing area. As it descends, the position of the drone in relation to the landing pad is constantly calculated and passed directly to the control unit, which carries out the fully automatic landing. Vertical Clearance also runs in the background during the precision landing. This means that the process can be cancelled at any time if people or objects suddenly appear in the landing zone.
Safe Precision Landing enables landings with centimetre precision. There are also various scenarios. For example, if the landing zone is not clear, the drone can hold its position and perform the test again after a short time. Or it is possible for the operator to select an emergency landing site in the event of technical problems. Of course, the drone can also return to the take-off point as a fallback option. With this technology, Spleenlab is delivering a completely new approach that promises a high level of reliability, particularly in the field of logistics. In cooperation with DroneUp, we are constantly developing the software further and intensive tests have shown that the AI-based applications deliver very good performance and that there is sufficient buffer for further real-time applications despite the limited computing power.
German Version:
Präzisionslandeverfahren für die vollautomatische Lieferung per Drohne
Der Ansatz von Spleenlab ist, die Vision des vollautonomen Fluges in seine Teilschritte zu zerlegen und diese Einzelprozesse durch KI-basierte Applikationen komplett zu automatisieren. Eine der kritischsten Phasen beim autonomen Flug ist die Landung, bei der eine Vielzahl von variablen Faktoren eine Rolle spielen.
Das US-Unternehmen DroneUp, welches im Auftrag von Walmart die Paketlieferung per Drohne auf der letzten Meile umsetzen soll, hat bei Spleenlab eine Softwarelösung zum vollautomatischen Landen angefragt. Zu dieser Zeit arbeiteten die Ingenieure bereits an einer sogenannten Vertical Clearance Funktion, bei welcher der vorgesehene Landebereich auf Hindernisse wie Personen oder Objekte abgesucht und entsprechende Informationen an die Steuerung der Drohne zurückgegeben werden. Parallel dazu wurde die Entwicklung des nachgelagerten Prozesses, der automatischen Präzisionslandung, angestoßen und als Kernprodukt der VISIONAIRY Software vorangetrieben.
Die Initialisierung der Safe Precision Landing Prozedur beginnt mit der Detektion des Landebereichs, der mit einer eindeutigen Markierung (beispielsweise ähnlich eines QR-Codes) versehen ist. Ist der Landebereich erkannt, wird er fortlaufend getrackt und die Vertical Clearance wird gestartet. Bei der Vertical Clearance setzt man vorrangig auf ein redundantes Sensor-Setup – bestehend aus LiDAR und Kamera. Der Algorithmus wertet vom LiDAR Sensor gelieferte Punktwolken aus, um einerseits die Neigung der Landezone zu bestimmen und andererseits Objekte in einem definierten Radius zu detektieren. Durch die Verarbeitung von Kameradaten ist es möglich, mit Hilfe von künstlicher Intelligenz mehrere Objekte im Landebereich zu klassifizieren und zu verfolgen. Das Tracken des Landepads und die Vertical Clearance laufen dabei parallel. Diese Systemarchitektur sorgt für eine enorm hohe Sicherheit und ist eine Grundvoraussetzung für vollautomatisierte Flüge.
Es ist aber auch möglich, die Vertical Clearance Funktion nur mit Kameras durchzuführen, was natürlich auch ökonomische Vorteile hat, da LiDAR-Sensoren im Vergleich zu Kameras immer noch relativ teuer sind. Ist die Landezone frei und ihre Neigung innerhalb der Toleranz, geht die Drohne in den Präzisionslandevorgang über. Beim Precision Landing sorgt ein bildbasierter KI-Algorithmus fortlaufend für ein exaktes Tracking des Landebereiches. Dabei wird beim Absinken permanent die Position der Drohne zum Landepad berechnet und gibt diese direkt an die Steuereinheit weiter, welche die vollautomatische Landung durchführt. Auch während der Präzisionslandung läuft die Vertical Clearance im Hintergrund mit. So kann der Vorgang jederzeit abgebrochen werden, wenn sich plötzlich Personen oder Objekte in der Landezone befinden.
Safe Precision Landing ermöglicht zentimetergenaue Landungen. Dabei gibt es auch verschiedene Szenarien. Wenn die Landezone beispielsweise nicht frei ist, kann die Drohne ihre Position halten und die Prüfung nach kurzer Zeit erneut durchführen. Oder es ist möglich, dass der Operator bei technischen Problemen einen Notlandeplatz auswählt. Als Fallback-Variante ist natürlich auch eine Rückkehr der Drohne zum Startpunkt vorgesehen. Spleenlab liefert mit dieser Technologie einen völlig neuen Ansatz, der besonders im Bereich der Logistik eine hohe Ausfallsicherheit verspricht. In Kooperation mit DroneUp entwickeln wir die Software ständig weiter und es hat sich nach intensiven Tests gezeigt, dass die KI-basierten Applikationen eine sehr gute Performance abliefern und trotz der begrenzten Rechenleistung ausreichend Puffer für weitere Echtzeitanwendungen vorhanden ist.
