Die Entwicklung der eingebetteten Vision

Teilen Sie dies in den sozialen Medien:

Jan-Erik Schmitt von Vision Components beschreibt den Aufstieg von Embedded Vision und die vielen Vorteile, die die Technologie bietet

Edge-Geräte machen unser Leben einfacher, intelligenter und ermöglichen nachhaltigere Lösungen – von Präzisionslandwirtschaft zur Reduzierung des Düngemittelverbrauchs über intelligente Verkehrsanwendungen, die dabei helfen, Staus zu vermeiden, bis hin zu KI-gestützten medizinischen Geräten, die Krankheiten anhand von Mustererkennung erkennen.

Embedded Vision ist eine Schlüsseltechnologie für diese Geräte.

Detaillierte Datenanalysen direkt am Edge ermöglichen ultrakompakte Kameras, leistungsstarke und energieeffiziente Embedded-Prozessoren und neueste KI-Technologien.

Mit diesen Entwicklungen ist die Integration von Embedded Vision einfacher denn je geworden.

Bis in die 1990er Jahre waren Kameras, die an externe Verarbeitungseinheiten angeschlossen waren, Standard für Bildverarbeitungsanwendungen. Dieser Aufbau stellte die nötige Rechenleistung zur Verarbeitung von Bilddaten bereit. Doch der Entwurf und die Implementierung dieser Systeme, meist für die industrielle Qualitätskontrolle, waren zeitaufwändig, teuer und weit entfernt von der heutigen Definition von Embedded. 1995 stellte Michael Engel die VC11 vor, die weltweit erste industrielle Smartkamera auf Basis eines digitalen Signalprozessors (DSP). Sein Ziel war es, ein kompaktes System zu schaffen, das die Bilderfassung und -verarbeitung innerhalb desselben Geräts ermöglicht. Die Kamera wurde im Vergleich zu PC-basierten Systemen zu deutlich geringeren Kosten angeboten und war wegweisend für die heutigen Smart-Kameras und eingebetteten Bildverarbeitungssysteme. Diese Erfindung war auch der Grundstein für die Gründung von Vision Components (VC).

Bei der Smart-Kamera VC11 kam erstmals zum Einsatz, was auch heute noch Embedded-Markenzeichen sind: Systeme, die perfekt an ihre Anwendungen angepasst sind, ohne Overhead und unnötige Komponenten, optimiert für den industriellen Einsatz, Massenproduktion und niedrige Stückkosten. Im Allgemeinen sind diese Lösungen möglichst klein und eignen sich optimal für Edge-Geräte und mobile Anwendungen. Daher ist auch ein geringer Stromverbrauch ein wichtiger Aspekt von Embedded-Vision-Systemen. Darüber hinaus sind robuste Betriebsbereiche und industrietaugliche Qualität sowie Langzeitverfügbarkeit fest mit dem Begriff Embedded Electronics verbunden.

Heutzutage kann die Technologie in verschiedenen Anwendungen eingesetzt werden, von Verbraucherendprodukten bis hin zu hochspezialisierten industriellen Anwendungen. Dies ist das Ergebnis einer enormen technologischen Entwicklung in den letzten 30 Jahren: In den Jahren nach Michael Engels Erfindung waren DSPs Standard für die Bildverarbeitung intelligenter Kameras. Die Technologie entwickelte sich in den ersten Jahren des 21. Jahrhunderts von den ersten Chips von Unternehmen wie Analog Devices zu neuen Modellen mit Gigahertz-Rechenleistung von Texas Instruments, das Grundprinzip blieb jedoch bestehen: Bilddaten wurden von einem Bildsensor erfasst, der von gesteuert wurde der DSP. Anschließend wurden die Daten über einen Buscontroller in den internen Speicher übertragen. Die gesamte Verarbeitung erfolgte in einer Verarbeitungseinheit. Mit fortschrittlichen DSPs wurden sogar Anwendungen wie 3D-Profilsensoren mit integrierter Datenverarbeitung ermöglicht.

Ein Meilenstein für die Entwicklung eingebetteter Bildverarbeitungssysteme war die Einführung von Dual-Core-ARM-Prozessoren mit einem FPGA durch Xilinx. Vision Components entwickelte 2014 seine ersten eingebetteten Vision-Systeme auf Basis dieser heterogenen Architektur. Sie kombinierten die Vorteile der parallelen Echtzeitverarbeitungsfähigkeiten des FPGA mit frei programmierbaren ARM-Kernen, auf denen ein Linux-Betriebssystem läuft. Dieser Aufbau machte die Entwicklung eingebetteter Bildverarbeitungssysteme vielseitiger und flexibler und eröffnete Entwicklern neue Möglichkeiten, Software für ihre spezifischen Anwendungen zu programmieren und zu implementieren.

Die Rechenleistung stieg mit der Entwicklung neuer Prozessoren, angetrieben durch die hohe Nachfrage nach kleiner und leistungsstarker Elektronik für Konsumgüter, Smart Home und Industrie sowie neue Anwendungen in der Automobilindustrie. Daher wurden Embedded-Vision-Systeme so konzipiert, dass sie allen Marktanforderungen gerecht werden, von Kameras auf Platinenebene mit Multi-Core-Rechenleistung bis hin zu extrem kleinen Embedded-Vision-Systemen, die Bilderfassung und -verarbeitung mit ARM- und FPGA-Kernen auf einer einzigen Platine kombinieren die Größe einer Briefmarke.

MIPI-Kameramodule sind mit verschiedenen Bildsensoren erhältlich, kompakt und flexibel einsetzbar mit allen gängigen Prozessorboards (Bild: Vision Components)

Stand der Technik sind heutzutage heterogene Systemansätze mit mehreren Verarbeitungseinheiten, die ARM-CPUs und High-End-FPGAs sowie speziell dafür entwickelte spezialisierte Verarbeitungseinheiten wie DSPs, Grafikverarbeitungseinheiten (GPUs) und Tensorverarbeitungseinheiten (TPUs) verwenden maschinelles Lernen und KI-optimierte neuronale Verarbeitungseinheiten (NPUs). Beim Entwurf dieser Systeme können Verarbeitungseinheiten mithilfe entsprechender System-on-Modules eingesetzt werden, die bereits alle Prozessoren enthalten. Es besteht auch die Möglichkeit, verschiedene Module zu kombinieren und so von einer größeren Freiheit zu profitieren, den für die jeweiligen Aufgaben am besten geeigneten Prozessor auszuwählen.

Beim Entwurf einer Lösung mit Embedded Vision können Entwickler den perfekten Integrationsgrad für ihre Projekte wählen: von einem MIPI-Kameramodul über komplette Embedded Vision-Systeme, die Bilderfassung und -verarbeitung in einem ultrakompakten Formfaktor vereinen, bis hin zu sofort einsatzbereiten Lösungen. nutzen OEM-Lösungen, die flexibel an ihre Endanwendung angepasst werden können.

MIPI-Kameras: flexibel, kostengünstig und einfach zu integrieren

MIPI-Kameramodule sind zu einem Standard für unzählige Anwendungen in der Industrie geworden, was auf ihre weit verbreitete Verwendung im Verbrauchermarkt und die breite Unterstützung der MIPI-CSI-2-Schnittstelle durch moderne eingebettete Prozessoren zurückzuführen ist. MIPI-Kameramodule sind flexibel, kostengünstig und einfach zu integrieren. Sie sind von kostengünstigen bis hin zu High-End-Sensoren mit einer Auflösung von 20 MP und mehr mit Global- oder Global-Reset-Shutter erhältlich. Letztere bieten erstklassige Bildqualität, kombiniert mit hohen Bildraten und den Vorteilen der MIPI-Schnittstelle. Entwickler wählen ihren gewünschten Bildsensor und bestenfalls einen Anbieter, der auch Treiber im Quellcode und Zubehör wie Kabel, Objektivhalter, Optik, Beleuchtung und Adapterplatinen bereitstellt. Damit können die Kameramodule problemlos auf allen gängigen Prozessorboards mit MIPI CSI 2-Schnittstelle eingesetzt und problemlos in ihr Endprodukt implementiert werden.

VC Power SoM ist ein kleiner FPGA-basierter Hardwarebeschleuniger für komplexe Bildverarbeitung mit den Maßen nur 2,8 x 2,4 cm. Es lässt sich einfach, schnell und kostengünstig in die Embedded-Vision-Elektronik integrieren, als Komponente direkt im Mainboard-Design oder wie im Bild gezeigt mit einem Interface-Board (Bild: Vision Components)

Für noch schnellere Designs hat VC kürzlich VC PowerSoM vorgestellt, ein FPGA-basiertes Hardware-Beschleunigermodul, das in MIPI-Datenströmen implementiert werden kann. Das winzige, nur 28 mm x 24 mm große Modul führt komplexe Bildverarbeitungsberechnungen durch und überträgt die Ergebnisse direkt an eine Hauptprozessorplatine. Es kann als Modul direkt in Embedded-Vision-Mainboard-Designs integriert oder mit einem I/O-Board mit mehreren MIPI-Schnittstellen kombiniert werden. OEMs profitieren von der ausgereiften FPGA-Technologie und den umfassenden Bildverarbeitungsfunktionalitäten des VC Power SoM und können gleichzeitig das Embedded-Prozessorboard frei wählen und dessen volle Rechenleistung für die Hauptanwendung nutzen.

Platinenkameras inklusive CPUs: optimal aufeinander abgestimmte Komponenten

Die nächsthöhere Integrationsstufe sind Platinenkameras, die Kameramodule und Multi-Core-Verarbeitungseinheiten kombinieren, entweder mit allen Komponenten, einschließlich eines oder mehrerer Bildsensoren, perfekt integriert auf einer einzigen Platine, oder mit Platinenkameras, die über FPC-Kabel verbunden sind. Beide Aufbauten sind ultrakompakt, mit perfekt aufeinander abgestimmten Komponenten und auf die jeweilige Anwendung abgestimmt. Sie können in jedes größere System integriert werden. Oftmals können über den Prozessor dieser Systeme auch kundenspezifische Anwendungen auf Basis der Bilddaten ausgeführt werden. Für die Massenproduktion oder industrielle Anwendungen sind individuelle Anpassungen möglich. Auch individuelle Entwicklungen für besondere Anforderungen sind möglich – inklusive Gehäuse und Software. Ein Vorteil von Platinenkameras ist ihr bewährtes Design, das Entwicklungszyklen verkürzt und hilft, das Budget einzuhalten.

Einsatzbereite Embedded-Vision-Systeme: ideale Wahl für Standardanwendungen

Gleiches gilt für schlüsselfertige OEM-Lösungen, die für viele Standardanwendungen eingesetzt werden können. Ein perfektes Beispiel sind Profilsensoren, die ein Lasertriangulationsmodul und ein intelligentes eingebettetes Bildverarbeitungssystem kombinieren und Aufgaben wie 3D-Scans und Volumenmessung, optische Qualitätsprüfung und hochpräzise Positionierung automatisch geführter Robotik usw. übernehmen können.

Embedded-Vision-Systeme können ultrakompakt sein, verzichten auf alle unnötigen Komponenten und benötigen dank der Onboard-Datenverarbeitung keine externe Recheneinheit. Sie sind in zahlreichen Varianten erhältlich, vom Elektronikbausatz bis zum gebrauchsfertigen Komplettsystem für zahlreiche Industrieanwendungen. (Bild: Vision Components)

Diese Systeme sind hinsichtlich Gehäuse und Beschriftung häufig individualisierbar und können mit Kundensoftware an die spezifischen Projektanforderungen angepasst werden. Aufgrund des hohen Vorfertigungsgrades ermöglichen diese Systeme kürzeste Time-to-Market.

Ob MIPI-Kameras oder schlüsselfertige Lösungen: In allen Märkten besteht eine wachsende Nachfrage nach Embedded-Vision-Lösungen, sowohl für Verbraucherprodukte als auch für industrielle Anwendungen. Kleinere und leistungsfähigere eingebettete Bildverarbeitungssysteme werden in immer mehr Anwendungen eingesetzt, von der intelligenten Landwirtschaft und intelligenten Verkehrssystemen bis hin zu intelligenten Geräten für Verbrauchergeräte, Fabrikautomation und Logistik. Auch Gesundheits-, Medizin- und Biowissenschaften nutzen die Datentiefe, die fortschrittliche Embedded-Vision-Systeme bieten. Entsprechend wächst das Angebot an Komponenten, die perfekt auf die jeweiligen Einsatzgebiete und Anwendungen abgestimmt sind. Eine weitere Entwicklung geht hin zu mobilen Anwendungen, die keine Verbindung zu einer externen Recheneinheit benötigen und daher äußerst flexibel einsetzbar sind.

Mit der hohen Rechenleistung moderner Embedded-Prozessoren eignen sich Embedded-Vision-Systeme heute für alle Anwendungen, die früher mit PC-basierten Systemen ausgestattet waren. Darüber hinaus bieten sie entscheidende Vorteile: Embedded Vision Systeme sind ultrakompakt und lassen sich perfekt in Geräte integrieren. Sie sind autark, benötigen wenig Energie und verzichten auf alle nicht benötigten Komponenten. Damit eignen sie sich ideal für den Einsatz in Edge-, Handheld- und Mobilgeräten.

Jan-Erik Schmitt ist Vice President of Sales bei Vision Components. Er wurde 2008 in diese Position befördert und ist weltweit für die strategische Weiterentwicklung des Unternehmens verantwortlich. Schmitt hat das weltweite Vertriebsnetz kontinuierlich ausgebaut und als Key Account Manager zahlreiche Embedded-Vision-Projekte zum Erfolg geführt