Die Zukunft der Kameras

Die Entwicklung der industriellen Kameratechnologie und Bildsensoren für Bildverarbeitungsanwendungen – wie die Inspektion von Flachbildschirmen, Leiterplatten (PCBs) und Halbleitern sowie Lagerlogistik, intelligente Transportsysteme, Pflanzenüberwachung und digitale Pathologie – hat neue Anforderungen an Kameras und Bildsensoren gestellt. Dazu gehört vor allem die Notwendigkeit, das Laufwerk für eine höhere Auflösung und Geschwindigkeit mit geringerem Stromverbrauch und geringerer Datenbandbreite auszubalancieren. Und in manchen Fällen gibt es auch einen Vorstoß zur Miniaturisierung.

Auf der Außenseite befindet sich ein Kameragehäuse mit Befestigungsmöglichkeiten und Optik. Während dies für den Benutzer wichtig ist, gibt es im Inneren erhebliche Herausforderungen, die sich auf Leistung, Leistungsfähigkeit und Stromverbrauch auswirken. Dabei spielen Hardware wie Bildsensoren und Prozessor sowie Software eine Schlüsselrolle.

Welche Veränderungen werden wir nach unserem Kenntnisstand im nächsten Jahrzehnt bei Kameras, Prozessoren, Bildsensoren und Verarbeitung erleben? Und welchen Einfluss werden sie auf unsere Lebensqualität haben?

Wenn Sie sich für ein neues Auto entscheiden, gibt es nicht die Einheitslösung, die für alle passt. Dasselbe gilt auch für Bildsensoren.

Es stimmt, dass immer größere und leistungsfähigere Bildsensoren für bestimmte Klassen von Hochleistungs-Vision-Anwendungen sehr attraktiv sind. In diesen Fällen sind Größe, Stromverbrauch und Preis der in diesen Anwendungen verwendeten Bildsensoren nicht so wichtig wie die Leistung. Ein gutes Beispiel ist die Inspektion von Flachbildschirmen. Einige Hersteller von Flachbildschirmen suchen nun nach Fehlern im Submikrometerbereich bei hochwertigen Displays. Das ist buchstäblich klein genug, um Bakterien auf dem Display zu erkennen.

Boden- und weltraumgestützte Astronomieanwendungen erfordern eine noch höhere Leistung. Forscher am SLAC National Accelerator Laboratory des US-Energieministeriums demonstrierten eine 3-Gigapixel-Bildgebungslösung – das entspricht Hunderten heutiger Kameras – unter Verwendung einer Reihe kleinerer Bildsensoren. Laut SLAC ist die Auflösung der Bilder „so hoch, dass man einen Golfball aus etwa 24 Kilometern Entfernung sehen könnte“. Aus dieser bemerkenswerten Leistung können wir schließen, dass die Zukunft dessen, was die Forschungslabore der Welt erreichen können, nahezu grenzenlos ist.

Mitglieder des Kamerateams des Large Synoptic Survey Telescope LSST bereiten sich auf die Installation des L3-Objektivs auf der Brennebene der Kamera vor, einer kreisförmigen Anordnung von CCD-Sensoren, die Bilder mit 3,2 Megapixeln aufnehmen können. Bild von Jacqueline Ramseyer Orrell/SLAC National Accelerator Laboratory

Aber egal wie hoch die Auflösung ist, wir sehen, dass die Leistungsfähigkeit der etablierten 2D-Bildgebung allmählich erschöpft ist. Fortschrittliche optische Inspektionssysteme erfordern keine höhere Geschwindigkeit oder mehr Daten. Sie verlangen mehr und nur nützliche Informationen.

Einige Trends rund um die immer größere Menge an Informationen, die für jedes einzelne Pixel erforderlich sind, sind auf dem Vormarsch.

Die 3D-Bilderfassung bietet eine zusätzliche Dimension mit mehr Granularität, Detailgenauigkeit und Erkennungsfähigkeit. Anwendungen wie die Batterieinspektion oder wiederum die Herstellung von Fernseh-, Laptop- und Telefonbildschirmen erfordern, dass optische Inspektionssensoren noch mehr Informationen sammeln. In diesem Fall reicht selbst das Auffinden von 2D-Defekten mit einer Auflösung im Submikrometerbereich nicht mehr aus, sodass wir ihre Höhe und möglicherweise sogar ihre Form ermitteln müssen, um festzustellen, ob Bilder durch abwaschbaren Staub, harte Partikel oder Nadeln sowie andere Partikel beeinträchtigt werden.

Anwendungsentwickler setzen fleißig Farben, Winkel und verschiedene Bildgebungsmodalitäten – wie 3D oder Polarisation, was eine weitere Dimension des Lichts darstellt – ein, um die Bedürfnisse ihrer Kunden zu erfüllen. Im Gegenzug arbeiten die Kamerahersteller hart daran, die Werkzeuge für den Handel bereitzustellen.

Hyperspektrale Bildgebung ist ein weiterer, sich schnell verstärkender Trend. Wie die meisten Fernerkundungstechniken macht sich die hyperspektrale Bildgebung die Tatsache zunutze, dass alle Objekte aufgrund ihrer elektronischen Strukturen (für das sichtbare Spektrum) und molekularen Strukturen (für das SWIR/MWIR-Spektrum) einen einzigartigen spektralen Fingerabdruck besitzen, der auf den Wellenlängen von basiert sichtbares und unsichtbares Licht, das sie absorbieren und reflektieren. Dadurch werden eine Vielzahl von Details sichtbar, die mit normalen Farbbildsystemen (z. B. Mensch oder Kamera) nicht sichtbar sind. Die Fähigkeit, die Chemie in Materialien zu „sehen“, findet breite Anwendung bei der Mineralien-, Gas- und Ölexploration, in der Astronomie und bei der Überwachung von Überschwemmungsgebieten und Feuchtgebieten. Hohe spektrale Auflösung, Trennung und Geschwindigkeit sind nützlich für die Waferinspektion, Messtechnik und Gesundheitswissenschaften.

In diesen Märkten überschreiten Sensor- und Kamerahersteller die Grenzen in Bezug auf Geschwindigkeit, Kosten, Auflösung und Leistungsfähigkeit. Wir erweitern unsere Technologie im Spektralbereich und umfassen die Energiedetektion, die mit Röntgenstrahlung beginnt und mit der hochpräzisen Wärmebildgebung endet, und ermöglichen so den Zugriff auf diese Technologien für mehr Anwendungen. Diese sorgfältigere, schnellere und präzisere Inspektion hilft Herstellern, eine 100-prozentige Inspektion beispielsweise von Lebensmitteln einzuführen, nach Verunreinigungen zu suchen, den Inhalt zu messen und auf durch Lebensmittel übertragene Bakterien zu prüfen.

Die Bildverarbeitung ist von Natur aus datenintensiv. Hochauflösende Imager, die heute mit extrem hohen Bildraten arbeiten, können über 16 GB/s an kontinuierlichen Daten erzeugen. Anwendungen erfordern dann die Erfassung, Analyse und Verarbeitung dieser Daten. Der Notfall der künstlichen Intelligenz (KI) verschiebt die Grenzen des Verarbeitungsbedarfs weiter.

Nehmen Sie das Beispiel einer KI-basierten Kamera zur Ampelüberwachung.

Typischerweise verwenden diese Anwendungen einen Sensor im Bereich von 10 Megapixeln, der etwa 60 Bilder pro Sekunde verarbeitet. Dies liefert einen kontinuierlichen Datenstrom von nur 600 MB/s Daten.

Die typische neuronale Netzwerkverarbeitung basiert heutzutage auf der Verwendung kleiner Bildrahmen in der Größenordnung von 224 x 224 Pixeln in Farbe = 3*50 Kilopixel bei 3*1 Byte pro Pixel (150 kB pro Rahmen). Die CPU eines modernen PCs kann es einem neuronalen Netzwerk zur Objekterkennung ermöglichen, mit 20 Bildern pro Sekunde zu laufen und damit einen Datendurchsatz von etwa 3 MB/s zu erreichen. Dies ist ein 200x geringerer Datendurchsatz als bei den Verkehrskameras und drosselt somit das MöglicheEingangDatenstrom stark beeinträchtigen.

Intelligente Verkehrslösungen können Video- und Wärmebildkameras mit künstlicher Intelligenz, Videoanalyse, Radar und V2X mit Verkehrsmanagement- und Datenanalysesoftware kombinieren, um den sicheren und reibungslosen Betrieb von Städten zu gewährleisten. Bilder über Teledyne FLIR

Es ist wichtig zu beachten, dass dieAusgabe Der Stream sollte als Information und nicht nur als Rohdaten betrachtet werden. Dem Beispiel eines 600-MB/s-Bildstroms folgend, führt das System die Verfolgung, das Lesen und die Verarbeitung durch, um einige Zahlen pro Szene zu erhalten. Möglicherweise sehen wir ein Nummernschild oder, in einer Sortieranwendung, auch nur „Auswerfen: Ja oder Nein“, wodurch der enorme Datenstrom auf ein einziges Bit reduziert wird.

Dies ist zwar keine leichte Aufgabe, wenn sie jedoch gelingt, wird sie für die nachgelagerte Datenerfassung, -verarbeitung und -speicherung sehr attraktiv sein. Um diese Einschränkungen des Eingabedatenstroms zu lösen, müssen wir clevere Sensortechnik, fortschrittliche KI-Prozessoren und integrierte algorithmische Lösungen kombinieren.

Die überwiegende Mehrheit der Kameras verwendet herkömmliche Halbleiter wie Zentraleinheiten (CPUs) oder feldprogrammierbare Gate-Arrays (FPGAs). Leistungsstärkere Einheiten verwenden möglicherweise leistungsfähigere FPGAs oder Grafikprozessoren (GPUs). Bisher konnten diese Prozessortypen dem Mooreschen Gesetz folgen, doch die Leistung der Vergangenheit ist keine Garantie für die Zukunft.

Darüber hinaus verbrauchen GPUs, CPUs und FPGAs viel Strom und erzeugen daher viel Wärme. Bis zu einem gewissen Grad kann dies mit gutem Design bewältigt werden, aber wir werden alternative Prozessor- und Verarbeitungsarchitekturen benötigen, um Herausforderungen langfristig zu lösen.

Quantencomputing und integrierte Photonik-/Elektronikprozessoren stehen in einer Reihe, um die anspruchsvollsten Leistungs-/Leistungsanforderungen jeder Bildverarbeitungsanwendung zu erfüllen.

Bis diese Technologien jedoch verfügbar und kommerziell realisierbar sind, werden neuere Prozessorarchitekturen wie Compute-in-Memory oder integrierte, dedizierte Beschleunigung die Grenzen des Möglichen weiter verschieben.

Grundsätzlich sollten Hersteller bei der Auswahl des richtigen Prozessors für ihr System Tera-Operationen pro Sekunde pro Watt (TOPS/W) berücksichtigen. Obwohl dies eine nützliche Kennzahl für die Rohleistungseffizienz ist, müssen wir bedenken, dass es sich bei der endgültigen Anforderung eigentlich um Entscheidungen pro Watt handelt, eine Metrik, die es noch nicht gibt.

Auf der Verarbeitungsseite sehen wir, angetrieben von Giganten wie Microsoft, Apple und Google, Fortschritte bei den Algorithmen, sowohl in Bezug auf Geschwindigkeit als auch Leistungsfähigkeit. KI-basierte Lösungen werden immer leichter, aber dennoch leistungsfähiger und umfassender. Herkömmliche algorithmenbasierte Lösungen nutzen moderne Prozessorarchitekturen mit höherer Effizienz. Die Verfügbarkeit kommerzieller KI-Softwaretools, die in bestehende Bereitstellungsabläufe integriert werden können, führt zu geringerem Stromverbrauch und geringeren Kosten bei gleichzeitiger Erhöhung der Fähigkeiten.

In Verbindung mit fortschrittlichen Bildsensortechnologien sehen wir auch die Weiterentwicklung von Low-Data-Lösungen, einschließlich ereignisbasierter Erfassung, die räumlich, zeitlich und sogar auf Photonenebene implementiert wird, z. B. Photonenvervielfacherröhre oder Electron Multiplying CCD (EMCCD). Ersatz.

Die Evolve-Kamerareihe umfasst weltweit führende EMCCD-Sensoren, die von Teledyne e2v für Quanteneffizienz und geringes Leserauschen entwickelt und hergestellt werden. Die Sensoren werden von Teledyne Photometrics in Kameras für Anwendungen bei extrem schlechten Lichtverhältnissen wie Einzelmolekül-Bildgebung und TIRF-Mikroskopie integriert.

Ereignisbasierte Sensoren reagieren auf Änderungen und filtern irrelevante Daten direkt im Sensor, um nur Informationen von Pixeln, die sich geändert haben, an den Prozessor zu senden. Dies unterscheidet sich von herkömmlichen, bildbasierten Sensoren, die alle Pixel aufzeichnen und zur Verarbeitung senden, wodurch die Pipeline des Systems überlastet wird. Wir bezeichnen diese Art des Datenflusses oft als neuromorphe Verarbeitung, da seine Datenverarbeitungsarchitektur die Art und Weise nachahmt, wie das menschliche Gehirn Informationen verarbeitet. Während die neuromorphe Verarbeitung im Prozessor erfolgen kann, müssen wir für eine optimale Reduzierung des Datenvolumens einen ereignisbasierten Sensor mit einem neuromorphen Prozessor kombinieren.

Es gibt andere clevere Möglichkeiten, die Datenübertragung dynamisch zu reduzieren, einschließlich intelligenter ROI-Funktionen (Region of Interest) und dynamischer Datenreduktionsalgorithmen, die wir gerade in High-End-Sensoren einsetzen.

Durch die Integration von speziellem Datenerfassungsverhalten mit Hochleistungsprozessoren und intelligenten, leichtgewichtigen Algorithmen erhalten wir die entscheidende Kombination, die wir benötigen, um Entscheidungen direkt am Netzwerkrand zu treffen, wo Ereignisse stattfinden und Maßnahmen erforderlich sind. Mit diesem Ansatz können selbst leistungsstarke, hochinformative optische Inspektionssysteme ohne langwierige, langsame und teure PC-Verbindungen unabhängig arbeiten und so schneller auf Probleme mit 100-prozentiger Überwachung bei geringeren Kosten reagieren.

Insgesamt werden diese Fortschritte die Sicherheit und Qualität verschiedener Produkte, landwirtschaftlicher Produkte und Güter verbessern und gleichzeitig die Produktionskosten senken.

Es gibt eine weitere Inspektionsebene, die den herkömmlichen Methoden entgeht.

Im Gegensatz zu Herstellern von Flachbildschirmen, die keine Bakterien auf ihren Displays erkennen möchten, gibt es Fälle, in denen Benutzer Bakterien in sehr hoher Auflösung sehen müssen.

Hier verwenden wir Mikroskopietechnologien mit hoher Vergrößerung und integrieren optische, chemische, biologische und rechnerische Methoden, um tiefere Informationen über die Nanostruktur unserer Welt zu liefern.

Bildsensoren haben es ermöglicht, menschliches Gewebe auf Krebszellen zu untersuchen. Während die heutige Methode zum Nachweis von Krebs in Gewebeproben grob ist und eine chirurgische Entfernung von Gewebeproben erfordert, die dann zur weiteren Untersuchung an ein Labor geschickt werden, wird eine neue Technik, die Zellzytometrie, es Ärzten eines Tages ermöglichen, festzustellen, ob eine Probe krebsartig ist nahezu in Echtzeit, während der Patient noch auf dem Operationstisch liegt. Da die Verarbeitungsfähigkeit näher an das Pixel heranrückt, können wir jetzt in einem großen Labor in einer klinischen Umgebung das Bild einer Zelle erfassen und ihre DNA betrachten. In Zukunft werden wir diese Zellinspektion nahezu in Echtzeit von großen Laboren in lokale Labore und schließlich auf den Operationstisch verlagern.

Forscher der Universität Hongkong haben Techniken der bildgebenden Durchflusszytometrie entwickelt, um den Zeit- und Kostenaufwand für Blutuntersuchungen zu reduzieren. Mithilfe der gepulsten Laser-Zeilenscan-Bildgebung mit dem Digitalisierer von Teledyne SP Devices konnten sie in Verbindung mit Deep die enormen Mengen an resultierenden Daten verarbeiten – bis zu 100.000 Einzelzellenbilder/s und 1 TB Bilddaten in 1–2 Minuten -lernende neuronale Netze und automatisierte „Big-Data“-Analyse.

Stellen Sie sich vor, Sie rüsten einen Chirurgen mit den Werkzeugen aus, um die Diagnose während einer Operation abzuschließen. Ein Tumor könnte in Echtzeit klassifiziert und entfernt werden, anstatt dem Patienten eine stressige Wartezeit aufzuerlegen und den Arzt zu einer zweiten Operation zu zwingen. Das ist eine echte Verbesserung der Lebensqualität.

Die Größe stellt eine weitere Herausforderung für die Bildgebung und die Sehentwicklung dar. Neuartige Hochleistungslösungen sind im Allgemeinen sowohl teuer als auch groß. Das Ziel, während einer In-vivo-Operation ein Genomanalysegerät auf einem Desktop zu haben, ist ein Beispiel für die Herausforderung, die wir bewältigen müssen, wenn wir kleinere, besser zugängliche Lösungen für Ärzte und ihre Patienten realisieren wollen.

Abhilfe schaffen ultrakleine Bildsensoren, Lichtquellen und Prozessoren für miniaturisierte Kameraanwendungen. Winzige Chip-on-the-Tip-CMOS-Bildsensoren bieten Chirurgen die verbesserte Sicht, die sie benötigen, um minimalinvasive endoskopische und laparoskopische Operationen effizienter als in der Vergangenheit durchzuführen. Auch die robotergeführte Chirurgie profitiert von kompakten Bildsensoren mit sehr kleinem Pixelabstand und einer für bestimmte medizinische Eingriffe optimierten Bildqualität.

„Chip-on-the-Tip“-CMOS-Bildsensoren für Einweg- und flexible Endoskope und Laparoskope erfordern kompakte Sensoren mit einem sehr kleinen Pixelabstand und einer speziell auf die medizinische Anwendung optimierten Bildqualität.

Mit leistungsstarken und effektiven Werkzeugen, die Ärzten zur Verfügung stehen, werden medizinische Verfahren schneller, weniger invasiv und erfolgreicher, was Patienten, Ärzten und der medizinischen Gemeinschaft insgesamt zugutekommt.

Fortschritte in der Kamera- und Bildsensortechnologie werden nicht nur große Auswirkungen auf die Fabrikhalle, das Lager oder intelligente Transportsysteme haben. Die nächste Generation von Kameras wird in Drohnen eingesetzt oder in Handgeräte integriert und wird uns mithilfe der Spektroskopie sagen, ob sich Giftstoffe in unseren Produkten oder unserem Trinkwasser befinden – oder ob sich Umweltgifte in der Luft befinden, die wir atmen.

Sogar PCR-Tests (Polymerase-Kettenreaktion) auf Krankheiten wie SARS-CoV-2 werden einfacher und kostengünstiger durchgeführt, da in molekulardiagnostischen Werkzeugen kostengünstigere Bildsensoren verwendet werden. Und die DNA-Sequenzierung, für die früher große, teure Maschinen zur Sequenzierung des menschlichen Genoms zur Bestimmung der Abstammung erforderlich waren, wird durch Innovationen in der Bildgebung und Analytik immer zugänglicher und erschwinglicher.

Obwohl wir keine 100-prozentige Genauigkeit prognostizieren können, können wir Prognosen auf der Grundlage dessen treffen, was wir über die Marktanforderungen und die sich entwickelnde Technologie wissen. Erwarten Sie immer leistungsfähigere KI-Prozessoren, die bei geringerem Stromverbrauch und kühleren Temperaturen mehr Rechenleistung bieten. In Kombination mit leistungsstarken algorithmischen Lösungen erhalten Lösungsanbieter Zugang zu einem breiteren Spektrum geeigneter Anwendungen.

Neuromorphe Computerplattformen werden die Effizienz des menschlichen Sehens nachahmen. Intuitivere KI-Softwarealgorithmen werden Bildverarbeitungsmodelle effektiver als je zuvor trainieren. Hyperspektrale Bildgebung wird uns weiterhin bis unter die Erdoberfläche führen. Und miniaturisierte Bildsensoren ermöglichen eine molekulare Diagnostik bereits während der Operation.

Seit der Erfindung der ersten Fotokameras im frühen 18. Jahrhundert haben Kameras eine Million Meilen zurückgelegt. Wir werden noch weitere Millionen reisen, da Innovationen bei Kameras und Bildsensoren unsere Fähigkeit verbessern, die Welt um uns herum – und in uns – zu verstehen.

Geschrieben von Matthias Sonder, Teledyne DALSA