Raspberry Pi-Kamera nutzt Ton, um Fotos mit KI zu erstellen

Was ist das für ein Geräusch? Lassen Sie sich von dieser blinden Kamera zeigen!

Man sagt, ein Bild sagt mehr als tausend Worte, aber könnten tausend Worte ein Bild wert sein? Der Macher und Entwickler Diego Trujillo Pisanty wollte das mit seinem Raspberry Pi-basierten Blindkamera-Projekt herausfinden. Anstatt ein Objektiv zu verwenden, um Licht einzufangen und ein Bild zu erstellen, hört es auf Geräusche und erstellt anhand der erkannten Geräusche eine Annäherung an das, was sich um es herum befinden könnte.

Das Gerät funktioniert ähnlich wie eine normale Kamera: Sie richten die Kamera auf das, was Sie aufnehmen möchten, und drücken eine Taste, um ein Bild zu erzeugen. In diesem Fall verfügt es jedoch über ein riesiges Horn an der Vorderseite, das dabei hilft, die Aufnahme von Geräuschen zu verstärken. Benutzer sollten dieses Horn in die Richtung richten, in die sie einfangen möchten, bevor sie die Taste drücken. Anschließend analysiert die Kamera den Ton durch einen KI-Filter und generiert ein Bild.

Laut Pisanty hat er eigens für dieses Projekt ein maßgeschneidertes künstliches neuronales Netzwerk (KNN) entwickelt. Er trainierte die KI mit seinen eigenen Modellen auf der Grundlage einer Reihe von Videos, die in Mexiko-Stadt aufgenommen wurden.

Das Modell wurde erstellt, indem jedes Videobild aufgenommen und mit der letzten Sekunde Audio begleitet wurde. Dies trug dazu bei, eine Verbindung von Ton und Video aufzubauen, die das System zum Erstellen von Bildern verwenden kann. Da es auf diese Weise trainiert wurde, basiert alles, was es erstellt, lose auf Innenstadtbildern von Mexiko-Stadt.

Für dieses Projekt verwendet Pisanty ein Raspberry Pi 3B-Modul. Es wäre jedoch möglich, es mit einem Raspberry Pi 4 nachzubilden. Solange der Pi mit Tensorflow umgehen kann, sollte es funktionieren. Die Kamera verfügt außerdem über einen kleinen Bildschirm, der als eine Art Sucher dient. Es informiert Benutzer darüber, wann Bilder verarbeitet werden, und bietet eine Vorschau der generierten Bilder. Alles ist in einer maßgeschneiderten 3D-gedruckten Hülle untergebracht.

Das zum Trainieren der blinden Kamera verwendete KI-Modell wurde mit Python 3 erstellt. Es ist für die Verwendung mit Tensorflow 2 konzipiert und läuft auf dem Raspberry Pi mit TFLite. Wenn Sie dieses Raspberry-Pi-Projekt nachbauen oder sich einfach genauer ansehen möchten, wie alles zusammenpasst, schauen Sie sich das von Pisanty auf YouTube geteilte Video an und lesen Sie mehr über das Projekt auf seiner Website.

Schließen Sie sich den Experten an, die Tom's Hardware lesen, um Insider-Informationen zu PC-Tech-News für Enthusiasten zu erhalten – und das seit über 25 Jahren. Wir senden Ihnen aktuelle Nachrichten und ausführliche Rezensionen zu CPUs, GPUs, KI, Hersteller-Hardware und mehr direkt in Ihren Posteingang.

Ash Hill ist freiberuflicher Nachrichten- und Feature-Autor bei Tom's Hardware US. Sie verwaltet die Pi-Projekte des Monats und einen Großteil unserer täglichen Raspberry Pi-Berichterstattung.

Raspberry Pi versorgt digital-analoge Polaroidkamera mit Strom

Raspberry Pi erweckt Big Mouth Billy Bass mit ChatGPT zum Leben

AMD erweitert Jedi-CPU-Bundle und startet neues Resident Evil 4-GPU-Angebot mit 50 US-Dollar Rabatt auf 7900X3D

Von Stewart Bendle, 5. Juni 2023

Von Aaron Klotz, 5. Juni 2023

Von Mark Tyson, 5. Juni 2023

Von Anton Shilov, 5. Juni 2023

Von Mark Tyson, 5. Juni 2023

Von Ash Hill, 5. Juni 2023

Von Ash Hill, 5. Juni 2023

Von Mark Tyson, 4. Juni 2023

Von Mark Tyson, 4. Juni 2023

Von Ash Hill, 4. Juni 2023

Von Ash Hill, 4. Juni 2023