Der anhaltende Trend weg von reinen FPGA Kameralösungen hin zu smarten Produkten mit leistungsfähigen Prozessorsystemen (Embedded Vision Applikationen) sorgt aktuell immer wieder für Inkompatibilitäten zwischen Bildsensor und Prozessor. Dabei gibt es vier typische Anwendungsfälle:

1. Ein moderner Rolling-Shutter Bildsensor soll an ein FPGA angeschlossen werden (z.B. Machine-Vision Anwendungen).
2. Ein Global-Shutter Bildsensor soll an ein Embedded Vision Prozessorsystem angeschlossen werden (z.B. Industrie 4.0 Anwendungen).
3. Ein Bildsensor der kommenden Generation mit seriellem Highspeed-Interface (z.B. Sony SLVS-EC) soll angeschlossen werden an ein FPGA oder einen Prozessor (z.B. Spezialsensorik Anwendungen mit extrem hoher Auflösung).
4. Ein Spezialsensor (z.B. ToF-Sensor oder Wärmebildsensor) soll in ein Embedded Vision System integriert werden (z.B. Sensor-Fusion Anwendungen).

Je nach Anwendungsfall steht der Entwickler vor der Problematik, dass die typischen Sensorschnittstellen (MIPI CSI-2, SLVS, HiSPI, SLVS-EC, parallel, LVDS, proprietär, …) nicht direkt an das FPGA oder Prozessorsystem (MIPI CSI-2, parallel, FPGA-IOs, …) passen. Inbesondere die Konvertierung von und nach MIPI CSI-2 nimmt hier einen besonderen Stellenwert ein. Zum Einen ist die Umsetzung nicht trivial aufgrund des Protokolls und auch aufgrund der elektrischen Besonderheiten des MIPI CSI-2 Standards. Zum Anderen möchte man häufig insbesondere bei Embedded Vision Anwendungen ein großes FPGA (teuer, komplex, hohe Verlustleistung, großer Platzbedarf) möglichst vermeiden.

Hier sind schlanke und an die Anwendung angepasste Lösungen gefragt, die beispielsweise mit Hilfe eines kostengünstigen Lattice MachXO3 oder Crosslink von einem Sony Global-Shutter Bildsensor (z.B. IMX250) auf ein MIPI CSI-2 Interface übersetzen können inklusive flexibler Taktanpassung und ganz ohne Framebuffer.

Die Schmid-Engineering GmbH hat hier entsprechende Cores entwickelt, die je nach Kundenwunsch auf die jeweiligen Anforderungen zugeschnitten werden können. Diese Cores werden immer zusammen mit dem entsprechenden Knowhow-Transfer als Quellcode übergeben , so dass das Core anschließend vom Kunden selbst gepflegt werden kann und mit den Projekten mitwächst, z.B. wenn auf einen anderen Bildsensor adaptiert werden muss. Und natürlich helfen wir auch bei der Lösung von Detailproblemen wie z.B. elektrische Besonderheiten und Limits der jeweiligen FPGA-Hersteller oder Taktratenprobleme, die in manchen Sensor-Prozessor-Kombinationen zu erheblichen Problemen führen können, wenn sie nicht bedacht werden.

Sprechen Sie uns an für eine individuelle Lösung.

Der Einsatz intelligenter Sensorik ist zunehmend gefragt zur Lösung verschiedenster Automatisierungsaufgaben, von der Überwachung des fehlerfreien Betriebs einer Anlage, über die Frühdiagnose von Ausfällen z.B. aufgrund defekter Baugruppen bis hin zur autonomen Abarbeitung komplexer Prozesse.

Durch die Fusion unterschiedlicher Informationsquellen, wie beispielsweise hochauflösende Bildsensoren für den sichtbaren Bereich zusammen mit Wärmebildsensoren, ist es möglich, z.B. Personen im Aktionsbereich einer Robotikeinheit erkennen zu können oder auch thermische Prozesse wie das Aushärten (Curing) von Klebeprozessen beurteilen zu können.

Möglich wird dies mit Hilfe vernetzter Embedded Vision Prozessorsysteme, die:

• die Bilddaten der Sensoren selbständig aufbereiten.
• die Bilder entzerren.
• ein Overlay erzeugen können.
• in den Bilddaten verschiedenste Analysetechniken anwenden können, wie
  • Mittelwertbildungen
  • Pattern-Matching und Mustererkennung
  • 3D-Rekonstruktion und Triangulation
  • Deep-Learning Verfahren
• komprimierte Live-Streams für das Streaming im LAN/WAN erzeugen.
• eine webbasierte Steuerung, Kalibrierung und Diagnose ermöglichen.
• selbständig entscheiden können, ob beispielsweise ein Mitarbeiter alarmiert werden muss, weil eine Anomalie erkannt wurde.

Gerade einmal so groß wie eine Zigarettenschachtel ist ein Prototyp, den wir auf Kundenwunsch im Rahmen einer Studie inkl. Prototyping erstellt haben. Ausgerüstet mit einer 5MP Kamera und einem QVGA Wärmebildsensor ist das System in der Lage, ein Livebild mit bis zu 10Bilder/s über das Netzwerk in jeden beliebigen HTML5-Browser zu streamen. Dabei ist ein Streamen aber nicht unbedingt nötig, denn das System erkennt selbständig, ob sich innerhalb einer definierten Zeit ein signifikanter Temperatursprung in einem Messfenster ereignet hat und kann darauf hin das Ereignis mit Hilfe entsprechender Netzwerkprotokolle (z.B. XML-RPC, SMTP, MQTT, ..) an eine übergeordnete Instanz melden.

Neben dieser sehr einfachen Demonstration sind natürlich deutlich komplexere Produkte denkbar, die weitere Sensorik integrieren können oder auch aufwändige Aufgaben wie eine automatisierte 3D-Rekonstruktion „on-the-fly“ machen können. Dazu besteht die Möglichkeit, je nach Aufgabenstellung die geeigneten Sensoren aus einem großen Portfolio auszuwählen (siehe auch unsere Kompetenzen), diese mit einer auf die Aufgabe abgestimmten Prozessorfamilie zu kombinieren und zusammen mit dem passenden optischen Subsystem (Objektiv, Beleuchtung, Mechanik) eine maßgeschneiderte Sensoriklösung zu kreieren, um auch Ihre Industrie 4.0 Fragestellung mit einem soliden Produkt zu lösen.

Michael Schmid