Neue Sensoren von Olympus

Vor ziemlich genau einem Jahr fand in Hiroshima ein Internationales Treffen zum Thema Bildsensoren statt. Dort hielten ein paar Entwickler von Olympus einen Vortrag über einen “3D-Stacked-” Sensor, der gleichzeitig im sichtbaren Licht und in infrarotem Licht aufzeichnen kann. Zu diesem Vortrag kam nun ein mehrseitiges PDF raus, das auf MDPI.com veröffentlicht wurde. MDPI ist ein Schweizer Unternehmen, das wissenschaftliche Texte im Rahmen von “open  access” veröffentlicht – und zwar unter Creative Commons Licence.

Das PDF wurde am 24. Mai 2018 veröffentlicht, kurz darauf wurde jemand bei DPReview darauf aufmerksam und dann hatte es auch schon 43rumors gemeldet.

Was ist so spannend an dieser Sache?

Nahes Infrarot ist normalerweise eine ausgesprochen unerwünschte Wellenlänge und wird deshalb durch spezielle Filter vor den Sensoren ausgesperrt. Infrarot sorgt auf Sensoren für falsche Helligkeitseindrücke und Unschärfen (Infrarot wird anders gebrochen als sichtbares Licht, so dass der Fokuspunkt von IR hinter dem Sensor liegt) – und da man Infrarot ja nicht sieht, ist die Entscheidung einfach: wech damit.

Nun gibt’s ja Fans von Infrarot-Fotografie, die sich den Filter vor dem Sensor rausmachen lassen und dann damit auf den Nachthimmel losgehen oder andere, die dann das sichtbare Licht über vorgesetzte Filter aussperren und nur noch mit Infrarot fotografieren. Ist – auch finanzieller – Aufwand, aber macht Spaß.
Ein entscheidendes Problem bei der IR-Fotografie ist, dass das natürlich schwarz/weiß ist. Denn im nicht sichtbaren Licht gibt es für uns keine Farben. Deshalb muss der IR-Fotograf, der farbige Bilder will, diese Farben mühsam über die Bildbearbeitung hinzufügen.

Das ist soweit alles bekannt und für IR-Fotografen hat das einen Bart bis Neuseeland.

Jetzt kommt’s aber:

Der Olympus-Sensor arbeitet ein bisschen ähnlich wie der gute alte Foveon. Auf der Oberfläche gibt’s eine Schicht mit herkömmlicher Bayer-Matrix – und darunter gibt’s nochmal einen Layer mit genausoviel Pixeln, die aber nur im Infrarot-Bereich arbeiten. Nun kommt natürlich am oberen Pixel zu viel Licht an, weil eben auch der Infrarot-Anteil auf dem Sensor landet und Farbe und Schärfe verfälscht. Nur weiß Olympus durch das darunterliegende zweite Pixel, wie groß der IR-Anteil ist. Der Rest ist simple Subtraktion und schon hat man sichtbares Licht und IR-Anteil getrennt. Das ist ja schon mal ganz nett, jetzt kommt aber ein “Dreckeffekt”. Das ganze Licht auf dem IR-Sensor muss ja vorher durch die Bayer-Matrix mit den Farbfiltern. Das bedeutet, man kann im IR-Bereich nachvollziehen, welche Farbe das Pixel im sichtbaren Licht hat. Natürlich frisst die obere Schicht des Sensors Licht, und zwar mit fast 4 Blenden nicht zu knapp, aber der Sinn des Sensors ist ja nicht etwa, eine reine IR-Kamera zu ersetzen, sondern relevante Zusatzinformationen zu liefern.

Was kann man nun mit so einem Sensor anstellen?

Zuerst einmal muss klar sein, was nahes Infrarot überhaupt macht. Das ist eigentlich kaum was anderes als sichtbares Licht, nur eine andere “Farbe”, die wir eben nicht sehen können. Nahes Infrarot hat nichts mit Wärmebildkameras zu tun. Wir reden hier über “IR-A”. Das sind Wellenlängen bis etwa 1400 Nanometer, was der Sensor, wie er bisher beschrieben ist, gerade eben so kann. Es geht also nicht um Wärmestrahlung. Wer also denkt, er kann mit dem Sensor Wärmebilder von Häusern machen – Nein. Geht nicht. Die entsprechenden Wellenlängen sind achtmal größer.

Also, was geht? Noch dazu, weil der Sensor ja 92% des Infrarots im Sensor verliert und damit das IR-Bild zwangsläufig kontrastärmer und unschärfer als das RGB-Bild ist?

Der Trick ist, dass beide Bilder parallel vorhanden sind. Der Rest ist Mathematik. Man kann also aus einem Hypothetischen “3D”-RAW ein Bild erzeugen, dessen dargestelltes Spektrum vom sichtbaren Licht bis eben 1200nm (zwischen 1200 und 1400nm wird die Ausbeute schon sehr mager.) verschoben werden kann. Im sichtbaren Licht ist kein Unterschied zu einer normalen Kamera sichtbar, da der fehlende IR-Filter vor dem Sensor durch den nachgeschalteten IR-Sensor und den Bildprozessor ersetzt wird. Interessant wird es im reinen IR_Bereich, weil der IR-Sensor dann die Informationen über Helligkeit und Wellenlängenbereich liefert – aufgrund der geringeren Empfindlichkeit mit schlechterer Auflösung und erheblich höherem Rauschanteil – und der RGB-Sensor die Detailauflösung. In Summe kommt ein Bild wie aus einer normalen Kamera heraus – nur eben mit einer zusätzlichen Information in jedem Pixel, wie hoch der IR-Anteil ist. Und denn kann man nun beliebig hinzumixen. Und selbst wenn man den RGB-Farb-Anteil komplett herausnimmt und durch den IR-“Farb”-Anteil ersetzt, wäre die Detailauflösung nicht schlechter – nur die Farbauflösung würde sinken, was aber gerade im Infrarotbereich nicht das echte Drama ist.
Auch für einen Autofokus ist so ein IR-Sensor eine prima Sache. Da die Brechung des IR von der des sichtbaren Lichts abweicht, kann man aus dem Unterschied die Entfernung zum Motiv berechnen.

Olympus hat so einen Sensor natürlich nicht aus Spaß an der Freude entwickelt. Olympus ist eine Medizinfirma und denen ist aufgefallen, dass nahes Infrarot tiefer in die Haut eindringt als sichtbares Licht, man kann damit also “unter die Haut sehen” und beispielsweise Venen fotografieren. Nun ist das bisher aber noch keinem Infrarotfotografen aufgefallen, dass die mit IR porträtierten auf einmal lauter Venen im Gesicht haben und wie Zombies auskucken. Im Gegenteil, Porträts im Infrarot wirken ätherisch, weil alle Hautunreinheiten wie durch Zauberhand verschwunden sind.  Also was nu? Des Rätsels Lösung ist natürlich, dass es, um unter die Haut zu kucken, noch ein bisschen mehr braucht. IR-Lichtquellen passender Wellenlänge zum Beispiel. Das ist jetzt nicht das, was man als Normalfotograf in der Fototasche hat. Und eben spezielle Sensoren – wie den, den da Olympus gerade entwickelt. (Und über die unterschiedlichen IR-Eigenschaften von Objektiven müssten wir uns erst noch unterhalten….)

Wer jetzt denkt “Boah ey, will ich haben” – dem sei gesagt, dass es einen kleinen Unterschied zwischen einem funktionierenden Sensorprototypen und einem fertigen Consumerprodukt gibt. Dieser Unterschied beträgt etwa fünf Jahre.

Als die E-M1II herauskam, ging ein halbes Jahr vorher ebenfalls ein 3D-Stacked-Sensor von Olympus durch die Sensorszene. Da ging es drum, dass der Sensor seine Daten über kleine Leitungen in einen Puffer in einem zweiten Layer schiebt, so dass der Sensor auf einen Schlag ausgelesen werden kann. Ein fieser Trick bezüglich “Rolling Shutter” und Voraussetzung für einen Handheld – HighRes-Shot. Insider hofften auf den 3D-Sensor schon für die E-M1II und wurden bitter enttäuscht. So schnell geht es einfach nicht. So ein Sensor muss ausreichend zuverlässig sein, muss getestet werden, der Ausschuss in der Produktion muss minimiert werden und dann muss auch noch die Kühlung beherrscht sein. Das muss man erst mal bauen. Testen. Nochmal bauen. Und dann noch eine Kamera aussenrum entwicklen. Und herausbekommen, welche Mathematik notwendig ist, dass man aus dem neuen Spielzeug auch begeisternde Fotos rauskriegt – und was man mit diesem 3D-Stacked-Sensor überhaupt anstellen kann.

Zum Beispiel kann man damit während der laufenden Belichtung den Inhalt eines Pixels abgreifen. Und zwar nicht nur 1/24 der Pixel wie bei LiveTime. Sondern 1/4 der Pixel. Was macht man damit? Man kann damit die Dynamik des Sensors steigern. Wenn man nach einem Viertel der Belichtung den Zwischenstand abspeichert und nach der gesamten Belichtung mit dem Endstand verrechnet, gibt es keine ausgefressenen Stellen mehr. Das ist quasi ein HDR in einer Belichtung.
Da der AF bei den Olympus-Kameras ja seine Information vom Sensor erhält, ist es auf einmal möglich, auch noch während der Belichtung den Autofokus zu ermitteln, der C-AF
wird also verbessert werden.
Dass der Rolling Shutter sich erledigt hat, habe ich schon angesprochen (nicht dass er bei der E-M1II noch dramatisch gewesen wäre.) Was aber vor allem von Interesse ist: Die Bildwiederholfrequenz wird nur noch von zwei Dingen bestimmt: Die Schnelligkeit des Pufferspeichers und des Kameraprozessors. Und beides wiederum hängt vor allem am
Stromverbrauch und damit der Wärmeentwicklung. Womit wir wieder bei der Entwicklungszeit sind – denn seitdem bei der Canon 5DMarkII die Sensoren im Videomodus reihenweise den Wärmetod gestorben sind, ist das größte Problem der Kameras immer wieder die Abführung der Wärme. Und das kann man noch so exakt berechnen – es stellt sich erst im praktischen Betrieb heraus, ob die Berechnungen stimmen. Also: Bauen, testen, verbessern. Das kostet Zeit. Ob es der vor drei Jahren bei Sensorspezialisten vorgestellte Sensor mit all den coolen, möglichen Features in die nächste Kamera schafft, wissen nur die Götter vom Olymp.

Der jetzt vorgestellte “Multiband-Sensor” dürfte aber auf jeden Fall nicht vor 2022 so weit sein. Wenn er überhaupt jemals die Domäne “Medizintechnik” verlässt. Der vorgestellte Prototyp hat auf jeden Fall ein eher ungewöhnliches Format:

4224*240 Pixel.