I think by now everyone has heard of ‘LOFIC’. That’s short for Lateral OverFlow Integration Capacitor. You don’t need to know exactly how it works; the key point is that it allows you to capture more light per pixel without the pixel ‘burning out’ – in other words, without the pixel turning irretrievably white. And not just a little bit more, but much more. Much, much more.
I did a PATLive where I talked a bit about LOFIC and the various manufacturers that produce LOFIC sensors. And I’ve been saying for a year and a half now that I’ve ‘seen the future’. Back then, I came across a photo on a drone forum – a massive 200MB image straight from the camera. 133 megapixels. I showed the image to a few people, and their jaws dropped. But the image never left my computer. Now I’ve been given permission to publish it – with some restrictions. The cover image is a tiny, scaled-down version of the original.
Here’s a crop from the centre:
You don’t know where that’s supposed to be? There’s a light-brown patch right in the middle amongst the trees – that house and that bridge are underneath it.
I’ve also got a close-up of the mountainside:
That’s where the cables end. You can just about make them out; they run away from the house towards the top right. At the end is this pylon.
And then something even simpler: branches.
The colours are a bit too candy-like, aren’t they? That’s mainly down to the green bank on the right, though apparently it really was that bright green.
So what’s so special about it? It’s a backlit shot. The sun has just disappeared from the top of the frame, but its reflection is still visible at the bottom. The mountains aren’t washed out. The clouds are clearly defined. You can still make out the textures even in the forest. And, once again: nothing’s been fiddled with. That’s straight out of the camera. If you were to tweak it with editing tools, there’s still plenty of room for improvement.
The whole thing was taken a year and a half ago with a LOFIC prototype. I only received a JPG because, even today, there isn’t a single RAW converter on the open market that can read the RAW file.
This sensor prototype has a dynamic range of roughly 18 stops. Squeezing 18 stops into a JPG – that’s not possible without colour shift. And, as far as I’m aware, the camera manufacturer wasn’t yet satisfied with the signal processing. “It can do better.”
By way of comparison: the first mass-market camera with a LOFIC sensor, the DJI Pocket 4 Pro, features a Sony sensor capable of 16 stops. And that’s already impressive. 18 stops isn’t “a bit more” – it’s four times as much light.
And now it gets interesting. With a bit of compression, you can pack 16 stops of dynamic range into a 14-bit RAW file and then process it as 16-bit on the computer. You won’t be able to see all the light levels, as the monitors are only capable of 10-bit, but the software can usually handle 16-bit. Interestingly, some RAW formats are TIFF containers. These can handle 16-bit, but these containers usually just hold 12- or 14-bit RAW files. A 14-bit RAW file can no longer cope with a dynamic range of 18 stops. Now, you could embed 16-bit RAW files into the TIFF containers, but even then, the 18 exposure values are still a bit of a struggle.
What to do? 18-bit RAWs? In fact, there’s a format coming round the corner that’s been around for decades and was developed precisely for this sort of thing: 32-bit floating-point. The ‘HDR’ Radiance format by Greg Ward from 1987 (!). It can store 256 exposure values – and 281,474,976,710,656 different colours. That’s 281.5 trillion colours. That’s more than enough. Another option would be the EXR format. This dates from 2000. Although it can only handle 32 EV, and just 1 billion colours per brightness level, 18 billion colours should be sufficient in everyday use for a LOFIC image with 18 f-stops.
Many image-editing programmes already incorporate floating-point calculations for image manipulation. This prevents artefacts and tonal clipping. With HDR and EXR, this is already ‘built in’.
So what’s the problem? It’s impossible to display 18 EV anywhere. It doesn’t matter whether you’re creating HDR or EXR. A RAW converter therefore only ever shows a section, a ‘slice’, of the actual image. It is only through aggressive tone mapping that you can fit all the image’s information into an 8-bit JPG.
And this is where a company based in Sweden comes into the picture. Hasselblad. They’ve developed a piece of software called “Phocus” that focuses on natural colours. That’s not exactly easy; anyone who’s ever created HDRs with dynamic ranges of 18 stops or more can confirm that. But, as we’ve heard, Hasselblad is collaborating with a company that uses a LOFIC sensor.
So the LOFIC sensor on its own is already a brilliant bit of kit, because that incredible dynamic range is, of course, useful even for perfectly ordinary photos – the noise disappears because, even in a normal scene with a dynamic range of 10 stops, there are still 8 stops to spare. But it only gets really exciting thanks to the completely new editing possibilities and headroom that the sensor provides. A normal scene has a dynamic range of between 6 and 10 stops. It’s only when direct sunlight comes into play that the contrast really becomes striking. And the sensor has the advantage that you can – but don’t have to. With 32-bit floating-point processing, you can create any lighting atmosphere you like. An image like the one above, which eliminates the shadows. Or even a high-contrast image with deep, dark shadows. The floating-point maths can make the shadows almost as dark as you like without them becoming washed out – or the clouds almost as bright as you like without them blowing out. This is nothing new – the relevant software has been able to do this for a long time. It’s just that an 18-stop sensor provides incredible raw material for this.
We don’t need to mention that the corresponding video footage naturally offers a whole range of other post-production possibilities. The HDR and EXR formats originally come from the film industry – precisely for this reason.
And it’s not as though there haven’t long been ways to take high-dynamic-range images. Cameras capable of this were already available to buy fifteen years ago. They were just a bit pricey, and you had to know how to handle the output. The fact that such capabilities are now finding their way into cameras that have reached the consumer market is quite something.
Will this lead to a resurgence of those cringey ‘HDR images’? Initially, certainly – simply to show off the new purchase. But I hope that the new technical capabilities will be used to take better pictures.
One thing is clear in any case: the days of multi-shot HDR, as found in the Olympuses, are over. And the Live GND is also a feature that nobody needs anymore.
I don’t want to go so far as to predict that the next cameras will have 32-bit RAWs. It could just as easily be 16-bit RAWs. Just as Olympus sensors are already capable of 14 stops of dynamic range, but only write 12-bit RAW files, reserving the remaining stops for higher ISO ranges.
We’ll have to wait and see. One thing is certain: the sensors are coming. And anyone whose camera doesn’t offer LOFIC won’t be ‘of yesterday’ in a year’s time – they’ll be ‘of the day before yesterday’.
Sehr spannende Sache, für mich als Hobbyfotograf, der gerne Menschen, Kinder in Bewegung fotografieren / filmen möchte. Bin gespannt ob und wann was kommt mit welcher tatsächlichen Kompatibilität mit 4/3 und Mikro 4/3 Objektiven.
Vielleicht verstehe ich die Möglichkeiten noch nicht ganz. Gibt es denn tendenziell mit LOFIC die Möglichkeit höhere ISO zu benutzen, sodass der Einsatz von Blitzen hinausgezögert werden kann? Gäbe es die Möglichkeit die LOFIC Vorteile bei passender JPG-Einstellung zu nutzen und gleichzeitig die Dateigröße im Rahmen zu halten, bzw welche Dateigrößen müsste man erwarten?
Nachtrag an dieser Stelle zu den DJI OSMO Geräten: die Pocket finde ich interessant, weil stabilisiert und verschiedene Brennweiten nutzbar sind, nur leider wird sich das Gimbal mit dem feinen Sand an Nord- und Ostsee vermutlich nicht gut vertragen und was ist mit Regen / Feuchtigkeit? Oder baut man eine Poket mit etwas erweitertem Bildwinkel und realisiert die Stabilisierung und follow-me ähnlich bei der 360 mit intelligentem Bildausschnitt auf dem Sensor.
Bliebe die Osmo Action, der das Wasser und derSand vermutlich nichts anhaben kann, die aber für den Dreh bereits ausgerichtet sein muss bzw. ist der Blickwinkel ausreichend groß für geübte User, um bewegliche Kinder oder Menschen im Bild zu halten.
Diese Übung könnte dann die Osmo 360 besser, die nun mit wechselbarem Linsenglas angeboten wird.
Alle sind mit Mikrofon über Funk koppelbar. Leider verlieren sich die Mikros DJI Mic 3 bei aktiven Kindern, weil die Magnethalter zu einfach abscheren und leider fehlt die Möglichkeit, die Mikros mit einer Schlaufe unverlierbar an einer Jacke oder Helm zu befestigen. Solche kleinen Ösen wie bei USB-Sticks üblich, inklusive Stahldrahtschlaufe wären top.
Vermutlich sind bald alle DJI Action Geräte mit LOFIC zu haben. Wenn man die oben genannten Ausschnitte betrachtet, vermute ich, könnte die Osmo 360 die Osmo Action als universell einsetzbare Kamera etwas übertrumpfen, wer nur ein Gerät kaufen möchte, würde dann eine Osmo 360 vielleicht sogar einer Osmo Pocket vorziehen.
Kommt natürlich auf das Nutzerverhalten an. Bis auf weiteres wird es vermutlich für alle drei Produktlinien ausreichend große Kundengruppen geben, die nahezu jährliche Produktzyklen aufgrund technischer Verbesserungen für die Kunden und den Hersteller wirtschaftlich interessant werden lassen.
Zusätzlich würde mich eine gute Dashcam mit kabellos verbundener Heckkamera auch interessieren.
Gruß hest
Nachtrag Dateigröße: welchen Anteil daran hätte die Pixelzahl und welchen Anteil hätten die Bits? Bitte um Entschuldigung, sollte die Frage zu einfach sein.
Gruß
Hest
Bisher galt: Sensor-Pixel pro Farbe (R+G+B), also mal drei bei 8 bit. Bei 100 MB Auflösung des Sensors also 300 MB, wenn man das Foto öffnet. Bei 16 bit alles nochmals mal zwei, das geöffnete 100 MB-Foto wird 600 MB belegen und braucht bei der Bearbeitung entsprechend Saft im Compi. Bei 32 bit wohl mal drei, also 900 MB.
Vielen Dank! Gruß Hest
Sehr interessant. Einzig kritisch sehe ich den Speicherbedarf solcher Fotos. Im Profisegment und gerade der kommerziellen Filmbranche mag das noch egal sein, im Hobbybereich aber schon. Speicher und Festplatten sind in der letzten Zeit nicht gerade günstiger geworden. Mit anständiger Datensicherung und Redundanz kann man den Speicherbedarf je Bild mit Faktor drei Multiplizieren.
Aber das Potential was diese Sensoren bieten können ist schon geil.
Vorteile im gegenlicht verstehe ich ja , aber was bringt mir lofic bei lowlight ?
Für mehr Licht brauche ich doch da auch längere Belichtungszeit, oder ?
sorry wenn es eine dumme Frage ist
Grüße
Tom
Bastele gerade an Bildern mit Herbstlaub. Mehr Dynamik klingt da gut…
Ist keine dumme Frage. Zur Info: mit LOFIC kenne ich mich nicht aus, aber mit 16 bit-Fotos.
Zur Frage: du brauchst nicht längere Zeiten als bisher. Du hast einfach viel mehr Reserven in der Datei. Ich hatte mal wegen einem gesetzten Messwertspeicher ein fast schwarzes Foto. Weil es 16 bit aus der Hasselblad war, konnte ich es um fünf Belichtungsstufen hochziehen und es hatte immer noch wenig Rauschen und recht gute Farben mit Differenzierung. (Mit Olyfotos wäre man bei zwei Stufen schon im Elend.)
Gerade bei buntem Herbstlaub machen 16 bit einen Riesenunterschied. Mit der Oly und sauber entwickeltem Raw aus einem perfekt belichteten Foto bekommt man zwar die gewünschten Herbst-Farben, aber wenn man genau hinschaut, auch Abrisse, die sich in den gesättigten Farben zeigen. Heisst, die Blätter sind einfach voll gelb, haben aber kaum Differenzierung innerhalb des Gelb (wirken deshalb flach). Die kommt erst, wenn man die Gelbsättigung herunterdreht. Plastische Darstellung und Sättigung gleichzeitig ist schwierig oder nicht möglich. Anders bei Hasselblad-Fotos. Da hat man 16 mal mehr Farbdifferenzierungen (12 auf 16 bit) und kann deshalb plastisch wirkende Blätter mit hoher Sättigung problemlos abbilden.
Das Plus an Reserve hat man nicht nur bei hellem Himmel sondern generell. Mit 16 bit kann man z.B. Kreidefelsen auf Mön in voller Sonne, dünne Wolken mit Sonne dahinter und dunkler Wald oben an der Klippe alles mit Zeichnung (inkl. Farbdarstellung, nicht einfach herunter gedrücktes Weiss auf Grau) darstellen. Wenn man weiss wie, kann man das sogar auf mattem Papier drucken ohne die hässlichen HDR-Effekte.
Bei lowlight kannst du viel länger mit “normalen” Belichtungszeiten fotografieren und dann die Schatten oder das ganze Foto hochziehen. Genau so mache ich es, wenn der Stabi überfordert ist. Ich nehme die längste Zeit, die mit dem Stabi sicher scharf wird, und nehme die Unterbelichtung in Kauf. Wenn ich das Foto aus der Hasselblad bearbeite, habe ich trotz der Unterbelichtung gute Tonwertabstufungen und schöne Farben.
Danke schön für die gute Erklrung , also ist der neue Sensor doch sehr interessant für mich
Welche Größe hat der Bildsensor, mit dem das Titelbild aufgenommen wurde?
Tut mir leid, darf ich nicht verraten.
Wer braucht da noch eine Sammlung von x Objektiven??
Einfach reinzoomen und Bildausschnitt festlgen – fertig
Denkt man so. Funktioniert aber nicht. Schärfentiefen verändern sich. Bildanmutungen verändern sich. Ein “digitaler zweifachzoom” geht so. Darüber wird es schlecht. So cool diese Möglichkeit ist, ewig irgendwo reinzuzoomen – ein anständiges Bild wird das in den seltensten Fällen.
Wenn ich die Erklärung richtig verstanden habe, können diese Sensoren gnadenlos “überbelichtet” werden, ohne dass die Lichter ausbrennen. Heißt aber im Umkehrschluss, dass man die Vorteile dieser Sensoren nur mit längeren Belichtungszeiten ausnutzen kann. Bringt also z.B. in der Astrofotografie für die Belichtungszeiten erstmal gar nichts, man kann nun aber deutlich länger belichten und damit die letzten Photonen aufsammeln, ohne das hellere Bildteile ein Meer von weißen Pixeln bilden. Hilft also auch in der Astrofotografie gewaltig, aber nicht bei der Empfindlichkeit und den Belichtungszeiten.
Damit ist das Ende der “alten” Sensortechnik für mich (noch) nicht eingeläutet, da es viele Anwendungen im reinen High-Iso Bereich gibt, bei denen man die langen Belichtungszeiten gar nicht ausnutzen kann. Bei vollem Sonnenlicht am Tag sicher, bei wenig Licht werden sich diese Sensoren erst bewähren müssen. Oder habe ich da etwas falsch verstanden?
Ich habe noch keine LowLight-Bilder aus den modernen LOFIC-Sensoren gesehen. Ich kann nichts qualifiziert dazu sagen. Mir wurde gesagt, dass bei 1″-Sensoren und einem aktuellen LOFIC bei ISO 1600 noch keinerlei Rauschen festzustellen sei. Ob das stimmt, wird sich rausstellen, wenn ich irgendwas aktuelles da habe.
Die LOFIC-Technologie sieht bemerkenswert aus, aber ich befürchte, dass viele Benutzer eher
eine KI benutzen werden, um den Dynamikumfang zu erhöhen (Generative Dynamik-Erweiterung):
https://www.slashcam.de/artikel/Wissen/Generative-Dynamik-Erweiterung-durch-KI—Von-LTX-bis-Beeble.html
KI ist auf die Dauer für den Anwender richtig, richtig teuer. (Ganz abgesehen davon, wann die KI-Blase platzt und diese ganzen Rechenzentren nur noch sehr teurer Sondermüll sind.) Die KI-Nerds haben Rechnungen bis zu 3000 Dollar pro Monat. Die KI einen schlechten Film hochrechnen zu lassen ist eine grandiose Idee – es ist aber deutlich billiger, den Film gleich mit ner guten Kamera zu drehen.