Voilà le résultat de quelques petites expériences avec dcraw et autres outils (d'octave à diff en passant par gdb)... J'espère que ça répondra à quelques unes de vos interrogations.

Les résultats venant de Lightroom devraient s'appliquer aussi à d'autres produits Adobe (à confirmer).

Les données:

- Trois prises A/B/C en faisant varier au minimum les conditions de prise de vue (mode manuel, mise au point fixe, boîtier calé). A en PEF, B en DNG, C en PEF.
- A', B', C' ont étés obtenus en important ces images dans Lightroom avec l'option de conversion et d'archivage en DNG.
- A", B", C" ont étés obtenus en important ces images dans Lightroom avec l'option de conversion et d'archivage en DNG compressé (lossless).

Taille des fichiers (en MB):
K10d
A: 8.6
B: 16.1
C: 8.6
LR DNG
A': 19.6
B': 19.9
C': 19.6
LR DNG lossless
A": 7.4
B": 7.6
C": 7.4

Différence "à l'oeil":
- Dans Lightroom, absolument aucune.
- Dans le décodeur intégré à OS X (utilisé par Preview, Pixelmator), le DNG est décodé plus sombre.
- Dans dcraw, avec options -W -4 -T pour avoir du TIFF 16 bits sans ajustement de luminosité en sortie:
* Sans l'option -w (qui ignore le réglage de WB de l'appareil): le DNG a une teinte verdâtre, le PEF jaunâtre. Soit les données sont réellement différentes, soit la valeur de la WB par défaut dans les deux formats est différente.
* Avec l'option -w, les images décodées sont kif kif.

mini-FAQ:

Quel type d'imagettes sont stockées pour chaque format?

Réponse rapide: Des grosses dans les fichiers générés par le K10d, des petites dans les fichiers générés par Lightroom.

Réponse détaillée: On utilise dcraw avec -e pour extraire l'imagette.
PEF K10d: 3872x2592 (1.2 MB)
DNG K10d: 3872x2592 (1.2 MB)
PEF K10d -> DNG: 1024x685 (32 kB)
DNG K10d -> DNG: 1024x685 (32 kB)
PEF K10d -> DNG lossless: 1024x685 (32 kB)
DNG K10d -> DNG lossless: 1024x685 (32 kB)

Le PEF stocke une bonne grosse imagette pleine taille, alors que le DNG, lossless ou pas, stocke un fichier rikiki super compressé de 32kB.

Pourquoi quand j'importe le DNG dans Lightroom j'ai un plus gros fichier que quand j'importe le PEF ?

Réponse rapide: Parce qu'à la conversion PEF->DNG, Lightroom élimine des pixels au bord de l'image, hors cadre.

Réponse détaillée: On utilise dcraw avec -i -v pour obtenir les infos d'image.

PEF K10d:
Full size: 3936 x 2624
Image size: 3896 x 2616
Output size: 3896 x 2616

DNG K10d:
Full size: 3936 x 2624
Image size: 3896 x 2616
Output size: 3896 x 2616

PEF K10d -> DNG Lightroom:
Full size: 3888 x 2608
Image size: 3888 x 2608 <- w00t!
Output size: 3888 x 2608

DNG K10d -> DNG Lightroom:
Full size: 3936 x 2624
Image size: 3896 x 2616
Output size: 3896 x 2616

Le capteur du K10d enregistre des images 3936 x 2624, mais seuls les 3872x2592 centraux sont "utiles". Quand Lightroom convertit le PEF en DNG, il ne garde que la zone centrale de l'image avec une marge de 8 pixels autour, soit une image de 3888x2608. Ce "crop" n'est pas effectué lors de la conversion du DNG du K10d en DNG Lightroom. Ce qui explique pourquoi le DNG produit à partir du DNG est plus gros que le DNG issu du PEF. 3936 x 2624 - 3888 x 2608 = 188160 pixels x 16 bits = 376320 octets, on retrouve nos 300 kB de différence.

Est-ce vraiment important? Cette marge de manoeuvre autour de l'image originale est sans doute utilisée pour ne pas avoir à gérer les effets de bord dans le filtre de démosaïquage (ou tout autre filtre appliqué à l'image). Mais il faudrait avoir des filtres très longs pour avoir besoin de plus de 8 pixels.

Lightroom offre une option de sauvegarde de DNG lossless. Est-ce vraiment lossless?

Réponse rapide: Oui.

Réponse détaillée: décodage avec dcraw -D -4, diff binaire du PGM. Aucune différence entre A' et A", B' et B", C' et C".


Y'a-t-il une différence de qualité entre le DNG produit par le K10d et le DNG sauvegardé par Lightroom lors de son import?

Réponse rapide: Non.

Réponse détaillée: décodage avec dcraw -D -4, diff binaire du PGM. Aucune différence entre B et B'. Bref, vous pouvez laisser lightroom convertir, archiver vos DNG pris avec le K10d.


Bah alors dis moi pourquoi le DNG du K10d, qui a une grosse imagette, fait 16.1 MB alors que le DNG sauvegardé par Lightroom fait 19.6 MB avec son imagette rikiki?

Réponse rapide: Lightroom stocke l'image sur 16 bits, alors que le DNG produit par le K10d est sur 12 bits.

Réponse détaillée: gdb dcraw pour inspecter le contenu de tiff_bps. Le DNG sauvegardé par le K10d utlise 12 bits par pixels (c'est ce que fournit le capteur). Le DNG sauvegardé par Lightroom utilise systématiquement 16 bits par pixel (sans doute parce que c'est plus facile d'accéder en mémoire aux données de l'image si elles sont un minimum word-aligned).

(16.1 Mb - 1.2 Mb d'imagette) x 16/12 + 32k d'imagette = 19.9 Mb


Y'a-t-il une différence entre le PEF produit par le K10d et le DNG sauvegardé par Lightroom lors de son import? Autrement dit, vais-je perdre quelque chose en archivant mes PEF en DNG dans Lightroom?

Réponse rapide: Oui et non. Le DNG produit est "croppé" pour laisser une marge plus fine autour de la zone utile de l'image. A l'intérieur de cette zone, les données sont identiques.

Réponse détaillée: décodage avec dcraw -D -4. Ensuite:
X = load_pgm("A.pgm");
Y = load_pgm("Ap.pgm");
% Crop
sum(sum(abs(X(1:end-8,1:end- -Y)))
ans = 0
Aucune différence.


Y'a-t-il une différence de qualité entre le PEF et le DNG produits par le K10d?

Réponse rapide: non.

Réponse détaillée: décodage avec dcraw -D -4. Ensuite:
A = load_pgm("A.pgm");
B = load_pgm("B.pgm");
C = load_pgm("C.pgm");

Là, ça se corse. Si on fait une différence directe entre A et B ou A et C, on va voir les erreurs d'alignement. On essaie quand même. La différence entre A et B et A et C est du même ordre de grandeur:
sum(sum(abs(A-B)))
ans = 101708264
sum(sum(abs(A-C)))
ans = 96933285

On veut une mesure de différence invariante par déplacement. On peut regarder simplement si les histogrammes sont similaires. Pour ça, on peut utiliser par exemple la divergence de Kullback-Leibler entre les histogrammes normalisés (je passe sur le code).
DKL (B|A) = 7.2e-04
DKL (C|A) = 7.0e-04

Là encore, rien de significatif.

Je n'aime pas la méthode utilisée à la réponse précédente. Encore une fois, y a-t-il une différence de qualité entre le PEF produit par le K10d et le DNG?

Réponse rapide: non, les données sont les mêmes, elles sont justes codées un peu différemment !

Réponse détaillée: J'ai tracé le décodage d'une image dans dcraw...



- La structure du fichier est celle d'un fichier TIFF. Attention hein, même si on emploie souvent TIFF pour désigner un format d'image non compressé, TIFF c'est une vraie auberge espagnole. Là, toutes les métadonnées sont stockées dans des tags TIFF. L'IFD contient:
* l'imagette minuscule [160x120, comp 6 = JPEG]
* l'imagette [full size, comp 6 = JPEG]
* l'image principale [comp = 65535, 12 bits]. Je ne sais pas si l'algorithme de compression #65535 décrit ci-dessous est propre à Pentax.

- Le bloc de données principale (dont la taille et l'adresse de début sont données dans l'IFD) contient des données encodées de la façon suivante:
1/ On décode le code préfixe suivant
3 00
4 01
2 100
5 101
1 110
6 1110
0 11110
7 111110
8 1111110
9 11111110
10 111111110
11 1111111110
12 1111111111
2/ Cela nous donne le nombre N de bits à lire (c'est optimisé pour les petites valeurs).
* On lit N bits signés, cela donne un entier diff entre -2^(N-1) et 2^(N-1)-1
* luminosité[x,y] = luminosité[x-2,y] + diff, sauf pour la première colonne où
on a luminosité[x,y] = luminosité[x,y-2] + diff
Bref, code entropique neuneu sur résidu de prédicition neuneue (causale et qu'horizontale).

- Le reste, c'est la chaîne classique qui n'a plus rien à voir avec le RAW: démosaïquage, conversion RGB, application de la WB et des corrections de luminosité enregistrées avec l'image...




- Le DNG c'est du TIFF aussi, avec exactement les mêmes entrées dans l'IFD... Exception: l'image principale est en 12 bits, compression 1 ce qui veut dire... pas de compression. Il y a un tag (50706) qui indique la version de format DNG. C'est tout ce qui distingue le DNG du PEF.
- Le décodage des données de l'image est on ne peut plus simple: on lit des blocs de 12 bits et voilà.

Ce qu'il faut retenir, c'est qu'il n'y a aucune compression (lossy ou lossless) impliquée dans l'affaire.




Comme le DNG du K10d, sauf que l'image principale est en 16 bits et que les imagettes sont de taille différente.



On commence à connaître la chanson. L'image principale est compressée avec l'algorithme #7, qui consiste à découper l'image en petits blocs (240x128) compressés en JPEG lossless - qui est une méthode assez voisine de celle utilisée par le PEF: on code un résidu de prédiction sous forme nombre de bits puis les bits eux même ; le nombre de bits est codé avec un code entropique qui peut être différent pour chaque bloc (ahah), et la prédiction est faite par rapport aux pixels de la ligne et de la colonne précédente (au lieu de la simple colonne).


Résultat des courses : PEF = DNG sans l'étiquette DNG avec algo de compression lossless propriétaire un peu moins performant que celui de DNG lossless.

Ca ne m'étonne pas que Pentax ait été le premier à supporter DNG, puisque son format propriétaire PEF est totalement similaire, à l'algo de compression près.

Le PEF stocke-t-il plus de métadonnées que le DNG?

Réponse rapide: Oui.

Réponse détaillée: J'ai listé les EXIF. Le PEF a 22 entrées, le DNG 20. Les entrées dans le PEF qui ne sont pas dans l'EXIF:
- 41730, "CFA pattern" (c'est stocké sous forme de tag IFD dans le DNG).
- 37500, "MakerNote" qui contient 77k dans mon PEF!

Ca a l'air d'être des metadonnées dans un format à tags façon TIFF mais avec des tags propriétaires. Je ne sais pas quoi en faire. Peut être que les pros des métadonnées ici connaissant des outils qui déchiffrent ça.

Bonjour,
Travail remarquable, merci de l'avoir communiqué sur le forum
J'en conclu que pour 1 K10D le DNG va très bien et permet d'archiver les photo sous ce format pour le long terme, si adobbe arrive à l'imposer.
Peut-on en conclure la même chose pour le K20D : surement oui..à voir
Contrairement au K10 les PEF et DNG du K20D font la même taille.
A+

Je peux faire la même chose avec les PEF et DNG du K20d... il me suffit d'avoir les fichiers !

Merci bien pour cette étude détaillée,
Je vais continuer en PEF -> DNGcomp sous LR.

Je n'ai pas vu l'intérêt du cliché C par rapport au A...

joli travail pichenettes !
merci !

T'es sur concernant la formule pour ton code binaire ?
Dans le doute, et surtout pour me simplifier je reste en Pef

Cela dit, c'est très instructif Pichenettes
Merci

Salut,

Merci pour ces infos.
Voici un point que j'ai remarqué et peut être sauras tu m'expliquer:
Je prends des photos en dng. Je les copie/colle sur mon PC. Elles font alors généralement 16Mo.
Ensuite importation dans lightroom. Et si je alors je les exporte (même sans avoir fait de modifications) toujours en dng, elles ne font plus que 8Mo. Comment ça se fait?
Merci
JF

Avec le K20D les PEF et bles DNG font le même poids ( 23,50Mo) alors que les PEF importés avec conversion DNG compressée sans perte le "dng" fait 12,50Mo. Je note "dng" car avec l'explorateur windows les fichiers issus de l'APN ont comme suffixe "DNG" les PEF ont "PEF" et les PEF importés comme DNG par LR ont comme suffixe "dng" . Demain je ferais la même photo en PEF et DNG et je transmettrais les 3 fichier à pichenettes, si ça passe par MP et s'il est toujours d'accord.

Merci pichenettes super boulot

WOW, impressionnant ....
Merci bcp , tres instructif .. je reste en JPEG ultra destructif , pouqruoi ? parce que j'aime bien .... et si je clique sur le bouton RAW du K10, c'est le DNG qui se prend ...


Super boulot encore une fois pichenettes

Tu as oublié de fournir le cours de traitement du signal pichenettes
Beau boulot, au moins, on sait de quoi il en retourne maintenant.

un up ici...le poids des PEF ds le k20d est de 12 Mo en gros contre 24 Mo pour les DNG.......quid???

Merci pour ce test c'était très intéressant!

Perso je suis sur un GX10 et j'ai l'impression qu'il me convertit pas tout (certaines sont laisser en DNG standard (16mo) et d'autre en DNG compressé (10 mo))

bizarre ...

Je viens de découvrir ça, super analyse ! J'ai 2 remarques :

pichenettes a écrit:

Le capteur du K10d enregistre des images 3936 x 2624, mais seuls les 3872x2592 centraux sont "utiles". Quand Lightroom convertit le PEF en DNG, il ne garde que la zone centrale de l'image avec une marge de 8 pixels autour, soit une image de 3888x2608. Ce "crop" n'est pas effectué lors de la conversion du DNG du K10d en DNG Lightroom. Ce qui explique pourquoi le DNG produit à partir du DNG est plus gros que le DNG issu du PEF. 3936 x 2624 - 3888 x 2608 = 188160 pixels x 16 bits = 376320 octets, on retrouve nos 300 kB de différence. Est-ce vraiment important? Cette marge de manoeuvre autour de l'image originale est sans doute utilisée pour ne pas avoir à gérer les effets de bord dans le filtre de démosaïquage (ou tout autre filtre appliqué à l'image). Mais il faudrait avoir des filtres très longs pour avoir besoin de plus de 8 pixels.

je pense plutôt que ces pixels non-exposés servent à estimer le bruit (électrique, chaleur...) du capteur, faire des stats spécifiques à chaque ligne ou je ne sais quoi... et alors plus on en a plus l'estimation est précise.
C'est bizarre que Adobe les jette, et perso je pense que ça peut éventuellement se réveler limitant un beau jour :-(

pichenettes a écrit:

Réponse détaillée: J'ai listé les EXIF. Le PEF a 22 entrées, le DNG 20. Les entrées dans le PEF qui ne sont pas dans l'EXIF: - 41730, "CFA pattern" (c'est stocké sous forme de tag IFD dans le DNG). - 37500, "MakerNote" qui contient 77k dans mon PEF! Ca a l'air d'être des metadonnées dans un format à tags façon TIFF mais avec des tags propriétaires. Je ne sais pas quoi en faire. Peut être que les pros des métadonnées ici connaissant des outils qui déchiffrent ça.

Personellement, mes DNG (PEF convertis par LR2) contiennent ces tags. D'ailleurs j'avais lu qque part que le DNG faisait attention d'incorporer tous les tags, même ceux qu'ils ne comprenaient pas (en les encapsulant).
PhotoMe par exemple trouve bien ces deux tags.

Conclusion : PEF ou DNG, même métadonnées (chez moi).
Comme vous ne voyez apparemment qu'une vingtaine de tags (contre des tonnes pour PhotoMe), je pense que les outils que vous utilisez ne laisse filtrer que ce qu'ils comprennent.

pichenettes , je viens de découvrir ton post !!
en un mot : " grandiose " quel boulot et quel patience !!
Je n'ose même pas émettre une question ?
Perso je suis en PEF pour la place occupée sur mes cartes mémoires . Au vu de la chute des prix de celles-ci , des 16 ou 32 Go deviennent relativement abordables.
Pourquoi ne pas passer au DNG directement sur le boitier pour avoir ce format " de stockage dans le temps "
Les images DNG converties jpeg ou TIFF ont-elles une meilleure définition que la même manip en PEF. ?
Ma vieille imprimante , ne me permet pas de remarquer une différence ?