Ein Bild besteht aus 1 bis 255 Komponenten (Bildebenen). Diese werden einzelnen Farben in RGB (Rot, Gelb, Blau), YIQ oder YUV-Signalen zugeordnet. Jede dieser Komponenten setzt sich dabei aus Pixelblöcken (Abtastwerten) zusammen. Die Auflösung der verschiedenen Bildebenen kann dabei variieren. Jedes Pixel (in allen Bildebenen) wird mit p Bits () kodiert. Während der verlustbehaftete im allgemeinen 2 bis 12 Bit zur Pixelkodierung verwendet, fordert der verlustfreie Modus 8 oder 12 Bit. JPEG-Anwendungen mit anderer Pixeldarstellung müssen mit einem geeigneten Verfahren angepaßt werden. Bei der Kompression werden nicht die Werte sondern kodiert, sowie die Faktoren , die die relative Auflösung in Bezug auf die minimale Auflösung darstellen. Dabei sind
Beispiel: Ein Bild habe die maximale Auflösung von 512512 Pixel und
bestehe aus
3 Ebenen.
Zur Kompression im verlustbehafteten Modus erfolgt eine Zerlegung des Bildes
in 88 Pixelblöcke (im verlustfreier Modus wird jedes Pixel einzeln
betrachtet). Innerhalb einer Bildebene werden diese Dateneinheiten Zeile
für Zeile abgearbeitet. Die Dateneinheiten mehreren Ebenen können verschachtelt
bearbeitet werden, damit bei einer RGB-Darstellung und hoher Auflösung
das fertige Bild gleich mit allen Farben und nicht
erst nur in Rot-, danach in Grün-Tönen und dann erst mit den korrekten Farben
dargestellt wird. Siehe hierzu auch die folgende Abbildung 
[Ste93b].
Die in Regionen zusammengefaßten Dateneinheiten "`*"' der verschiedenen
Ebenen () werden im verschachtelten Modus zu
"`Minimum Coded Units"' (MCU) kodiert (vgl: Abbildung ).
Jede MCU darf dabei maximal 10 Dateneinheiten beinhalten.
Innerhalb eines Bildes müssen nicht alle Ebenen verschachtelt kodiert werden. Beim Dekodieren wird das Bild dann MCU-weise zur Anzeige gebracht. Das unkomprimierte Bild steht nach der Bildaufbereitung als Dateneinheiten zu je 88 Pixel zur Verfügung. Die einzelnen Abtastwerte der Dateneinheiten werden dabei mit 8 Bit kodiert. Jedes Pixel entspricht also einem Wert zwischen 0 und 255.