Densifier Overview
Densifier_Logo
Projekt-Homepage:   www.Densifier.de (identisch mit diesen Seiten)

Densifier® Datenkompressionstechnologie der Compris Intelligence GmbH

Elefant


Arithmetische Codierung bis zu 30% schneller

Mit unserem Kompressionsverfahren haben wir die arithmetische Codierung, welche die besten Packungsdichten erzielt, so optimiert, daß diese um bis zu 30% beschleunigt wird, was Ihnen eine Zeitersparnis beim Packen bringt.


Genauer Zuriff und Entpacken kleiner Teile von Dateien

Der Stand der Technik zur Zeit besteht darin, große komprimierte Archive anzulegen, welche vor der Bearbeitung erst einmal als ganzes entpackt werden müssen. Mit unserem Verfahren ist dies für Sie nicht mehr nötig, denn dieses Verfahren ist in der Lage in kürzester Zeit auf einzelne Datensätze und selbst kleinste Informationseinheiten trotz Komprimierung zielgenau zuzugreifen. Das bringt Ihnen eine enorme Ersparnis an Wartezeiten, wo Sie auf die Komprimierung, bzw. Dekomprimierung warten müssen, denn nur die wirklich benötigten Informationen werden entpackt.


Schema

Jedes Datenkompressionsverfahren kann — nach neuesten wissenschaftlichen Erkenntnissen — in mindestens drei Komponenten aufgeteilt werden. Die Densifier® Datenkompressionssoftware realisiert in jeder Komponente die neuesten Technologien, die sorgfältig konzipiert wurden, um optimal miteinander in Synergie zu arbeiten. Im Gegensatz dazu realisieren die meisten gängigen Datenkompressionssysteme ad-hoc Vermischungen dieser drei Komponenten, die zu unnötig großen, d.h. schlecht gepackten Archiven führen und die weder in anderer Kombination wiederverwendbar noch offen sind für die gängigen Entwicklungen aus der Forschergemeinschaft:

 

1.    Modellierung: Das Zerlegen der Eingabedaten in Datenpakete – so genannte Symbole, die getrennt komprimiert werden. So kann ein Text Beispielsweise in Wortketten, Worte, Silben oder einzelne Zeichen zerlegt werden. Ein Bild kann man in viele kleine Rechtecke zu 3x3, 4x4, 5x5, ... Bildpunkten zerlegen.

2.    Statistikverwaltung: Verwaltet, wie häufig ein Symbol bisher vorgekommen ist oder mit welcher Wahrscheinlichkeit das Symbol erwartet wird. Diese beiden Größen lassen sich meist ineinander umrechnen. Die Art der Statistikverwaltung hängt jeweils von der zugrunde liegenden Codierung ab.

3.    Codierung: Setzt die Wahrscheinlichkeiten für Symbole in einen Bitstrom um. Hierfür gibt es zwei praktikable Verfahren:

a)    Huffman-Codierung: Das schnellste, aber weniger kompakt packende Verfahren

b)    Arithmetische Codierung: Das theoretisch und praktisch optimal packende Verfahren (für dieses Modul; in der Modellierung kann beliebig optimiert werden), denn die arithmetische Codierung erreicht exakt die Daten-Entropie in ihrer Packungsdichte. Sie ist leider 3-5 mal langsamer als die Standard-Huffman-Codierung.

 

Statistikverwaltung und Codierung sind im Grunde austauschbar und in ähnlicher Form für jede Anwendung einsetzbar. Die Praxis hat gezeigt, dass sich die höhere Rechenzeit für die arithmetische Codierung lohnt, wenn es Symbole mit hohen Wahrscheinlichkeiten gibt. Dies ist besonders bei der Kompression von strukturierten Daten der Fall.

 

Die Modellierung ist der Punkt, der anwendungsspezifisch ist und für den es keine optimalen Packungsdichten gibt. Leider kann im allgemeinen Fall nie gleichzeitig optimiert werden zu Gunsten von Packungsdichte, Packgeschwindigkeit und Hauptspeicherbedarf — wird eine Eigenschaft optimiert, verschlechtern sich die anderen beiden (Tradeoff). Was die Densifier® Datenkompression einzigartig macht, ist dass viel Aufwand darein geflossen ist, diese Optimierungen für viele spezielle Anwendungsgebiete durchzuführen, indem dort das Wissen über die Struktur der Eingabedaten eingegeben oder automatisch gelernt wurde mit intelligenten Verfahren. Diese Spezialisierungen und damit Optimierungen finden ausschließlich in der Modellierungskomponente statt, welche daher das Zentrum der Densifier® Datenkompressions-Innovation ist.

 

Allerdings ist unsere beschleunigte Form der Statistikverwaltung für arithmetische Codierung sowie andere Beschleunigungen für arithmetische Codierung und Huffman-Codierung auf praktisch jedes Kompressionsverfahren anwendbar.

 

Jede Datenkompressionsanwendung lässt sich wiederum etwas zu Gunsten der Geschwindigkeit oder der Packungsdichte optimieren. Gerne nehmen wir für Sie konkrete Abänderungen vor.

 

Für Ihre konkrete Kompressionsaufgabe ermitteln Sie am besten die Art (Grafik, Text, strukturierte Daten, etc.) Ihrer häufigsten Daten. Hierbei und bei der Eingrenzung der geeigneten Verfahren helfen wir Ihnen gerne. Falls Sie sehr viele verschiedene Datentypen haben, sollten Sie entweder alle spezialisierten Kompressionsverfahren einsetzen oder aber das allgemeine Verfahren.

 

In den Data Sheets sind die Datendurchsatzraten generell in kBytes pro Sekunde (kB/Sekunde) angegeben. 1 kB/Sekunde entspricht 8 kbits pro Sekunde (kbps – kilobits per second) oder 0,0078 Mbps (Megabits per second). Diese Durchsatzraten beziehen sich — sofern nicht anders angegeben — auf die Datenmenge vor der Kompression.

 

In Punkto Packungsdichte bezeichnet Entfernter Prozentsatz den Prozentsatz der Originaldateigröße, der durch die Kompression entfernt, d.h. wegkomprimiert wird: 1 – komprimierte Größe / unkomprimierte Größe. Je höher diese Zahl, desto besser das Verfahren. Andere Begriffe wie Kompressionsrate oder die Nennung von Prozentzahlen allein sind mehrdeutig und werden daher von uns vermieden.



Informationen & Fragen: products@compris.com




www.compris.com  | Datenkompression  | Kontakt/Karte  | Über Compris