Difference between revisions of "Size Matters/de"

From Lazarus wiki
Jump to navigationJump to search
Line 84: Line 84:
 
==== Wettbewerbe ====
 
==== Wettbewerbe ====
  
Another reason to keep binaries small is language comparison contents (like the Language Shootout). However this is more like solving a puzzle, and not really related to responsible software engineering.
+
Another reason to keep binaries small is language comparison contents (like the Language Shootout). Wieauchimmer ist das mehr wie das lösen eines Puzzles, und nicht wirklich zusammenhängend zu vernünftige Programmierung
  
 
=== Mangelhafte Kompilerkonfiguration ===
 
=== Mangelhafte Kompilerkonfiguration ===

Revision as of 01:33, 3 January 2008

Deutsch (de) English (en) français (fr) русский (ru) 中文(中国大陆)‎ (zh_CN)

(Dieser Artikel wird zur Zeit übersetzt...)

Einleitung

Auf dieser Seite geht es um die Größe von Binärdateien. Die Größe der von Lazarus und dem FPC erstellten Binärdateien sorgten in der Vergangenheit für einige Verwirrung. Dieser Artikel soll hier Klarheit schaffen. Insbesondere soll gezeigt werden, wie die Größe der Binärdateien ohne großen Aufwand vermindert werden kann.


Realistische Größen der von Lazarus/FPC erstellten Binärdateien

  • Dateigrößen unter 1MB sollten kein Problem darstellen!.
    • Stellen Sie sicher, dass Ihre Binärdateien mit der Smartlinking-Option erstellt wurden, und anschließend mit dem Befehl strip sämtliche Debuggerinformationen entfernt wurden. Stellen Sie insbesondere sicher, dass ALLE Bibliotheken mit der Smartlinking-Option erstellt wurden.
    • Komprimieren Sie NICHT standardmäßig Ihre Dateien mit UPX!: Durch die UPX-Kompression werden die Dateien zwar kleiner - sie verbrauchen bei der Ausführung aber mehr Arbeitsspeicher. Bevor Sie Ihre Binärdateien mit UPX komprimieren, sollten Sie sicherstellen, dass auf den Zielsystemen ausreichend RAM zur Verfügung steht!
  • Bei kleinen Anwendungen spielt die Systemabhängigkeit der Größe der RTL eine gewichtigere Rolle. Hingegen 100k standalone binaries die etwas machen das getan werden kann, sind sogar unter 50k.
    • Unter Windows ist es kein Problem, die Windows API benutzende Binärdateien zu erstellen, die nur 20 Kb groß sind.
    • Die Unit Sysutils beinhaltet Internationalisierungen, Texte zur Fehlerbenachrichtigung, Routinen zum Abfangen von Ausnahmefehlern und viele andere Dinge, die stets in das zu erstellende Programm gelinkt werden, wenn die entsprechende Unit benutzt wird. Dadurch kann die Größe des erstellten Programms schätzungsweise um 40 bis 100 Kb anwachsen.
  • Windows-Lazarus-Anwendungen sind ungefähr 500 Kb groß. Je nachdem, wie viele Komponenten der Benutzeroberfläche (widgets) verwendet werden, kann ihre Größe jedoch schnell anwachsen (>1.5MB)
    • Summa summarum sind Lazarus-Anwendungen etwas größer als entsprechende Delphi-Anwendungen. Dies ist der Preis, der für die große Plattforumunabhängigkeit bezahlt wird und die Wartbarkeit des Lazarus-Projektes garantiert.
    • Das Wachstum der Binärdateien mit dem Zufügen neuer Komponenten/Units stagniert, wenn mit jedem zusätzlich verwendeten Code kein weiterer zusätzlicher Code aus der LCL verlinkt werden muss.
    • Die Größe der Binärdateien hängt entscheidend von der Komplexität der Benutzeroberfläche Ihrer Programme ab.
    • In Lazarusanwendungen (wie in Delphianwendungen auch) besteht die Binärdatei zu einem gewissen Prozentsatz aus Strings und Tables.
  • Einfache Lazarus-Binärdateien sind unter Linux/FreeBSD größer als entsprechende GCC-Binärdateien, da sie keine gemeinsamen Bibliotheken (shared libraries) verwenden. (Die Bibliotheken können Sie über die Konsole mit dem Befehl "ldd ./Programmname" einsehen)
  • 64-Bit-Binärdateien sind stets größer als X86-Dateien. Genauso ist der für RISC-Plattformen erstellte Code größer als der für CISC erstellte.

Weshalb sind die Binärdateien derart groß?

Antwort: Bei richtigen Einstellungen sind die mit Lazarus kompilierten Binärdateien nicht außergewöhnlich groß. (Bemerkung: Der Begriff "groß" soll hier bedeuten: Größer als im vorhergegangenen Abschnitt geschildert)

Sollten Sie nach dem Kompilieren "große" Binärdateien erhalten, so können die Gründe dafür also

  • in einer falschen Konfiguration des FreePascal-Compilers,
  • in einer unrealistischen Vorstellung von der Größe von Binärdateien ;)
  • oder daran liegen, dass Sie den FPC für Zwecke benutzen, für die er nicht konzipiert wurde.

Der letzte Punkt ist der unwahrscheinlichste - der FPC ist hochflexibel. In den folgenden Paragraphen wird den möglichen Ursachen einer zu großen Binärdatei genauer nachgegangen.

Über Framework

Eine Framework vermindert die mit der Entwicklung einer Anwendung verbundene Arbeit im hohen Maße.

Dies kommt aber auf seine Kosten, da ein Framework keine reine Bibliothek ist, sondern ein ganzes Subystem, dass damit handelt mit der aussenstehenden Welt angekoppelt zu sein/werden. Ein Framework ist für Applikationen enworfen, die eine Menge Funktionalität bedürfen, und der Bedarf an Applikationen die keine große Funktionalität bedürfen, sind kein oder ein sehr unwichtiges Gebiet für die Gestalter eines Frameworks

Dies heißt aber nun das eine leere Applikation in einem Framework relativ groß sein kann.

Die größe einer leeren Apllikation entsteht nicht von Compiler Ineffizienz, sondern das Framework Overhead. Der Compiler wird unbenützen Code automatisch entfernen, aber nicht alles kann automatisch entnommen werden. Die Ausgestaltung des Frameworks bestimmt welchen Code der Compiler zur Compilierzeit entfernen kann.


Einige Frameworks verursachen sehr wenig Overhead, einige verursachen eine Menge Overhead. Erwartete Binary-Größen für leere Applikationen bei bekannten Frameworks:

  • Kein Framework: +/- 25KB
  • MSEGUI: +/- 600KB
  • Lazarus LCL: +/- 1000KB
  • Free Vision: +/- 100KB
  • Key Objects Library: +/- 50KB

Kurz gefasst, wählen sie ihr Framework sorgfältig. Ein leistungsstarkes Framework kann ihnen eine Menge Zeit sparen, aber, wenn der Speicher knapp ist, mag ein kleineres Framework die bessere Wahl sein. Aber seien sie sicher das sie wirklich weniger Platz benötigen. Viele Amateure wählen routinemäßig das kleinste Framework, und landen bei nicht wartbaren Anwendungen und geben auf.

Sind große Binärdateien schlecht?

Das kommt ganz auf den Standpunkt an, von dem aus man die Sache betrachtet. Zunächst gilt es, den Begriff "groß" festzulegen. Im Vorhergegangenen Abschnitt haben wir einen kleinen Überblick über mögliche Größen von lazaruserstellte Binärdateien gegeben. Wir nennen nun eine Binärdatei groß, wenn sie deutlich über den angegebenen Werten liegt.

Obwohl kleine Binärdateien sicherlich überall wünschenswert sind, so ist es ein oft zitiertes Missverständnis, größere binäre Dateien seien langsamer in der Ausführung. Diese Behauptung ist schlichtweg falsch.

Es gibt allerdings einige Bereiche, in denen Binärdateien klein sein [i]müssen[/i]:

  1. In der Welt der Kleincomputer (PDAs, Handhelds, u.s.w.), wo der Speicherplatz begrenzt ist.
  2. Wenn die Zielgruppe keine schnelle Anbindung ans Internet besitzt (z.B. im Fall von Modems)
  3. Bei Benchmarks und Vergleiche der Leistungsfähigkeit diverser Compiler und diverser Programmiersprachen.


Embedded

While Free Pascal is reasonably usable for embedded or system purposes, the final release engineering and tradeoffs are more oriented at general application building. For really specialistic purposes, people could set up a shadow project, more in the way like e.g. there are specialised versions of certain Linux distro's. Worrying the already overburdened FPC team with such specialistic needs is not an option, especially since half of the serious embedded users will roll their own anyway.

Verbreitung über Modems

Sollte Ihre Zielgruppe hauptsächlich über langsame Modems verfügen, lohnt sich natürlich der Gedanke, die Binärdateien so klein wie möglich zur Verfügung zu stellen. Jedoch wird das Argument Modem häufig überschätzt:

1. Durch den zunehmenden Ausbau des Internets stehe immer größere Bandbreiten zur Verfügung. So benutzt ein immer kleiner werdender Anteil der Internetbenutzer ein Modem oder ISDN.
2. Die Downloadzeiten mit einem 56k-Modem werden häufig unterschätzt. Einige MB lassen sich in weniger als einer halben Stunde herunterladen.

Wettbewerbe

Another reason to keep binaries small is language comparison contents (like the Language Shootout). Wieauchimmer ist das mehr wie das lösen eines Puzzles, und nicht wirklich zusammenhängend zu vernünftige Programmierung

Mangelhafte Kompilerkonfiguration

Dieser Abschnitt ist dazu da, Ihnen einen kleinen Überblick über für Binärdateien günstige Konfigurationen und Einstellungen des Compilers zu geben. Wenn Sie mehr Hintergrundinformationen benötigen, klicken Sie auf die folgenden Links: manuals buildfaq

Hinsichtlich der Kompilereinstellungen kann es mehrere Gründe für große Binärdateien geben. Im Einzelnen, mit abnehmender Wahrscheinlichkeit:

  1. Die Binärdatei beinhaltet Debuginformationen.
  2. Die Binärdatei wurde nicht vollständig mit Smartlinking erstellt.
  3. In die Binärdatei wurden units eingebunden, deren Initialisierungsabschnitte sehr viel Programmcode beinhalten.
  4. Sie linken alle (externen) Bibliotheken (libraries) statisch.
  5. Die Codeoptimierung des Compilers ist nicht (vollständig) eingeschalten.
  6. Die Lazarus Projektdatei (lpr) bindet im uses-Bereich nicht benötigte units ein.

Für zukünftige Versionen des FreePascal-Compilers ist die Funktion des "shared linking" eingeplant. Damit wird es möglich sein, noch wesentlich kleinere Binärdateien zu erstellen, als dies heute möglich ist. (Diese Methode birgt allerdings den Nachteil, dass diverse DLLs zusammen mit dem Programm übertragen werden müssen)

Debuginformationen

FreePascal hat keinen hauseigenen Debugger oder Linker. Stattdessen verwendet es für die entsprechenden Zwecke den GNU-Debugger (GDB) bzw. den LD. Diese Programme speichern die Debuginformationen innerhalb der Binärdateien ab und blähen diese dadurch auf. So kann ein 6 MB großes Programm MIT den Debuginformationen gut 40 MB groß sein.

Sie können die überflüssigen Debuginformationen mit einem kleinen Programm namens "strip" entfernen. Bitte beachten Sie, dass Windows von Hause aus ein Programm "strip" mitliefert, welches jedoch nur zur Entfernung eines Teils der Debuginformationen in der Lage ist. Benutzen Sie daher die Version des genannten Programms, die ab 2006 mit dem FPC mitgeliefert wird. Unter Windows befindet es sich im Lazarus-Ordner "lazarus\fpc\fpcversion\bin\i386-win32\", unter Linux lässt es sich direkt von der Konsole aus ausführen. (Unter Linux im Ordner "/usr/bin/"). Gehen Sie wie folgt vor:

Geben Sie in die Konsole ein:

strip --strip-all Dateiname

Dabei steht "Dateiname" für Pfad + Name der Binärdatei.

Versuchen Sie stets, die Debuginformationen auf diese manuelle Weise zu entfernen. Verwenden Sie stets die mit FPC/Lazarus mitgelieferte Version von strip - verwenden Sie niemals Versionen unbekannten oder unsicheren Ursprungs.

In time, when 2.1.1 goes gold, this kind of problems might get rarer on specially Windows, since the internal linker provides a more consistent treatment of these problems. However they may apply to people using non-core targets for quite some time to come.

Keep in mind that the whole strip system is based on shipping the same build as user version (stripped) while retaining the debug version (unstripped) for e.g. interpreting traceback addresses. So if you do formal releases, retain a copy of the unstripped binary that you ship, and always do a release build with debug info.

Smartlinking

Das Grundprinzip des Smartlinkings ist leicht einzusehen: Es wird nur genau der Code in die Binärdatei gelinkt, der auch vom Programm gebraucht wird. Dies beeinflusst die Größe der Datei außerordentlich positiv.

Der Compiler ist leider nicht in der Lage, herauszufinden, welcher Code nun wirklich für das zu kompilierende Programm verwendet wird. Vielmehr teilt er den Code in Codebereiche auf, und es ist dann Aufgabe des Linkers, zu entscheiden, welcher Bereich letzten Endes in die Binärdatei gelangt. Wenn kein Teil des Programms einen Codebereich benötigt oder auf ihn weist, wird dieser Bereich entfernt.

Diese Vorgehensweise bringt einige Probleme mit sich:

  • virtual methods may be implicitely called via their VMTs. The GNU linker can't trace call sequences through these VMTs, so they must all be linked in;
  • tables for resource strings reference every string constant, and thus all string constants are linked in (one reason for sysutils being big).
  • symbols that approachable from the outside of the binary (this is possible for non library ELF binaries too) must be kept. This last limitation is necessary to e.g. avoid stripping exported functions from shared libraries..
  • Another such pain point are published functions and properties. References to published functions/properties can be constructed on the fly using string operations, and the compiler can't trace them. This is one of the downsides of reflection.
  • Published properties and methods can be resolved by creating the symbolnames using stringmanipulation, and must therefore be linked in if the class is referenced anywhere. Published code might in turn call private/protected/public code and thus a fairly large inclusion.

Another important sideeffect that is logical, but often forgotten is that this algoritm will link in everything referenced in the initialization and finalization parts of units, even if no functionality from those units are used. So be careful what you USE.

Smartlinkting kann am effektivsten durchgeführt werden, wenn jede Unit, einschließlich der RTL smartlinked kompiliert wurde.

The reason for this is simple. LD only could "smart" link units that were the size of an entire .o file until fairly recently. This means that for each symbol a separate .o file must be crafted. (and then these tens of thousands of .o files are archived in .a files). This is a time (and linker memory) consuming task, thus it is optional, and is only turned on for release versions, not for snapshots. Often people having problems with smartlinking use a snapshot that contains RTL/FCL etc that aren't compiled with smartlinking on. Only solution is to recompile the source with smartlinking (-CX) on. See buildfaq for more info.

In the future this will be improved when the compiler will emit smartlinking code by default, at least for the main targets. This is made possible by two distinct developments. First, the GNU linker LD now can smartlink more finely grained (at least on Unix) using --gc-sections, second the arrival of the FPC internal linker (in the 2.1.1 branch) for all working Windows platforms (wince/win32/win64). The smartlinking using LD --gc-sections still has a lot of problems because the exact assembler layout and numerous details with respect to tables must be researched, we often run into the typical problem with GNU development software here, the tools are barely tested (or sometimes not even implemented, see DWARF standard) outside what GCC uses/stresses.

The internal linker can now smartlink Lazarus (17 seconds for a full smartlink on my Athlon64 3700+ using about 250MB memory) which is quite well, but is windows only and 2.1.1 for now. The internal linker also opens the door to more advanced smartlinking that requires Pascal specific knowledge, like leaving out unused virtual methods (20% code size on Lazarus examples, 5% on the Lazarus IDE as a rough first estimate), and being smarter about unused resourcestrings. This is all still in alpha, and above numbers are probably too optimistic, since Lazarus is not working with these optimizations yet.

Initialization and finalization sections

If you include a unit in USES section, even when USES'd indirectly via a different unit, then IF the unit contains initialization or finalization sections, that code and its dependancies is always linked in.

A unit for which this is important is sysutils. As per Delphi compatibility, sysutils converts runtime errors to exceptions with a textual message. All the strings in sysutils together are a bit bulky. There is nothing that can be done about this, except removing a lot of initialisation from sysutils that would make it delphi incompatible. So this is more something for a embedded release, if such a team would ever volunteer.

Static binaries

One can also make fully static binaries on any OS, incorporating all libraries into the binary. This is usually done to ease deployment, but has as tradeoff huge binaries. Since this is wizard territory I only mention this for the sake of completeness. People that can do this, hopefully know what they are doing.

Optimierung

Optimization can also shave off a bit of code size. Optimized code is usually tighter. (but only tenths of a percent) Make sure you use -O3.

Lazarus lpr Dateien

In Lazarus, if you add a package to your project/form you get it's registration unit added to the lpr file. The lpr file is not normally opened, if you want to edit it, first open it (via project -> view source). Then remove all the unnecessary units (Interfaces, Forms, and YOUR FORM units are only required, anything else is useless there, but make sure you don't delete units that only need to register things, such as image readers (jpeg) or testcases).

You can save up to megabytes AND some linking dependencies too if you use big packages (such as glscene).

This kind of behaviour is typical for libraries that do a lot in the initialisation sections of units. Note that it doesn't matter where they are used (.lpr or a normal unit). Of course smartlinking tries to minimalize this effect

UPX

UPX ist ein Programm, dass die Größe von Binärdateien durch Kompression erheblich vermindert. Dabei ist zu beachten, dass UPX neben Vorteilen auch Nachteile besitzt.

Die Vorteile sind:

  1. Zur Ausführung UPX-komprimierter Binärdateien sind keine Dekompressionsprogramme notwendig, da UPX alle nötigen Algorithmen in die Binärdatei integriert.
  2. UPX verkleinert die Größe Ihrer unkomprimierten Binärdateien erheblich. (Bitte beachten Sie, dass Sie noch kleinere Dateien erhalten, wenn Sie für die Komression von Binärdateien externe Programme verwenden)
  3. Durch die Kompression benötigt die unkomprimierte Binärdatei weniger Platz auf Speichermedien.
  4. Durch die mit UPX erreichten Dateigrößen können Sie diejenigen Benutzer zufriedenstellen, die eine Anwendung nach Ihrem Platzverbrauch werten.

Die Nachteile sind:

  1. Da jede UPX-komprimierte Binärdatei den Dekompressionsalgorithmus enthält, sind die Kompressionsraten nicht so groß, wie sie mit Hilfe externer Programme erreicht werden könnten.
  2. Mit jedem Aufruf einer UPX-komprimierten Binärdatei wird zunächst der komprimierte Teil der Anwendung entpackt, bevor er ausgeführt wird.
  3. Seit dem viele Betriebssysteme ZIP-Dateien integriert und ohne Zusatzsoftware entpacken können, verliert die UPX-Kompression an Gewicht.
  4. Da die windowsinterne Speicherverwaltung nicht optimal mit solchen intern komprimierten Binärdateien umgehen kann, wird bei der Ausführung die gesamte Binärdatei in den Speicher geladen. Dies kann eine zusätzliche Speicherbelastung des Arbeitsspeichers bedeuten.

Um den letzten Punkt näher zu erläutern: Bei geringem freien Arbeitsspeicher werden nur diejenigen Teile einer unkomprimierten Binärdatei in den Arbeitsspeicher geladen, die wirklich von der Anwendung gebraucht werden. Bei UPX-komprimierten Binärdateien muss sich stets die gesamte Binärdatei im Arbeitsspeicher befinden.

Wenn hohe Kompressionsraten erreicht werden sollen, muss die gesamte Binärdatei vor ihrer Ausführung in den Arbeitsspeicher hinein entspackt werden. Nicht benötigte Bereiche des Programms gelangen nach einiger Zeit in die Swap, und belegen hier unnötig Speicherplatz.

Unrealistische Erwartungen

A lot of people simply look at the size of a binary and scream bloat!. When you try to argue with them, they hide behind comparisons (but TP only produces...), they never really say 'why' they need the binary to be smaller at all costs. Some of them don't even realise that 32-bit code is ALWAYS bigger than 16-bit code, or that OS independance comes at a price, or ...,or ..., or...

As said earlier, with the current HD sizes, there is not that much reason to keep binaries extremely small. FPC binaries being 10, 50 or even 100% larger than compilers of the previous millenium shouldn't matter much. A good indicator that these views are pretty emotional and wellfounded is the overuse of UPX (see above), which is a typical sign of binary-size madness, since technically it doesn't make much sense.

So where is this emotion coming from them? Is it just resisting change, or being control-freaks? I never saw much justified cause, except that sometimes some of them were pushing their own inferior libraries, and tried to gain ground against well established libs based on size arguments. But this doesn't explain all cases, so I think the binary size thing is really the last "640k should be enough for anybody" artefact. Even though not real, but just mental.

A dead giveway for that is that the number of realistic patches in this field is near zero, if not zero. It's all maillist discussion only, and trivial RTL mods that hardly gain everything, and seriously hamper making real applications and compability. (and I'm not a compability freak to begin with). There are no cut down RTLs externally maintained, no patch sets etc, while it would be extremely easy. Somehow people are only after the last byte if it is easy to achieve, or if they have something "less bloated" to promote.

Anyway, the few embedded people I know that use FPC intensively all have their own customized cut back libraries. For one person internationalisation matters (because he talks a language with accents), and exceptions do not, for somebody else requirements are different again. Each one has its own tradeoffs and choices, and if space is 'really' tight, you don't compromise to use the general release distro.

And yes, FPC could use some improvements here and there. But those shouldn't hurt the "general programming", the multiplatform nature of FPC, the ease of use and be realistic in manpower requirements. Complex things take time. Global optimizers don't fall from the sky readily made.

Vergleiche mit GCC

Somewhat less unrealistic are comparisons with GCC. Even the developers mirror themselves (and FPC) routinely against gcc. Of course gcc is a corporate sponsored behemoth, who is also the Open Source's world favorite. Not all comparisons are reasonable or fair. Even compilers that base themselves on GCC don't support all heavily sponsored "c" gcc's functionality.

Nevertheless, considering the differences in project size, FPC does a surprisingly good job. Speed is ok, except maybe for some cases of heavily scientific calculating, binary sizes and memory use are sufficient or even better in general, the number of platforms doesn't disappoint (though it is a pity that 'real' embedded targets are missing).

Another issue here is that freepascal generally statically links (because it is not abi stable and would be unlikely to be on the target system already even if it was) its own rtl. GCC dynamically links against system libraries. This makes very small (in terms of source size) programs made with fpc have significantly larger binaries than those made with gcc. It's worth mentioning here, that the binary size has nothing to do with the memory footprint of the program. FPC is usually much better in this regard than gcc.

Still, I think that considering the resources, FPC is doing extraordinary well.

Vergleiche mit Delphi

In comparisons with Delphi one should keep in mind that 32-bit Delphi's design originates in the period that a lot of people DIDN'T even have pentium-I's, and the developer that had 32MB RAM was a lucky one. Moreover Delphi was not designed to be portable.

Considering this, Delphi scaled pretty well, though there is always room for improvement, and readjustments that correct historical problems and tradeoffs. (it is a pretty well known fact that a lot of assembler routines in newer Delphi's were slower than their Pascal equivalents, because they were never updated for newer processors. Only the recent D2006 is said to have corrected this).

Still, slowly on the compiler front, FPC isn't Delphi's poor cousin anymore. The comparisons are head-on, and FPC 2.1.1 winning over Delphi is slowly getting the rule, and not the exception anymore.

Of course that is only the base compiler. In other fields there is still enough work to do, though the internal linker helps a lot. The debugger won't be fun though :-) Also in the language interoperability (C++, Obj C, JNI) and shared libraries is lots of work to do, even within the base system.

Vergleiche mit .NET/Java

Be very carefull with comparisons to these JIT compiled systems, JITed programs have different benchmark characteristics and also extrapolating results from benchmarks to full programs is different.

While a JIT can do a great job sometimes (specially in small programs that mostly consist out of a single tight loop), but this good result often doesn't scale. Overall my experience is that statically compiled code is usually faster in most code that is not mainly bound by some highly optimizable tight loop, despite the numerous claims on the net otherwise.

A fairly interesting quantitative source for this is thisShootout faq entry. Another interesting one is memory allocation in JVM/.NET