direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Page Content

There is no English translation for this web page.

Storage

Es stehen verschiedene Dateisysteme für die Datenhaltung zur Verfügung, die sich in Bandbreite, Latenz, Backup und verfügbarem Platz unterscheiden.

Home

Das Home-Verzeichnis ist vor allem für zentrale Daten wie z.B. die Shell-Konfiguration vorgesehen. Es ist für neu eingerichtete Accounts zunächst auf 2GB beschränkt. Die Daten werden täglch im Backup gesichert. Die Bandbreite ist gut, die Latenz eher hoch.

Work

In /work/<username> ist für große Mengen reproduzierbarer Daten wie z.B. selbst installierte Software oder Ergebnisse von Berechnungen gedacht. Es ist NICHT für temporäre Daten während eines laufenden Jobs geeignet (dafür sind /fast oder /scratch da). Es gibt ziemlich viel Platz, aber kein Backup. Jeder Benutzer kann insgesamt höchstens 1 Million Files in /work haben. Die Bandbreite ist gut, die Latenz eher hoch. Den Platz in /work teilen sich alle Benutzer, also bitte nicht als Datengrab benutzen.

/fast

/fast ist für große Mengen temporärer Daten laufender Jobs gedacht. Es stehen momentan 50TB zur Verfügung, die sich alle Benutzer teilen. Eine Quota und ein Backup gibt es nicht. Die Bandbreite ist sehr hoch, die Latenz niedrig. Hier sollen wirklich nur die Daten liegen, die benötigt werden, während ein Job läuft. Nach Jobende sollten die Daten gelöscht bzw. nach /work kopiert werden.

/scratch

Das /scratch-Verzeichnis ist für temporäre Daten eines laufenden Jobs gedacht. Im Gegensatz zu den anderen Filesystemen ist es kein Netzwerkfilesystem, sondern liegt lokal auf dem Rechner, auf dem der Job läuft. Ältere Rechner haben zumeist Harddisks, neuere haben SSDs, die per SATA oder PCIe-NVME angeschlossen sind. Es stehen dort einige hundert GB zur Verfügung, die sich alle auf dem Rechner gleichzeitig laufenden Jobs teilen. Bei Harddisks ist die Bandbreite niedrig und die Latenz hoch, bei SSDs ist die Bandbreite hoch und die Latenz sehr niedrig. Es gibt kein Backup, die Daten in /scratch werden nach Beendigung des Jobs automatisch gelöscht. Der Zugriff ist innerhalb eines Jobs über den Pfad möglich, der in der Variable TMPDIR zur Verfügung gestellt wird.

Zusatzinformationen / Extras

Quick Access:

Schnellnavigation zur Seite über Nummerneingabe

Auxiliary Functions

This site uses Matomo for anonymized webanalysis. Visit Data Privacy for more information and opt-out options.