[OT-Frage] Sicherer Speicher für wichtige Daten...

[Volker Bartheld]

On Tue, 15 Nov 2022 07:49:00 +0100, Gerrit Heitsch wrote:

On 11/14/22 22:44, Sieghard Schicktanz wrote:
Of course, SSDs must erase these invalid pages of data at some point,
or the usable space on the SSD would eventually fill up.
Eben. Und _ohne_ \"garbage collection\" [...], kann es halt
immer einen Überlauf geben, der durch zunehmende Fragmentierung
verursacht wird.
Das ist aber wohl heute Standard. Zuerst habe ich es bei Micron
(Crucial) und deren Budget SSD MX100 in der Beschreibung gefunden. Die
kostete mit 512 GB damals (2014, also 8 Jahre her) gerade mal 170 Euro.

Genau.

Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät mit in
Firmware hinterlegter, für den Benutzer und sogar das Betriebssystem(!)
gänzlich unbekannter inneren Funktion, irgendwelchen Voodoo zur
Aufrechterhaltung des nach außen garantierten Verhaltens benötigte. Das
soll das Gerät bitte basierend auf den ihm mühleos zugänglichen Daten
(hier: die Belegungstabelle der Seiten und deren Inhalt selbst neu
sortieren) in Eigenregie erledigen.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren. Und wenn die SSD ihren Müll irgendwie in regelmäßigen
Abständen aufräumen muß, dann muß der Controller eben auf die TBW
schauen, die aktuelle Auslastung, die Uptime oder sonstwas, was
geeignet ist.

Wer würde denn auch bei einem Auto den Hinweis akzeptieren, man möge
regelmäßig gegen die Reifen treten, damit das ABS zuverlässig seine
Funktion erfüllt *)?

(Und wie die Zuordnungstabellen bei einem solchen Vorgang behandelt
werden, wird vorsichtshalber nicht beschrieben. Vielleicht liegen
die auch nicht direkt im Flash-Speicher oder werden gar in einem
gepufferten RAM gehalten.)
Wie sie das lösen ist mir egal, es muss nur stabil funktionieren und
auch einen Stromausfall überstehen.

Exakt so schauts aus.

Volker

*) Ja, bei manchen Karren ist das ein durchaus probates Mittel, so wie
auch anderer Cargo Cult rings um den berühmt-berüchtigten
Klemmenwechsel oder den Tausch der Starterbatterie. Zur Ehre der
Hersteller gereicht das aber trotzdem nicht.

 

[Gerrit Heitsch]

On 11/15/22 14:36, Volker Bartheld wrote:

On Tue, 15 Nov 2022 07:49:00 +0100, Gerrit Heitsch wrote:
On 11/14/22 22:44, Sieghard Schicktanz wrote:
Of course, SSDs must erase these invalid pages of data at some point,
or the usable space on the SSD would eventually fill up.
Eben. Und _ohne_ \"garbage collection\" [...], kann es halt
immer einen Überlauf geben, der durch zunehmende Fragmentierung
verursacht wird.
Das ist aber wohl heute Standard. Zuerst habe ich es bei Micron
(Crucial) und deren Budget SSD MX100 in der Beschreibung gefunden. Die
kostete mit 512 GB damals (2014, also 8 Jahre her) gerade mal 170 Euro.

Genau.

Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät mit in
Firmware hinterlegter, für den Benutzer und sogar das Betriebssystem(!)
gänzlich unbekannter inneren Funktion, irgendwelchen Voodoo zur
Aufrechterhaltung des nach außen garantierten Verhaltens benötigte. Das
soll das Gerät bitte basierend auf den ihm mühleos zugänglichen Daten
(hier: die Belegungstabelle der Seiten und deren Inhalt selbst neu
sortieren) in Eigenregie erledigen.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren.

Ich fand es nicht so problematisch beim Einrichten einfach ein paar GB
keiner Partition zuordnen. Aber weiter will ich nicht gehen müssen.

Ich betreibe hier keinen Hochlastserver, der Controller der SSD hat sehr
viel freie Zeit in der er aufräumen kann.

Gerrit

 

[Bernd Laengerich]

Am 15.11.2022 um 14:36 schrieb Volker Bartheld:

Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät mit in
Firmware hinterlegter, für den Benutzer und sogar das Betriebssystem(!)
gänzlich unbekannter inneren Funktion, irgendwelchen Voodoo zur
Aufrechterhaltung des nach außen garantierten Verhaltens benötigte. Das
soll das Gerät bitte basierend auf den ihm mühleos zugänglichen Daten
(hier: die Belegungstabelle der Seiten und deren Inhalt selbst neu
sortieren) in Eigenregie erledigen.

Tut sie ja auch. Aber dazu ist es nötig, entweder TRIM zu unterstützen (hier
wird dem Controller halt vom OS mitgeteilt welche Blöcke gerade frei werden)
*ODER*, wenn das OS dies nicht unterstützt, einen leeren Bereich (da diese
Blöcke nie beschrieben werden, sind sie immer frei). Man muß nur dafür sorgen
daß sie wirklich nie beschrieben wurden, also eine lediglich neu
partitionierte gebrauchte SSD ist da ggf. ungeeignet.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren.

Das kann man so sehen, aber man verschenkt dann halt Kapazität, da jedes
halbwegs moderne OS TRIM unterstützt.

Bernd

 

[Gerrit Heitsch]

On 11/15/22 17:23, Bernd Laengerich wrote:

Am 15.11.2022 um 14:36 schrieb Volker Bartheld:
Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät mit in
Firmware hinterlegter, für den Benutzer und sogar das Betriebssystem(!)
gänzlich unbekannter inneren Funktion, irgendwelchen Voodoo zur
Aufrechterhaltung des nach außen garantierten Verhaltens benötigte. Das
soll das Gerät bitte basierend auf den ihm mühleos zugänglichen Daten
(hier: die Belegungstabelle der Seiten und deren Inhalt selbst neu
sortieren) in Eigenregie erledigen.

Tut sie ja auch. Aber dazu ist es nötig, entweder TRIM zu unterstützen
(hier wird dem Controller halt vom OS mitgeteilt welche Blöcke gerade
frei werden) *ODER*, wenn das OS dies nicht unterstützt, einen leeren
Bereich (da diese Blöcke nie beschrieben werden, sind sie immer frei).
Man muß nur dafür sorgen daß sie wirklich nie beschrieben wurden, also
eine lediglich neu partitionierte gebrauchte SSD ist da ggf. ungeeignet.

Einmal ein SATA Secure Erase Kommando drüber und schon sollte das
Problem, so es eines ist, gelöst sein.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren.

Das kann man so sehen, aber man verschenkt dann halt Kapazität, da jedes
halbwegs moderne OS TRIM unterstützt.

Interessant wird das, wenn das Filesystem nicht direkt auf der SSD sitzt
sondern da noch einige Layer zwischen sind. Volumemanager, Cryptolayer...

Gerrit

 

[Guido Grohmann]

Gerrit Heitsch schrieb:

Wie sie das lösen ist mir egal, es muss nur stabil funktionieren und
auch einen Stromausfall überstehen.

Ein Stromausfall ist nicht das Problem. Ein Problem bekommst du dann,
Wenn eine SSD jahrelang unbenutzt herumliegt, ohne einmal Strom zu
sehen. Dann gehen deine Daten u.U. in den Orkus. BTDT.

Guido

 

[Gerrit Heitsch]

On 11/15/22 18:01, Guido Grohmann wrote:

Gerrit Heitsch schrieb:

Wie sie das lösen ist mir egal, es muss nur stabil funktionieren und
auch einen Stromausfall überstehen.

Ein Stromausfall ist nicht das Problem. Ein Problem bekommst du dann,
Wenn eine SSD jahrelang unbenutzt herumliegt, ohne einmal Strom zu
sehen. Dann gehen deine Daten u.U. in den Orkus. BTDT.

Ja, kenne ich. Wenn dann auch noch die Firmware der SSD auf dem Flash
ist und im echten \'ROM\' nur ein Bootloader hast du eine SSD gehabt.

Ich hab eine SSD in einem externen 2.5\" Gehäuse, die brauche ich selten.
Zur Sicherheit hänge ich die alle paar Monate für einen Tag an den
Rechner damit sie Strom hat und der Controller seinen Job machen kann.

Gerrit

 

[Hanno Foest]

Am 15.11.22 um 17:23 schrieb Bernd Laengerich:

Tut sie ja auch. Aber dazu ist es nötig, entweder TRIM zu unterstützen
(hier wird dem Controller halt vom OS mitgeteilt welche Blöcke gerade
frei werden) *ODER*, wenn das OS dies nicht unterstützt, einen leeren
Bereich (da diese Blöcke nie beschrieben werden, sind sie immer frei).
Man muß nur dafür sorgen daß sie wirklich nie beschrieben wurden, also
eine lediglich neu partitionierte gebrauchte SSD ist da ggf. ungeeignet.

Secure Erase könnte helfen. Ist aber unklar, wie der jeweilige
Hersteller das implementiert.

https://www.antary.de/2015/01/18/ssd-secure-erase-was-ist-das-und-informationen-zur-durchfuehrung/

Oder man skriptet einen TRIM auf alle Blöcke. hab ich noch nicht
gemacht, sollte aber ja wohl gehen.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren.

Das kann man so sehen, aber man verschenkt dann halt Kapazität, da jedes
halbwegs moderne OS TRIM unterstützt.

Na ja, wenige Prozent. Früher war TRIM ein Problem, wenn man Linux mit
Systemverschlüsselung einsetzte, aber inzwischen geht das wohl auch.

Hanno

--
The modern conservative is engaged in one of man\'s oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith

 

[Axel Berger]

Guido Grohmann wrote:

Ein Problem bekommst du dann,
Wenn eine SSD jahrelang unbenutzt herumliegt, ohne einmal Strom zu
sehen. Dann gehen deine Daten u.U. in den Orkus. BTDT.

Wahrscheinlich wissen das hier ohnehin alle, trotzdem:

Ich habe vor einiger Zeit drei Marken-USB-Stricks (Sandisk) gekauft und
zum Verteilen in der Familie zu drei Vierteln gefüllt. Wegen Covid fiel
das Familientreffen aus. Ein Jahr später habe ich sie testgelesen mit
einem Vergleich auf Dateiinhalte. Der Test ging bei allen drei sehr
schnell. Die Fehlerrate war überall derart hoch, daß ich rasch abbrechen
konnte. Ich habe sie also alle drei neu beschrieben und die Empfänger
darauf hingewisen, sie bald auszulesen und nicht nur in die Schublade zu
legen.


--
/¯\\ No | Dipl.-Ing. F. Axel Berger Tel: +49/ 221/ 7771 8067
\\ / HTML | Roald-Amundsen-Straße 2a Fax: +49/ 221/ 7771 8069
 X in | D-50829 Köln-Ossendorf http://berger-odenthal.de
/ \\ Mail | -- No unannounced, large, binary attachments, please! --

 

[Volker Bartheld]

On Tue, 15 Nov 2022 15:50:06 +0100, Gerrit Heitsch wrote:

On 11/15/22 14:36, Volker Bartheld wrote:
Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
[für trim] anzulegen, der für Anwenderdaten tabu ist, dann muß eben
genau das ab Werk passieren.
Ich fand es nicht so problematisch beim Einrichten einfach ein paar GB
keiner Partition zuordnen. Aber weiter will ich nicht gehen müssen.

Manchmal passiert das ja auch ganz automatisch. Zumindest habe ich
gelegentlich den Eindruck, daß irgendwelche Windows- oder
Linuxpartitionen nicht die volle Kapazität der SSD nutzen, sondern
wegen irgendwelcher Partitionsgrenzen noch ein Bisserl was übrigbleibt.

Ich betreibe hier keinen Hochlastserver, der Controller der SSD hat sehr
viel freie Zeit in der er aufräumen kann.

Genau.

Außerdem erinnere ich an den Thread \"Der leise Tod einer SSD...?\" ab
Message-ID: <1trl7ryanh12c$.dlg@news.bartheld.net>. Da haben bei einer
Samsung 840 Evo mit 120GB (75% Restlebensdauer) weder irgendwelche
Formatierungs- oder Neuinstallationsversuche funktioniert, um die
schwächelnde Leistung wieder herzustellen. Ultima Ratio:
https://wiki.ubuntuusers.de/SSD/Secure-Erase/ . Ebenfalls ein
Fehlschlag.

860 Pro mit 250GB eingebaut, Sache erledigt. Auf dem Ding sind rund
200GB frei, da kann der Controller TRIMmen, bis der Arzt kommt.

Volker

 

[Volker Bartheld]

On Tue, 15 Nov 2022 17:44:55 +0100, Gerrit Heitsch wrote:

On 11/15/22 17:23, Bernd Laengerich wrote:
Am 15.11.2022 um 14:36 schrieb Volker Bartheld:
Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät [...]
irgendwelchen Voodoo zur Aufrechterhaltung des nach außen
garantierten Verhaltens benötigte. Das soll das Gerät [...] in
Eigenregie erledigen.
Tut sie ja auch. Aber dazu ist es nötig, entweder TRIM zu unterstützen
[...] *ODER*, wenn das OS dies nicht unterstützt, einen leeren
Bereich [...].
Man muß nur dafür sorgen daß sie wirklich nie beschrieben wurden, also
eine lediglich neu partitionierte gebrauchte SSD ist da ggf. ungeeignet.
Einmal ein SATA Secure Erase Kommando drüber und schon sollte das
Problem, so es eines ist, gelöst sein.

Message-ID: <1swoaw81084c0$.dlg@news.bartheld.net>

Das Problem könnte natürlich auch ein anderes gewesen sein. Das Sympton
\"SSD wird lahm\" des nämlichen Exemplars besserte sich durch ein SATA
Secure Erase jedenfalls nicht.

Volker

 

[Hanno Foest]

On 15.11.22 22:05, Volker Bartheld wrote:

Ich fand es nicht so problematisch beim Einrichten einfach ein paar GB
keiner Partition zuordnen. Aber weiter will ich nicht gehen müssen.

Manchmal passiert das ja auch ganz automatisch. Zumindest habe ich
gelegentlich den Eindruck, daß irgendwelche Windows- oder
Linuxpartitionen nicht die volle Kapazität der SSD nutzen, sondern
wegen irgendwelcher Partitionsgrenzen noch ein Bisserl was übrigbleibt.

Sichwort Alignment. Sollte aber nicht viel ausmachen.

Es gibt noch einen weiteren Grund, die Platten nicht ganz auszureizen:
Nicht alle Hersteller interpretieren 2TB (oder sonstwas) auf das GB
genau gleich. Versucht man dann, eine ausgefallene Platte durch eine
\"gleich große\" andere zu ersetzen, kann es sein, daß das nicht paßt.

Ich hab gerade ein RAID1 aus zwei nominell gleich großen, aber
absichtlich nicht baugleichen SSDs gebaut, da war der Unterschied 45GB.
Ich hab dann bei der kleineren bei der Partitionierung noch mal so viel
freigelassen, einerseits für Overprovisioning als TRIM Ersatz,
andererseits als Reserve, falls eine Ersatzplatte noch kleiner sein sollte.

Hanno

--
The modern conservative is engaged in one of man\'s oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith

 

[Ole Jansen]

Am 15.11.22 um 17:23 schrieb Bernd Laengerich:

Tut sie ja auch. Aber dazu ist es nötig, entweder TRIM zu unterstützen
(hier wird dem Controller halt vom OS mitgeteilt welche Blöcke gerade
frei werden) *ODER*, wenn das OS dies nicht unterstützt, einen leeren
Bereich (da diese Blöcke nie beschrieben werden, sind sie immer frei).
Man muß nur dafür sorgen daß sie wirklich nie beschrieben wurden, also
eine lediglich neu partitionierte gebrauchte SSD ist da ggf. ungeeignet.

Schwund ist immer dabei. Alle SSDs haben als Reserve oder
für Verlagerung physisch mehr Speicher als logisch.

Der Grad der Überprovisionierung kann von 7% bei Consumer
bis 50 Prozent für spezielle Serverplatten betragen.

Einige Hersteller bieten Werkzeuge an mit denen sich die
Überprovisionierung nachträglich anpassen lässt.

O.J.

 

[Michael Schwingen]

On 2022-11-14, Sieghard Schicktanz <Sieghard.Schicktanz@SchS.de> wrote:

- dann kann sie die Daten dahin umkopieren und den vorigen,
freigewordenen Block löschen. Da gibt es erstmal kein Limit - das
geht beliebig oft, bis halt die Schreibzyklen eines Blockes
aufgebraucht sind und der ausfällt.

Kann sie, solange dieser leere Block nicht mit sovielen neuen Daten
gefüllt werden muß, daß der vorher benutzte Block noch einen Rest
\"aufheben\" muß. Dann ist _kein_ leerer Block mehr vorhanden.

Wie soll das gehen? Jeder Sektor, den Du schreibst, gibt einen Sektor im
alten Block frei, der nicht umkopiert werden muss. Wo sollen da auf einmal
in Summe mehr Daten herkommen?

cu
Michael

 

[Michael Schwingen]

On 2022-11-15, Volker Bartheld <news2022@bartheld.net> wrote:

Das Problem könnte natürlich auch ein anderes gewesen sein. Das Sympton
\"SSD wird lahm\" des nämlichen Exemplars besserte sich durch ein SATA
Secure Erase jedenfalls nicht.

Ich habe hier das Gegenteil - das war eine SSD, die durch Betrieb in einem
dauerlaufenden Router mit reichlich logging schnarchlangsam geworden war.
Überschreiben mit Nullen hilft nicht. Nach einem secure erase ist die wieder
flott.

Das war eine 32GB von Apacer, also nicht unbedingt high-end.

cu
Michael

 

[Rupert Haselbeck]

Michael Schwingen schrieb:

Sieghard Schicktanz wrote:
- dann kann sie die Daten dahin umkopieren und den vorigen,
freigewordenen Block löschen. Da gibt es erstmal kein Limit - das
geht beliebig oft, bis halt die Schreibzyklen eines Blockes
aufgebraucht sind und der ausfällt.

Kann sie, solange dieser leere Block nicht mit sovielen neuen Daten
gefüllt werden muß, daß der vorher benutzte Block noch einen Rest
\"aufheben\" muß. Dann ist _kein_ leerer Block mehr vorhanden.

Wie soll das gehen? Jeder Sektor, den Du schreibst, gibt einen Sektor im
alten Block frei, der nicht umkopiert werden muss. Wo sollen da auf einmal
in Summe mehr Daten herkommen?

Irgendwann ist auch eine SSD mal voll, ebenso wie eine konventionelle
Festplatte irgendwann voll ist. Nach dem Beschreiben des letzten freien
Blocks ist eben Schluß.
Aber das ist natürlich keine Besonderheit einer SSD...

MfG
Rupert

 

[Michael Schwingen]

On 2022-11-16, Rupert Haselbeck <mein-rest-muell@gmx.de> wrote:

Wie soll das gehen? Jeder Sektor, den Du schreibst, gibt einen Sektor im
alten Block frei, der nicht umkopiert werden muss. Wo sollen da auf einmal
in Summe mehr Daten herkommen?

Irgendwann ist auch eine SSD mal voll, ebenso wie eine konventionelle
Festplatte irgendwann voll ist. Nach dem Beschreiben des letzten freien
Blocks ist eben Schluß.

Nein. Eine SSD hat immer Reserveblöcke, ich hatte für die Erklärung genau
einen mehr als die nutzbare Kapazität angegeben - dann geht das immer auf.

Wegen Wearleveling hast Du mehr als einen, und die garbage collection
optimiert das natürlich so, daß möglichst hohe Performance dabei rauskommt,
aber das Szenario \"durch Überschreiben sind keine leeren/löschbaren Blöcke
mehr da\" kann bei korrekter Verwaltung nicht auftreten.

Firmwarebugs sind ein getrenntes Thema ...

cu
Michael

 

[Sieghard Schicktanz]

Hallo Volker,

Du schriebst am Tue, 15 Nov 2022 22:05:43 +0100:

860 Pro mit 250GB eingebaut, Sache erledigt. Auf dem Ding sind rund
200GB frei, da kann der Controller TRIMmen, bis der Arzt kommt.

Ja, nachdem ja Speicherplatz inzwischen sowieso nix mewhr kostet, ist
das auch kein Problem mehr.
Früher hätte das bedeutet, daß der benutzte Platz dadurch das 5-fache
(ge)kostet (hätte).

BTW, wo gibt\'s eigentlich diese kostenlosen SSDs u.ä.? Ich finde immer
nur welche mit Preisen...

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Rolf Bombach]

Hanno Foest schrieb:

Es gibt noch einen weiteren Grund, die Platten nicht ganz auszureizen: Nicht alle Hersteller interpretieren 2TB (oder sonstwas) auf das GB genau gleich.

https://xkcd.com/394/

--
mfg Rolf Bombach

 

[Hans-Peter Diettrich]

On 11/16/22 8:30 PM, Michael Schwingen wrote:

Jeder Sektor, den Du schreibst, gibt einen Sektor im
alten Block frei, der nicht umkopiert werden muss. Wo sollen da auf einmal
in Summe mehr Daten herkommen?

Der Unterschied zwischen Block (Win: Cluster) und Sektor.
Solange der alte Block noch Daten enthält, ist er nicht frei. Im
schlimmten Fall ist noch 1 Sektor pro Block belegt und alle übrigen
wurden auch schon einmal geschrieben, dann ist kein Block mehr frei (zum
Löschen).

DoDi

 

[Sieghard Schicktanz]

Hallo Michael,

Du schriebst am 16 Nov 2022 19:36:12 GMT:

Ich habe hier das Gegenteil - das war eine SSD, die durch Betrieb in
einem dauerlaufenden Router mit reichlich logging schnarchlangsam
geworden war. Überschreiben mit Nullen hilft nicht. Nach einem secure
erase ist die wieder flott.

\"Möglicherweise\" hat die das Überschreiben mit Nullen als
\"Vollschreiben\" interpretiert, weil sie als Zustand \"gelöscht\" evtl.,
wie bei \"vielen\" elektronischen Festwertspeichern, den ansieht, in dem
alle Bits gesetzt (\"1\", \"high\") sind. Dazu hättest Du sie evtl. mit
lauter \"0xFF\" beschreiben müssen. Das ginge allerdings auch nur, wenn
sie nicht die Schreiboperationen in einem internen Bereich als solche
registriert, der nur mit diesem \"secure erase\" zurückgesetzt werden
kann. Es sagt einem halt kein( Herstell)er, was da in einzelnen abläuft.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------