[OT-Frage] Sicherer Speicher für wichtige Daten...

[Sieghard Schicktanz]

Hallo Gerrit,

Du schriebst am Thu, 10 Nov 2022 07:15:03 +0100:

TRIM braucht man nicht, underprovisioning tut es auch, also einen
Bereich der SSD bei der Partitionierung ausnehmen und nie direkt
benutzen.

Hmmm. Was macht der Controller dann, wenn er wirklich alle verfügbaren
Blöcke mit Daren beschrieben hat, aber für keinen die Erlaubnis zum
Überschreiben? Schön, er kann sowas teils dadurch erkennen, daß er für
dieselbe Adresse jetzt andere Daten schreiben soll. Reicht das, ist da
halt die Frage.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Gerrit Heitsch]

On 11/10/22 22:07, Sieghard Schicktanz wrote:

Hallo Gerrit,

Du schriebst am Thu, 10 Nov 2022 07:15:03 +0100:

TRIM braucht man nicht, underprovisioning tut es auch, also einen
Bereich der SSD bei der Partitionierung ausnehmen und nie direkt
benutzen.

Hmmm. Was macht der Controller dann, wenn er wirklich alle verfügbaren
Blöcke mit Daren beschrieben hat, aber für keinen die Erlaubnis zum
Überschreiben?

Wenn er einen neuen Block zum Beschreiben holt wird doch ein alter frei
den er bei Gelegenheit löschen und in den Pool freier Blöcke zurücklegen
kann. Das der frei ist weiss der Controller weil er ihn ja gerade durch
einen anderen ersetzt hat.

Crucial erwähnte mal irgendwo, daß ihre SSDs \'garbage collection\' können.

Gerrit

 

[Gerrit Heitsch]

On 11/10/22 11:18, Volker Bartheld wrote:

Und was moderne
heliumgefüllte Exemplare machen, wenn sich das Helium mal verpißt hat,
weiß man auch nicht so genau.

Immerhin kann man bei den HDs von WDC den \'Heliumstand\' via SMART
abfragen, ist Attribut 22. Neu steht der Wert auf 100 und bei unter 25
gilt die Platte als nicht mehr sicher.

Auf reddit erwähnte jemand bei einer seiner HDs wäre der Wert inzwischen
bei 13 angekommen, aber die HD würde weiter fehlerlos laufen.

Gerrit

 

[Michael Schwingen]

On 2022-11-10, Gerrit Heitsch <gerrit@laosinh.s.bawue.de> wrote:

Immerhin kann man bei den HDs von WDC den \'Heliumstand\' via SMART
abfragen, ist Attribut 22. Neu steht der Wert auf 100 und bei unter 25
gilt die Platte als nicht mehr sicher.

Wie messen die das? Ich gehe mal davon aus, da die keinen extra Sensor
dafür verbauen?

cu
Michael

 

[Rolf Bombach]

Michael Schwingen schrieb:

On 2022-11-10, Gerrit Heitsch <gerrit@laosinh.s.bawue.de> wrote:
Immerhin kann man bei den HDs von WDC den \'Heliumstand\' via SMART
abfragen, ist Attribut 22. Neu steht der Wert auf 100 und bei unter 25
gilt die Platte als nicht mehr sicher.

Wie messen die das? Ich gehe mal davon aus, da die keinen extra Sensor
dafür verbauen?

Vielleicht ein Wärmeleitsensor. Da reicht eine kleine Glühlampe
ohne Gehäuse.

https://www.researchgate.net/publication/249509685_On_the_gas_species_dependence_of_Pirani_vacuum_gauges

--
mfg Rolf Bombach

 

[Rolf Bombach]

Gerrit Heitsch schrieb:

TRIM braucht man nicht, underprovisioning tut es auch, also einen Bereich der SSD bei der Partitionierung ausnehmen und nie direkt benutzen.

Overprovisioning?

--
mfg Rolf Bombach

 

[Leo Baumann]

Am 11.11.2022 um 23:14 schrieb Rolf Bombach:

Gerrit Heitsch schrieb:

TRIM braucht man nicht, underprovisioning tut es auch, also einen
Bereich der SSD bei der Partitionierung ausnehmen und nie direkt
benutzen.

Overprovisioning?

Ich habe von meiner 500 GB Samsung 980 Pro 30% für Overprov. gespendet.

 

[Sieghard Schicktanz]

Hallo Michael,

Du schriebst am 11 Nov 2022 19:04:43 GMT:

Immerhin kann man bei den HDs von WDC den \'Heliumstand\' via SMART
....
Wie messen die das? Ich gehe mal davon aus, da die keinen extra
Sensor dafür verbauen?

Möglicherweise einfach thermisch. Helium hat eine sehr hohe
Wärmeleitfähigkeit, so daß sich ein Heizelement darin erheblich weniger
erwärmt als in Luft. Den Unterschied, der natürlich vom Einbau abhängt,
kann man dann messen und bewerten.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Sieghard Schicktanz]

Hallo Gerrit,

Du schriebst am Thu, 10 Nov 2022 22:16:24 +0100:

Hmmm. Was macht der Controller dann, wenn er wirklich alle
verfügbaren Blöcke mit Daren beschrieben hat, aber für keinen die
Erlaubnis zum Überschreiben?

Wenn er einen neuen Block zum Beschreiben holt wird doch ein alter
frei den er bei Gelegenheit löschen und in den Pool freier Blöcke

Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in dem
alten Block enthaltenen ersetzen, muß der alte Block solange aufgehoben
werden, bis alles darin ungültig geworden ist. Die Größe der internen
Blöcke (\"Erase Units\") hat mit der Größe der extern sichtbaren
Verwaltungseinheiten (\"Sektoren\") erstmal nichts zu tun. Allerdings
wurde wohl auch aus dem Grund die \"Sektorgröße\" moderner Platten auf
4KByte erhöht. Dann passt das etwas besser mit den internen Strukturen
zusammen.

Crucial erwähnte mal irgendwo, daß ihre SSDs \'garbage collection\'
können.

Mag sein, aber dazu müssen sie halt erstmal definitiv \"wissen\", was
genau \"garbage\" ist.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Gerrit Heitsch]

On 11/11/22 23:14, Rolf Bombach wrote:

Gerrit Heitsch schrieb:

TRIM braucht man nicht, underprovisioning tut es auch, also einen
Bereich der SSD bei der Partitionierung ausnehmen und nie direkt
benutzen.

Overprovisioning?

Wie soll das bitte gehen?

Gerrit

 

[Gerrit Heitsch]

On 11/11/22 22:22, Sieghard Schicktanz wrote:

Hallo Gerrit,

Du schriebst am Thu, 10 Nov 2022 22:16:24 +0100:

Hmmm. Was macht der Controller dann, wenn er wirklich alle
verfügbaren Blöcke mit Daren beschrieben hat, aber für keinen die
Erlaubnis zum Überschreiben?

Wenn er einen neuen Block zum Beschreiben holt wird doch ein alter
frei den er bei Gelegenheit löschen und in den Pool freier Blöcke

Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in dem
alten Block enthaltenen ersetzen, muß der alte Block solange aufgehoben
werden, bis alles darin ungültig geworden ist.

Nicht unbedingt. Man kann auch den Rest auf neue Blocks umkopieren.
Nicht unbedingt gleich, aber der Controller kann sich das merken.

Gerrit

 

[Sieghard Schicktanz]

Hallo Gerrit,

Du schriebst am Sat, 12 Nov 2022 18:24:19 +0100:

Hmmm. Was macht der Controller dann, wenn er wirklich alle
verfügbaren Blöcke mit Daren beschrieben hat, aber für keinen die
Erlaubnis zum Überschreiben?
....
Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in
....
Nicht unbedingt. Man kann auch den Rest auf neue Blocks umkopieren.
Nicht unbedingt gleich, aber der Controller kann sich das merken.

Ja, solange noch neue Blöcke für die ganzen Reste da sind, geht das so.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Gerrit Heitsch]

On 11/12/22 21:36, Sieghard Schicktanz wrote:

Hallo Gerrit,

Du schriebst am Sat, 12 Nov 2022 18:24:19 +0100:

Hmmm. Was macht der Controller dann, wenn er wirklich alle
verfügbaren Blöcke mit Daren beschrieben hat, aber für keinen die
Erlaubnis zum Überschreiben?
...
Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in
...
Nicht unbedingt. Man kann auch den Rest auf neue Blocks umkopieren.
Nicht unbedingt gleich, aber der Controller kann sich das merken.

Ja, solange noch neue Blöcke für die ganzen Reste da sind, geht das so.

Es werden ja immer wieder welche frei.

Gerrit

 

[Sieghard Schicktanz]

Hallo Gerrit,

Du schriebst am Sat, 12 Nov 2022 22:15:21 +0100:

Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in
...
Nicht unbedingt. Man kann auch den Rest auf neue Blocks umkopieren.
....
Ja, solange noch neue Blöcke für die ganzen Reste da sind, geht das
....
Es werden ja immer wieder welche frei.

Jaja, Du machst das schon. Da gibt\'s keine Grenzen.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Gerrit Heitsch]

On 11/13/22 20:32, Sieghard Schicktanz wrote:

Hallo Gerrit,

Du schriebst am Sat, 12 Nov 2022 22:15:21 +0100:

Nicht unbedingt - wenn die geänderten Daten nur einen Teil der in
...
Nicht unbedingt. Man kann auch den Rest auf neue Blocks umkopieren.
...
Ja, solange noch neue Blöcke für die ganzen Reste da sind, geht das
...
Es werden ja immer wieder welche frei.

Jaja, Du machst das schon. Da gibt\'s keine Grenzen.

Wenn du mir nicht glaubst, hier beschreibt Seagate den Prozess:

SSDs work very differently. The fundamental unit of NAND flash memory is
typically a 4 kilobyte (4KB) page, and there are usually 128 pages in a
block. Writes can happen one page at a time, but only on blank (or
erased) pages. Pages cannot be directly overwritten. Rather, they must
first be erased. However, erasing a page is complicated by the fact that
entire blocks of pages must be erased at one time. When the host wants
to rewrite to an address, the SSD actually writes to a different, blank
page and then updates the logical block address (LBA) table (much like
the MFT of an HDD). Inside the LBA table, the original page is marked as
“invalid” and the new page is marked as the current location for the new
data.

Of course, SSDs must erase these invalid pages of data at some point, or
the usable space on the SSD would eventually fill up. SSDs periodically
go through a process called garbage collection to clear out invalid
pages of data. During this process, the SSD controller, or flash
controller, that manages NAND flash memory in an SSD, reads all the good
pages of a block
(skipping the invalid pages) and writes them to a new erased block. Then
the original block is erased, thus preparing it for new data.

[...]

Some SSD manufacturers provide software tools to allow for
over-provisioning of drives by the user. Actually, even without special
software, any user can set aside a portion of the SSD when first setting
it up in the system by creating a partition that does not use the
drive’s full capacity. This unclaimed space will automatically be used
by the controller as dynamic over-provisioning.

Quelle:
https://www.seagate.com/de/de/tech-insights/ssd-over-provisioning-benefits-master-ti/



Gerrit

 

[Michael Schwingen]

On 2022-11-13, Sieghard Schicktanz <Sieghard.Schicktanz@SchS.de> wrote:

Es werden ja immer wieder welche frei.

Jaja, Du machst das schon. Da gibt\'s keine Grenzen.

Wieso jetzt?

Prinzipiell reicht es, wenn die SSD genau einen leeren Block in Reserve hat
- dann kann sie die Daten dahin umkopieren und den vorigen, freigewordenen
Block löschen. Da gibt es erstmal kein Limit - das geht beliebig oft, bis
halt die Schreibzyklen eines Blockes aufgebraucht sind und der ausfällt.

Alles, was darüber hinausgeht, sind Optimierungen, die ändern aber am
Prinzip erstmal nichts.

cu
Michael

 

[Sieghard Schicktanz]

Hallo Michael,

Du schriebst am 14 Nov 2022 19:13:45 GMT:

Es werden ja immer wieder welche frei.

Jaja, Du machst das schon. Da gibt\'s keine Grenzen.

Wieso jetzt?

Prinzipiell reicht es, wenn die SSD genau einen leeren Block in
Reserve hat
- dann kann sie die Daten dahin umkopieren und den vorigen,
freigewordenen Block löschen. Da gibt es erstmal kein Limit - das
geht beliebig oft, bis halt die Schreibzyklen eines Blockes
aufgebraucht sind und der ausfällt.

Kann sie, solange dieser leere Block nicht mit sovielen neuen Daten
gefüllt werden muß, daß der vorher benutzte Block noch einen Rest
\"aufheben\" muß. Dann ist _kein_ leerer Block mehr vorhanden.

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Sieghard Schicktanz]

Hallo Gerrit,

Du schriebst am Sun, 13 Nov 2022 22:30:49 +0100:

Wenn du mir nicht glaubst, hier beschreibt Seagate den Prozess:
....
Of course, SSDs must erase these invalid pages of data at some point,
or the usable space on the SSD would eventually fill up. SSDs
periodically go through a process called garbage collection to clear
out invalid pages of data. During this process, the SSD controller,
or flash controller, that manages NAND flash memory in an SSD, reads
all the good pages of a block
(skipping the invalid pages) and writes them to a new erased block.
Then the original block is erased, thus preparing it for new data.

....
Eben. Und _ohne_ \"garbage collection\", was Deine Voraussetzung war
(soweit ich mich erinnere, ist schon so lange her...), kann es halt
immer einen Überlauf geben, der durch zunehmende Fragmentierung
verursacht wird.

(Und wie die Zuordnungstabellen bei einem solchen Vorgang behandelt
werden, wird vorsichtshalber nicht beschrieben. Vielleicht liegen
die auch nicht direkt im Flash-Speicher oder werden gar in einem
gepufferten RAM gehalten.)

--
(Weitergabe von Adressdaten, Telefonnummern u.ä. ohne Zustimmung
nicht gestattet, ebenso Zusendung von Werbung oder ähnlichem)
-----------------------------------------------------------
Mit freundlichen Grüßen, S. Schicktanz
-----------------------------------------------------------

 

[Gerrit Heitsch]

On 11/14/22 22:44, Sieghard Schicktanz wrote:

Hallo Gerrit,

Du schriebst am Sun, 13 Nov 2022 22:30:49 +0100:

Wenn du mir nicht glaubst, hier beschreibt Seagate den Prozess:
...
Of course, SSDs must erase these invalid pages of data at some point,
or the usable space on the SSD would eventually fill up. SSDs
periodically go through a process called garbage collection to clear
out invalid pages of data. During this process, the SSD controller,
or flash controller, that manages NAND flash memory in an SSD, reads
all the good pages of a block
(skipping the invalid pages) and writes them to a new erased block.
Then the original block is erased, thus preparing it for new data.
...
Eben. Und _ohne_ \"garbage collection\", was Deine Voraussetzung war
(soweit ich mich erinnere, ist schon so lange her...), kann es halt
immer einen Überlauf geben, der durch zunehmende Fragmentierung
verursacht wird.

Das ist aber wohl heute Standard. Zuerst habe ich es bei Micron
(Crucial) und deren Budget SSD MX100 in der Beschreibung gefunden. Die
kostete mit 512 GB damals (2014, also 8 Jahre her) gerade mal 170 Euro.

(Und wie die Zuordnungstabellen bei einem solchen Vorgang behandelt
werden, wird vorsichtshalber nicht beschrieben. Vielleicht liegen
die auch nicht direkt im Flash-Speicher oder werden gar in einem
gepufferten RAM gehalten.)

Wie sie das lösen ist mir egal, es muss nur stabil funktionieren und
auch einen Stromausfall überstehen.

Gerrit

 

[Volker Bartheld]

On Tue, 15 Nov 2022 07:49:00 +0100, Gerrit Heitsch wrote:

On 11/14/22 22:44, Sieghard Schicktanz wrote:
Of course, SSDs must erase these invalid pages of data at some point,
or the usable space on the SSD would eventually fill up.
Eben. Und _ohne_ \"garbage collection\" [...], kann es halt
immer einen Überlauf geben, der durch zunehmende Fragmentierung
verursacht wird.
Das ist aber wohl heute Standard. Zuerst habe ich es bei Micron
(Crucial) und deren Budget SSD MX100 in der Beschreibung gefunden. Die
kostete mit 512 GB damals (2014, also 8 Jahre her) gerade mal 170 Euro.

Genau.

Ich finde es auch vergleichsweise merkwürdig, wenn ein Gerät mit in
Firmware hinterlegtem, für den Benutzer und sogar das Betriebssystem(!)
gänzlich unbekannten inneren Funktion, irgendwelchen Voodoo zur
Aufrechterhaltung des nach außen garantierten Verhaltens benötigte. Das
soll das Gerät bitte basierend auf den ihm mühleos zugänglichen Daten
(hier: die Belegungstabelle der Seiten und deren Inhalt selbst neu
sortieren) in Eigenregie erledigen.

Und wenn es auf einer SSD dafür notwendig ist, einen Speicherbereich
anzulegen, der für Anwenderdaten tabu ist, dann muß eben genau das ab
Werk passieren. Und wenn die SSD ihren Müll irgendwie in regelmäßigen
Abständen aufräumen muß, dann muß der Controller eben auf die TBW
schauen, die aktuelle Auslastung, die Uptime oder sonstwas, was
geeignet ist.

Wer würde denn auch bei einem Auto den Hinweis akzeptieren, man möge
regelmäßig gegen die Reifen treten, damit das ABS zuverlässig seine
Funktion erfüllt *)?

(Und wie die Zuordnungstabellen bei einem solchen Vorgang behandelt
werden, wird vorsichtshalber nicht beschrieben. Vielleicht liegen
die auch nicht direkt im Flash-Speicher oder werden gar in einem
gepufferten RAM gehalten.)
Wie sie das lösen ist mir egal, es muss nur stabil funktionieren und
auch einen Stromausfall überstehen.

Exakt so schauts aus.

Volker

*) Ja, bei manchen Karren ist das ein durchaus probates Mittel, so wie
auch anderer Cargo Cult rings um den berühmt-berüchtigten
Klemmenwechsel oder den Tausch der Starterbatterie. Zur Ehre der
Hersteller gereicht das aber trotzdem nicht.