Aussagen von Bündnis 90/Die Grünen zur Energiewende

Am 15.03.19 um 22:11 schrieb Gerrit Heitsch:
On 3/15/19 8:33 PM, Hanno Foest wrote:

Und nun sollen Autos, die von ihrer Konzeption her selbstfahrend und
damit auch voll fernsteuerbar sind, inklusive Kameras und
GPS-PositionsrĂźckmeldung, in ein weltweites Informationsnetzwerk
eingebunden werden? Eine tolle Idee. Was kĂśnnte dabei schon
schiefgehen? Vielleicht so etwas wie der Anschlag von Nizza - nur, daß
es dazu keine Täter vor Ort braucht. Und sie die Nummer ziemlich oft
wiederholen kĂśnnne, bis jemand merkt, was los ist, und ein Mittel
dagegen gefunden wird. Denn das ist das schĂśne an der IT:
Schwachstellen sind nicht singulär, sondern finden sich in einer
großen Zahl identischer Systeme in identischer Form, und lassen sich
automatisiert ausnutzen.

Falls ein Beispiel gesucht wird was schon jetzt dank Fehlern in der
Software von vernetzten Autos geht:

https://www.wired.com/2015/07/hackers-remotely-kill-jeep-highway/

Na, immer noch Lust auf ein vom Internet erreichbares Auto?

Nein, auf das erste Flugzeug, das auf diese Weise entfĂźhrt wird, aber
nicht ins WTC, sondern in den Sitz des Softwareherstellers.
 
Am 15.03.2019 um 20:33 schrieb Hanno Foest:
Am 15.03.19 um 18:20 schrieb Rupert Haselbeck:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Gehen wir über zum Automobil. Automobilhersteller haben typischerweise
keinerlei Ahnung von IT-Sicherheit, das spiegelt sich auch in der
Qualität der Produkte: Sie ist auf dem Stand der Computersicherheit der
frühen 90er Jahre (Aussage von Sicherheitsexperten) und resultiert in
derlei Heldentaten wie Keyless-Go Systemen, deren Reichweite sich per
Funkrelais erweitern läßt, so daß sich ein Mittäter lediglich nachts in
die Nähe des Schlafzimmers des Opfers begeben muß, um die sich dort in
der Hosentasche befindliche Keyless-Go Karte zum zweiten Täter zu
verlängern, der den BMW entführt. Entriegeln der Zentralverriegelung,
und Deaktivieren der Wegfahrsperre bei Audi über den per Heckleuchte
zugänglichen CAN-Bus ist angeblich ebenfalls populär - und das sind
lediglich Beispiele, die mir spontan einfallen.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden. Sowas ist ein typisches Vorgehen von großen
Konzernen. Man meint immer gerne, dass sie viel zu spät in den Markt
einsteigen würden, weil sie für die nötigen Entwicklungen viel zu träge
sind. Stimmt auch. Deshalb machen sie solche Entwicklungen auch nicht
selber, sondern kaufen sie. Ihre Stärke ist die große Masse an Geld. Die
Stärke der aufzukaufenden Firmen ist ihre Innovationskraft. Von ihnen
holen sich verdammt Viele eine blutige Nase mit ihren Ideen.
Innovationen sind teuer und das Geld ist für sie rar. Die guten Ideen
mit Überlebenspotenzial werden aufgekauft.

Und nun sollen Autos, die von ihrer Konzeption her selbstfahrend und
damit auch voll fernsteuerbar sind, inklusive Kameras und
GPS-Positionsrückmeldung, in ein weltweites Informationsnetzwerk
eingebunden werden? Eine tolle Idee. Was könnte dabei schon schiefgehen?

Schiefgehen kann natürlich verdammt viel. Ist mit anderer Technik aber
auch nicht anders. Wolkenkratzer können einstürzen, Bergwerke können das
auch und sie können auch noch absaufen und Schlagwetter produzieren,
Autos können "in den Graben gefahren werden"... Am Ende läuft es immer
drauf raus, ob wir's riskieren wollen oder nicht.

Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Und sie die Nummer ziemlich oft wiederholen
könnne, bis jemand merkt, was los ist,

so ist das mit den "normalen" Attentätern auch. Manchmal kann es ganz
schön lange dauern, bis die Drahtzieher entdeckt und dingfest gemacht
werden.

und ein Mittel dagegen gefunden
wird.

Genauso mit dem üblichen kriminellen Gesocks.

Denn das ist das schöne an der IT: Schwachstellen sind nicht
singulär, sondern finden sich in einer großen Zahl identischer Systeme
in identischer Form, und lassen sich automatisiert ausnutzen.

Also alles ganz harmlos. Oder?

Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere. Dass ein Angriff gelingt, kann man genausowenig ausschließen wie
selbst einem terroristischen Angriff zum Opfer zu fallen oder die
nächste Treppe runter zu fallen und sich dabei das Genick zu brechen.

--
Servus
Christoph Müller
https://www.astrail.de
 
On 3/16/19 11:39 AM, Christoph Müller wrote:
Am 15.03.2019 um 20:33 schrieb Hanno Foest:
Am 15.03.19 um 18:20 schrieb Rupert Haselbeck:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja, aber im Gegensatz zur IT waren das immmer Einzelfälle oder wenige.
Bei IT hast du das Problem, das identische Software in teilweise
Millionen Geräten verwendet wird. Wenn diese Software einen von aussen
ausnutzbaren Fehler hat ist das Botnetz schon so gut wie etabliert.

Bei IT gilt 'man muss ein Problem nur einmal lösen'. Das ist einer der
großen Vorteile. Es gilt aber eben leider auch, daß so jeder Fehler, den
man dabei macht sich ebenso verbreitet.




Gehen wir über zum Automobil. Automobilhersteller haben typischerweise
keinerlei Ahnung von IT-Sicherheit, das spiegelt sich auch in der
Qualität der Produkte: Sie ist auf dem Stand der Computersicherheit der
frühen 90er Jahre (Aussage von Sicherheitsexperten) und resultiert in
derlei Heldentaten wie Keyless-Go Systemen, deren Reichweite sich per
Funkrelais erweitern läßt, so daß sich ein Mittäter lediglich nachts in
die Nähe des Schlafzimmers des Opfers begeben muß, um die sich dort in
der Hosentasche befindliche Keyless-Go Karte zum zweiten Täter zu
verlängern, der den BMW entführt. Entriegeln der Zentralverriegelung,
und Deaktivieren der Wegfahrsperre bei Audi über den per Heckleuchte
zugänglichen CAN-Bus ist angeblich ebenfalls populär - und das sind
lediglich Beispiele, die mir spontan einfallen.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Annehmen kann man viel, bisher sind da wenig Anzeichen zu erkennen. Die
Software die sie selber herstellen ist (im Bezug auf die gewünschte
Funktion) OK bis gut, aber bis jetzt war es nicht wirklich nötig dabei
auch noch an Sicherheit zu denken weil ein Auto nicht vernetzt war. Für
einen Exploit brauchte man direkten Zugriff. Das ist (leider) dabei sich
zu ändern.

Software zu programmieren die wirklich sicher ist, ist extrem schwer,
selbst Experten machen immer wieder Fehler. Es reicht ein remote
ausnutzbarer Fehler (oder ein 'vergessener' Debug-Account mit
Admin-Rechten und festem, nicht änderbarem Password... Hatte Cisco davon
nicht ein paar?) und schon sind alle Fahrzeuge mit dieser Version
kompromittierbar. Wenn das passiert müssten alle Fahrzeuge bis zur
Behebung des Fehlers stillgelegt werden. Wird nicht gut ankommen. Siehe
auch die 737 Max 8 aktuell.




Autos können "in den Graben gefahren werden"... Am Ende läuft es immer
drauf raus, ob wir's riskieren wollen oder nicht.

Bei Flugzeugen riskieren wir ziemlich wenig. Wenn auch nur der Verdacht
besteht, daß ein Typ einen Designfehler hat werden alle Flugzeuge dieses
Typs stillgelegt bis er behoben ist. Bei selbstfahrenden Autos wird man
es ebenso handhaben müssen.


Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Man braucht dann aber keinen Täter mehr vor Ort der im Laster sitzen
muss. Das macht vieles einfacher.


und ein Mittel dagegen gefunden
wird.

Genauso mit dem üblichen kriminellen Gesocks.

Nein, mit IT geht vieles einfacher.


Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Hilft nicht die Bohne wenn der Angreifer einen Fehler in der Software
findet der es ihm erlaubt die Authentifizierung zu umgehen oder einen
oben erwähnten, 'vergessenen' Account. Stichwort für ersteres ist 'root
exploit'.



Dass ein Angriff gelingt, kann man genausowenig ausschließen wie
selbst einem terroristischen Angriff zum Opfer zu fallen oder die
nächste Treppe runter zu fallen und sich dabei das Genick zu brechen.

IT macht das, speziell wenn der Hersteller keine Ahnung von ITSec hat
oder sich den Aufwand spart, aber um Größenordnungen einfacher.

Gerrit



>
 
Am 16.03.19 um 11:39 schrieb Christoph Müller:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja. Und es betrifft immer nur Einzelfälle. Selbst wenn mechanisch etwas
im Argen ist, dann geht das nicht überall gleichzeitig kaputt, weil die
belasteten Teile ja Exemplarstreuungen haben. Oder weil sehr selten
auftretende Randbedingungen dazukommen müssen - irgendwie ist das
Problem der QA ja entgangen.

Wenn jetzt aber diese selten auftretenden Randbedingungen von einem
Angreifer über das Netz automatisiert hervorgerufen werden können, hat
das Ganze eine neue Qualität. Und daher ist IT-Sicherheit nicht mit
irgendwas, was sich der TÜV sich angucken könnte, vergleichbar.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Das glaub ich, wenn ich das sehe. Hier in paar Einblicke in Realität,
konkret die IT-Infrastruktur bei Tesla, sehr gruselig.

https://twitter.com/atomicthumbs/status/1032939617404645376

Sowas ist ein typisches Vorgehen von großen
Konzernen.

Ob sich da für jemand Kompetentes entschieden wird ist eher Glückssache,
das wird nämlich beim Golfen entschieden. Zumindest ist auch das
typisches Vorgehen von großen Konzernen.

Aber selbst wenn die Leute gut sind - noch mal: Alle GAUs sind schon
eingetreten. Du hast das bestätigt... und während bei einer Brücke das
zu vermeidende Fehlerszenario recht offensichtlich ist, sind in der IT
unzählige Fehlerszenarien im System der Dutzenden miteinander
verbundenen Prozessoren, die sich in einem modernen Auto befinden, denkbar.

Wie ich schon sagte: In einem nichttrivialen System findet ein Angreifer
heutzutage immer Lücken.

Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Und sie die Nummer ziemlich oft wiederholen
könnne, bis jemand merkt, was los ist,

so ist das mit den "normalen" Attentätern auch.

Serienselbstmordattentäter? Wir waren gerade bei Nizza. - Ich glaube
nicht, daß das Konzept tragfähig ist.

[...]
Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Also doch wieder Benutzereingriffe bei autonomen Autos? PIN vor jeder
Lenkbewegung eingeben stelle ich mir umständlich vor - aber wie sollte
man sonst grundsätzlich verhindern können, daß das Auto woanders hin
lenkst als du möchtest?

Dass ein Angriff gelingt, kann man genausowenig ausschließen wie
selbst einem terroristischen Angriff zum Opfer zu fallen oder die
nächste Treppe runter zu fallen und sich dabei das Genick zu brechen.

Falsche Bezugsgröße - daß ein Angriff gelingt, kann man genausowenig
ausschließen wie, daß *irgendjemand* einem terroristischen Angriff zum
Opfer zu fällt, oder daß *irgendjemand* die nächste Treppe runter fällt
und sich dabei das Genick bricht. (MaW, es ist sicher, daß es passiert.)

Denn nur *ein* Fall von individuellem "Pech" übersetzt sich in der IT zu
einer übers Netz ausnutzbaren Sicherheitslücke in zigtausenden bis
Millonen Zielen.

Kann man machen - aber in einem Kapitalismus, der Featuritis als
Differenzierungsmerkmal braucht, und auf der anderen Seite Sicherheit
kostenoptimiert? Ich weiß nicht.

Hanno

--
The modern conservative is engaged in one of man's oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith
 
Am 16.03.2019 um 13:36 schrieb Gerrit Heitsch:
On 3/16/19 11:39 AM, Christoph Müller wrote:
Am 15.03.2019 um 20:33 schrieb Hanno Foest:
Am 15.03.19 um 18:20 schrieb Rupert Haselbeck:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja, aber im Gegensatz zur IT waren das immmer Einzelfälle oder wenige.
Bei IT hast du das Problem, das identische Software in teilweise
Millionen Geräten verwendet wird. Wenn diese Software einen von aussen
ausnutzbaren Fehler hat ist das Botnetz schon so gut wie etabliert.

Bei IT gilt 'man muss ein Problem nur einmal lösen'.

Ist mit Massenartikeln nicht anders.

Das ist einer der
großen Vorteile. Es gilt aber eben leider auch, daß so jeder Fehler, den
man dabei macht sich ebenso verbreitet.

Wie mit Massenprodukten auch.

Gehen wir über zum Automobil. Automobilhersteller haben typischerweise
keinerlei Ahnung von IT-Sicherheit, das spiegelt sich auch in der
Qualität der Produkte: Sie ist auf dem Stand der Computersicherheit der
frühen 90er Jahre (Aussage von Sicherheitsexperten) und resultiert in
derlei Heldentaten wie Keyless-Go Systemen, deren Reichweite sich per
Funkrelais erweitern läßt, so daß sich ein Mittäter lediglich nachts in
die Nähe des Schlafzimmers des Opfers begeben muß, um die sich dort in
der Hosentasche befindliche Keyless-Go Karte zum zweiten Täter zu
verlängern, der den BMW entführt. Entriegeln der Zentralverriegelung,
und Deaktivieren der Wegfahrsperre bei Audi über den per Heckleuchte
zugänglichen CAN-Bus ist angeblich ebenfalls populär - und das sind
lediglich Beispiele, die mir spontan einfallen.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Annehmen kann man viel, bisher sind da wenig Anzeichen zu erkennen.

Ich sehe da sogar sehr viele und ziemlich eindeutige Zeichen in der Presse.

Die
Software die sie selber herstellen ist (im Bezug  auf die gewünschte
Funktion) OK bis gut, aber bis jetzt war es nicht wirklich nötig dabei
auch noch an Sicherheit zu denken weil ein Auto nicht vernetzt war.

Verlässliche Software in Sicherheitsbereichen gibt es schon lange.
Sicherheitssoftware kann man als ein Spezialgebiet der Software
betrachten. In der Branche hat man seine eigenen Regeln und Abläufe.

Für
einen Exploit brauchte man direkten Zugriff. Das ist (leider) dabei sich
zu ändern.

Software zu programmieren die wirklich sicher ist, ist extrem schwer,
selbst Experten machen immer wieder Fehler.

Das ist einer der Gründe, weshalb das mit dem fahrerlosen Auto so lange
dauert. Anfangs dachte man ja, dass man bis Ende der 1980er Jahre das
fahrerlose Auto haben könnte...

Es reicht ein remote
ausnutzbarer Fehler (oder ein 'vergessener' Debug-Account mit
Admin-Rechten und festem, nicht änderbarem Password... Hatte Cisco davon
nicht ein paar?) und schon sind alle Fahrzeuge mit dieser Version
kompromittierbar. Wenn das passiert müssten alle Fahrzeuge bis zur
Behebung des Fehlers stillgelegt werden. Wird nicht gut ankommen. Siehe
auch die 737 Max 8 aktuell.

Auf sowas wird sich die Branche einstellen müssen. Wie die
Flugzeugindustrie eben auch.

Autos können "in den Graben gefahren werden"... Am Ende läuft es immer
drauf raus, ob wir's riskieren wollen oder nicht.

Bei Flugzeugen riskieren wir ziemlich wenig. Wenn auch nur der Verdacht
besteht, daß ein Typ einen Designfehler hat werden alle Flugzeuge dieses
Typs stillgelegt bis er behoben ist. Bei selbstfahrenden Autos wird man
es ebenso handhaben müssen.

Sehe ich genauso.

Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Man braucht dann aber keinen Täter mehr vor Ort der im Laster sitzen
muss. Das macht vieles einfacher.

Einfacher? Die Hürden für die Angreifer werden hoch sein. Diese müssen
sie erst mal überwinden. Die Einen haben Probleme, Selbstmordattentäter
zu rekrutieren. Die Anderen haben Probleme, die nötigen Softwarelücken
zu finden. Beides ist offenbar irgendwie möglich. Aber halt nicht einfach.

und ein Mittel dagegen gefunden
wird.

Genauso mit dem üblichen kriminellen Gesocks.

Nein, mit IT geht vieles einfacher.

Immer vorausgesetzt, dass man erst mal bestimmte Eingangshürden
überwunden hat. Ist wie mit Viren. Die meisten finden keinen Weg in die
Zelle. Aber wenn sie mal drin sind, bauen sie diese in ihrem Sinne um.
Trotzdem gibt es höhere Lebewesen bis hin zum Menschen.

Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Hilft nicht die Bohne wenn der Angreifer einen Fehler in der Software
findet der es ihm erlaubt die Authentifizierung zu umgehen oder einen
oben erwähnten, 'vergessenen'  Account. Stichwort für ersteres ist 'root
exploit'.

100% ausschließen lässt sich die Gefahr nicht. Aber man kann die Latten
ziemlich hoch legen. Dafür werden zahlreiche "gute Hacker" engagiert,
die nach solchen Lücken suchen, bevor die Software in die Freiheit
entlassen wird.

Dass ein Angriff gelingt, kann man genausowenig ausschließen wie
selbst einem terroristischen Angriff zum Opfer zu fallen oder die
nächste Treppe runter zu fallen und sich dabei das Genick zu brechen.

IT macht das, speziell wenn der Hersteller keine Ahnung von ITSec hat
oder sich den Aufwand spart, aber um Größenordnungen einfacher.

Wenn ich die Fachpresse anschaue, habe ich sehr wohl den Eindruck, dass
die ITSec sehr ernst genommen wird.

--
Servus
Christoph Müller
https://www.astrail.de
 
Hanno Foest <hurga-news2@tigress.com>:
Am 15.03.19 um 15:01 schrieb Ewald Pfau:

Welches Maschinengewehr hat ein Kaliber von 3mm?

Die Jahre vergehen, die Erinnerung wird unscharf ... bitte: 30 mm.

Das ist doch Unsinn. Auf den Fotos sind große und kleine Löcher, das
paßt wesentlich besser zum Schrapnell eines BUK Gefechtskopfs mit seinen
unterschiedlich großen Bestandteilen.

(usw.) Nun, mit der Methode von ARD-Tatort zum Erkenntnisgewinn kann ich
nicht mithalten, soviel Geld wie dort hineingebuttert wird, dass die Show
stimmt, da werde ich nicht mithalten wollen (Komisssar: Das hat der doch nie
gemacht! ... Punkt geklärt. Nächste Szene). Hier die Ausfßhrungen hab ich
transparent gemacht, da sind sehr viele Augen drĂźbergegangen
(dementsprechend, dass z.T. Übersetzungen vorliegen, der Unterschied der
Einschlagcharakteristik einer Raketengeschosses und einer aus der Nähe
feuernden MP wird dort irgendwo analysiert, das werd ich jetzt nicht mehr
nochmals suchen gehen, und Fotos von vorwiegend eindeutigen Einschusskratern
sind genauso dort, wie Fotos mit gemischten Explosions- und
Einschusskratern.

Gut, in Deutschland sind sie klarerweise allesamt Spezialisten, weil da
läuft allwÜchentlich ein Tatort. Hab ich aber nix damit zu tun. Im Skript
muss dann eine Spezialabteilung die Details in den Dokumenten lesen, aber
die Stars haben es derweil schon wieder eilig zum nächsten Drehtermin. Und
wenn im Skript eine abwiegelnde Handbewegung kommt ... nun ja.
 
On 3/16/19 5:24 PM, Christoph Müller wrote:
Am 16.03.2019 um 13:36 schrieb Gerrit Heitsch:
On 3/16/19 11:39 AM, Christoph Müller wrote:
Am 15.03.2019 um 20:33 schrieb Hanno Foest:
Am 15.03.19 um 18:20 schrieb Rupert Haselbeck:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja, aber im Gegensatz zur IT waren das immmer Einzelfälle oder wenige.
Bei IT hast du das Problem, das identische Software in teilweise
Millionen Geräten verwendet wird. Wenn diese Software einen von aussen
ausnutzbaren Fehler hat ist das Botnetz schon so gut wie etabliert.

Bei IT gilt 'man muss ein Problem nur einmal lösen'.

Ist mit Massenartikeln nicht anders.

Nicht ganz. Die Kopie eines Programmes oder Firmware-Images ist zu 100%
identisch mit dem Original. Das ist bei Massenartikeln, also
Gegenständen nicht der Fall, da gibt es immer Unterschiede.


Das ist einer der
großen Vorteile. Es gilt aber eben leider auch, daß so jeder Fehler, den
man dabei macht sich ebenso verbreitet.

Wie mit Massenprodukten auch.

In Grenzen. Wenn es nicht wirklich ein grober Designfehler ist, und die
fallen recht schnell auf, dann tritt das Problem nicht bei jedem
produzierten Gegenstand auf.

Das Problem bei IT ist, das System funktioniert wie es soll, das kann
man testen. Aber durch Fehler in der Programmierung kommt es zu
zusätzlichen Features die nicht sichtbar sind und auf die man erst
testen kann, wenn sie auffallen, bzw. man sich vorstellen kann, daß sie
da sein könnten. Der bekannte Bufferoverflow, oder 'off by one' z.B.. Es
gab mehr als einen Bug bei dem der Hersteller sagte 'Ja, ist ein Bug,
kann man aber nicht ausnutzen'. Bis jemand das Gegenteil bewies, siehe hier:

https://googleprojectzero.blogspot.com/2014/08/the-poisoned-nul-byte-2014-edition.html


Gehen wir über zum Automobil. Automobilhersteller haben typischerweise
keinerlei Ahnung von IT-Sicherheit, das spiegelt sich auch in der
Qualität der Produkte: Sie ist auf dem Stand der Computersicherheit der
frühen 90er Jahre (Aussage von Sicherheitsexperten) und resultiert in
derlei Heldentaten wie Keyless-Go Systemen, deren Reichweite sich per
Funkrelais erweitern läßt, so daß sich ein Mittäter lediglich nachts in
die Nähe des Schlafzimmers des Opfers begeben muß, um die sich dort in
der Hosentasche befindliche Keyless-Go Karte zum zweiten Täter zu
verlängern, der den BMW entführt. Entriegeln der Zentralverriegelung,
und Deaktivieren der Wegfahrsperre bei Audi über den per Heckleuchte
zugänglichen CAN-Bus ist angeblich ebenfalls populär - und das sind
lediglich Beispiele, die mir spontan einfallen.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Annehmen kann man viel, bisher sind da wenig Anzeichen zu erkennen.

Ich sehe da sogar sehr viele und ziemlich eindeutige Zeichen in der Presse.

In der Presse steht leider viel. Interessant ist nur was am Ende hinten
rauskommt.


Die
Software die sie selber herstellen ist (im Bezug  auf die gewünschte
Funktion) OK bis gut, aber bis jetzt war es nicht wirklich nötig dabei
auch noch an Sicherheit zu denken weil ein Auto nicht vernetzt war.

Verlässliche Software in Sicherheitsbereichen gibt es schon lange.
Sicherheitssoftware kann man als ein Spezialgebiet der Software
betrachten. In der Branche hat man seine eigenen Regeln und Abläufe.

Ja... trotzdem werden immer wieder Exploits in sicherer Software
gefunden die die Sicherheit aushebeln.



Für
einen Exploit brauchte man direkten Zugriff. Das ist (leider) dabei sich
zu ändern.

Software zu programmieren die wirklich sicher ist, ist extrem schwer,
selbst Experten machen immer wieder Fehler.

Das ist einer der Gründe, weshalb das mit dem fahrerlosen Auto so lange
dauert. Anfangs dachte man ja, dass man bis Ende der 1980er Jahre das
fahrerlose Auto haben könnte...

Nein, damals reichte die Rechenleistung bei weitem nicht. Selbst heute
ist noch unklar, ob man mit dem was heute verfügbar ist wirklich auskommt.



Es reicht ein remote
ausnutzbarer Fehler (oder ein 'vergessener' Debug-Account mit
Admin-Rechten und festem, nicht änderbarem Password... Hatte Cisco davon
nicht ein paar?) und schon sind alle Fahrzeuge mit dieser Version
kompromittierbar. Wenn das passiert müssten alle Fahrzeuge bis zur
Behebung des Fehlers stillgelegt werden. Wird nicht gut ankommen. Siehe
auch die 737 Max 8 aktuell.

Auf sowas wird sich die Branche einstellen müssen. Wie die
Flugzeugindustrie eben auch.

Die Kunden werden das allerdings nicht tun. Sobald man dir dein Auto
stilllegt (*) und sagt, daß es eine Woche oder mehr dauern kann bis es
wieder fährt stellst du es dem Hersteller wieder auf den Hof und fährst
wieder selbst.

(*) vor allem wenn das nicht zuhause passiert sondern irgendwo,
vielleicht noch in einem Parkhaus was pro Stunde Geld sehen will.



Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Man braucht dann aber keinen Täter mehr vor Ort der im Laster sitzen
muss. Das macht vieles einfacher.

Einfacher? Die Hürden für die Angreifer werden hoch sein. Diese müssen
sie erst mal überwinden. Die Einen haben Probleme, Selbstmordattentäter
zu rekrutieren. Die Anderen haben Probleme, die nötigen Softwarelücken
zu finden. Beides ist offenbar irgendwie möglich. Aber halt nicht einfach.

Schon, aber sobald eine Lücke gefunden ist gehören dir alle Fahrzeuge
deren Software diese Lücke hat. Vor allem, das kann man in Ruhe
vorbereiten. Wenn es dann losgeht hast du multiple Fahrzeuge übernommen
und ready to go.



Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Hilft nicht die Bohne wenn der Angreifer einen Fehler in der Software
findet der es ihm erlaubt die Authentifizierung zu umgehen oder einen
oben erwähnten, 'vergessenen'  Account. Stichwort für ersteres ist 'root
exploit'.

100% ausschließen lässt sich die Gefahr nicht. Aber man kann die Latten
ziemlich hoch legen. Dafür werden zahlreiche "gute Hacker" engagiert,
die nach solchen Lücken suchen, bevor die Software in die Freiheit
entlassen wird.

Für Software- und Pen-Tests braucht man Leute mit einem bestimmten
Mindset. Die wollen Geld sehen. Leider wird QA gerne als Kostenfaktor
gesehen und stört beim Einhalten des Release-Termins. Wird deshalb gerne
wegoptimiert.

Stichwort 'DevOps'... Wo ist da die Testabteilung (QA) zu finden? Der
Entwickler selbst _kann_ seinen Code nicht korrekt testen, er kennt ihn
zu gut, dafür braucht es jemanden der den Code nicht kennt.


Dass ein Angriff gelingt, kann man genausowenig ausschließen wie
selbst einem terroristischen Angriff zum Opfer zu fallen oder die
nächste Treppe runter zu fallen und sich dabei das Genick zu brechen.

IT macht das, speziell wenn der Hersteller keine Ahnung von ITSec hat
oder sich den Aufwand spart, aber um Größenordnungen einfacher.

Wenn ich die Fachpresse anschaue, habe ich sehr wohl den Eindruck, dass
die ITSec sehr ernst genommen wird.

Zumindest in den Pressemitteilungen ja.

ITSec ist mehr als nur sicherer Code. Wenn ich durch Abnehmen des
Spiegels an den CAN-Bus rankomme (weil die Verstellung des Spiegels
darüber gesteuert wird) und damit das Auto übernehmen oder zumindest
öfnnen kann ohne das es Spuren gibt wurde schon beim Design ITSec
verschlafen.

Gerrit





>
 
Am 16.03.19 um 18:31 schrieb Gerrit Heitsch:

Bei IT gilt 'man muss ein Problem nur einmal lösen'.

Ist mit Massenartikeln nicht anders.

Nicht ganz. Die Kopie eines Programmes oder Firmware-Images ist zu 100%
identisch mit dem Original. Das ist bei Massenartikeln, also
Gegenständen nicht der Fall, da gibt es immer Unterschiede.

Die allerdings bei Industrieprodukten mit funktionierendem
Qualitätsmanagement so gering sind, das sie in der Praxis keine Rolle
spielen.

In Grenzen. Wenn es nicht wirklich ein grober Designfehler ist, und die
fallen recht schnell auf, dann tritt das Problem nicht bei jedem
produzierten Gegenstand auf.

Auch da sehe ich keinen grundlegenden Unterschied.

Ob die falsch dimensionierte Schraube im Auto erst nach Jahren auffällt,
weil erst dann erstmals die fatale Kombination aus Korrosion und
Belastungsspitze zusammen kam, oder ob der Softwarebug erst nach Jahren
auffällt, weil zuvor niemand die entscheidende Funktion mit den
entscheidenden fehlerhaften Eingabedaten aufgerufen hat, das ist beides
die selbe Soße.

Das Problem bei IT ist, das System funktioniert wie es soll, das kann
man testen.

Nur sehr bedingt im Rahmen einer vorliegenden Spezifikation.
Sobald der Anwender auch nur minimal von dem geplanten und geprüften
Einsatzszenario abweicht, sobald andere Systemkomponenten unvorhersehbar
ihr Verhalten ändern (Betriebssystem-Updates!) oder sobald Lücken in
einst als state-of-the-art geltenden Standardalgorithmen gefunden
werden, nutzt dir der ganze tolle Test rein gar nichts mehr.

Aber durch Fehler in der Programmierung kommt es zu
zusätzlichen Features die nicht sichtbar sind und auf die man erst
testen kann, wenn sie auffallen, bzw. man sich vorstellen kann, daß sie
da sein könnten.

Siehe oben. Vieles fällt erst auf, wenn unglückliche Umstände zusammen
kommen. In der Softwarewelt genauso wie in der physischen Welt.

Verlässliche Software in Sicherheitsbereichen gibt es schon lange.
Sicherheitssoftware kann man als ein Spezialgebiet der Software
betrachten. In der Branche hat man seine eigenen Regeln und Abläufe.

Ja... trotzdem werden immer wieder Exploits in sicherer Software
gefunden die die Sicherheit aushebeln.

Genauso wie immer wieder Konstruktionsfehler in Industrieprodukten
gefunden werden, die allerhöchsten Sicherheitsstandards entsprechen, wie
etwa im Flugzeugbau.

Hergen
 
On 3/16/19 7:36 PM, Hergen Lehmann wrote:
Am 16.03.19 um 18:31 schrieb Gerrit Heitsch:

Bei IT gilt 'man muss ein Problem nur einmal lösen'.

Ist mit Massenartikeln nicht anders.

Nicht ganz. Die Kopie eines Programmes oder Firmware-Images ist zu
100% identisch mit dem Original. Das ist bei Massenartikeln, also
Gegenständen nicht der Fall, da gibt es immer Unterschiede.

Die allerdings bei Industrieprodukten mit funktionierendem
Qualitätsmanagement so gering sind, das sie in der Praxis keine Rolle
spielen.

Wäre schön, ist aber nicht so. Denn sonst hätte ich nicht bei ca. 130000
km eine der 4 Einspritzdüsen meines Autos tauschen müssen. 50000 km
später sind die anderen 3 immer noch OK.

Oder der noch in der Garantiezeit ausgefallene Lautsprecher auf der
linken Seite.

Beide Teile wurden vor dem Einbau sicher getestet und haben die Tests
bestanden. Trotzdem gab es diese Ausfälle.


Das Problem bei IT ist, das System funktioniert wie es soll, das kann
man testen.

Nur sehr bedingt im Rahmen einer vorliegenden Spezifikation.

Ja, man kann testen ob es sich so verhält wie die Spec vorschreibt. Das
ist aber eben längst nicht alles und macht Software deshalb deutlich
schwerer testbar als Hardware.


Verlässliche Software in Sicherheitsbereichen gibt es schon lange.
Sicherheitssoftware kann man als ein Spezialgebiet der Software
betrachten. In der Branche hat man seine eigenen Regeln und Abläufe.

Ja... trotzdem werden immer wieder Exploits in sicherer Software
gefunden die die Sicherheit aushebeln.

Genauso wie immer wieder Konstruktionsfehler in Industrieprodukten
gefunden werden, die allerhöchsten Sicherheitsstandards entsprechen, wie
etwa im Flugzeugbau.

Nur fällt dann im Falle eines Falles das Flugzeug irgendwann vom Himmel.
Der Fehler im Design der Hardware gibt mir nicht die Möglichkeit das
Flugzeug aus der Ferne zu übernehmen, bei Software hingegen ist das je
nach Fehler möglich. Dann habe ich ein Flugzeug welches ich an einem mir
genehmen Ort vom Himmel fallen lassen kann. DAS ist der Unterschied.

Gerrit
 
Christoph Müller wrote:
> Ist mit Massenartikeln nicht anders.

Doch. Es kann passieren daß ziemlich viele (ein winziger Anteil, aber in
der Summe viele) Akkus in Flammen aufgehen. Aber es ist nicht möglich,
alle oder einen großen Teil dieser Smartphones gezielt von außen
anzuzünden.

--
/Ż\ No | Dipl.-Ing. F. Axel Berger Tel: +49/ 221/ 7771 8067
\ / HTML | Roald-Amundsen-Straße 2a Fax: +49/ 221/ 7771 8069
 X in | D-50829 Köln-Ossendorf http://berger-odenthal.de
/ \ Mail | -- No unannounced, large, binary attachments, please! --
 
Am 16.03.19 um 19:36 schrieb Hergen Lehmann:

In Grenzen. Wenn es nicht wirklich ein grober Designfehler ist, und
die fallen recht schnell auf, dann tritt das Problem nicht bei jedem
produzierten Gegenstand auf.

Auch da sehe ich keinen grundlegenden Unterschied.

Ob die falsch dimensionierte Schraube im Auto erst nach Jahren auffällt,
weil erst dann erstmals die fatale Kombination aus Korrosion und
Belastungsspitze zusammen kam, oder ob der Softwarebug erst nach Jahren
auffällt, weil zuvor niemand die entscheidende Funktion mit den
entscheidenden fehlerhaften Eingabedaten aufgerufen hat, das ist beides
die selbe Soße.

Soweit schon. Wobei man bedenken muß, daß man zumindest eine Chance hat,
eine falsch dimensionierte Schraube im Wrack zu finden. Daß meine
elektrische Servolenkung gesponnen und mich vor einen Brückenpfeiler
gelenkt hat kann man allenfalls herausbekommen, wenn ich überlebe, mir
die Gehirnerschütterung nicht das Kurzzeitgedächtnis gelöscht hat und
man mir glaubt.

Da gibts sicher noch einige lustige versteckte Bugs. Bisher wurde mir
davon erzählt, daß ein UKW-Kurzstreckensender für den Zigarettenanzünder
beim Einschalten die (Ami-)Karre reproduzierbar links rüberziehen ließ.
Und bei einem IIRC Mercedes meinte die elektrische Servolenkung mal,
mitten auf der Autobahn maximale Unterstützung (eigentlich für
Schrittempo) geben zu müssen, so daß der Fahrer arge Probleme hatte, die
Spur zu halten und die Karre nicht beim Versuch, auf dem Standstreifen
anzuhalten, in die Leitplanke zu setzen. Nach Zündung aus/Zündung an war
übrigens wieder alles ok. Viel Spaß beim Erklären.

So weit ok - ich akzeptiere das, weil ich weiß, daß trotz alledem die
Autos unterm Strich sicherer werden. - Mit der Vernetzung entsteht aber
eine neue Qualität: Man kann sich nicht mehr drauf verlassen, daß man
nach der Beobachtung einer weniger Frühausfälle Zeit für einen Rückruf
mit Bugfix hat. Ein Angreifer kann potentiell unbemerkt und aus der
Ferne automatisiert bei zigtausenden Autos den Fehler auslösen.

[...]
Genauso wie immer wieder Konstruktionsfehler in Industrieprodukten
gefunden werden, die allerhöchsten Sicherheitsstandards entsprechen, wie
etwa im Flugzeugbau.

Als da die Idee kam, die Dinger z.B. für den Fall einer
Flugzeugentführung fernsteuerbar zu machen, war die Reaktion allerdings
einigermaßen entsetzt. Warum das jetzt bei Autos eine bessere Idee sein
sollte ist unklar.

--
The modern conservative is engaged in one of man's oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith
 
Am 16.03.19 um 17:24 schrieb Christoph Müller:

Es reicht ein remote
ausnutzbarer Fehler (oder ein 'vergessener' Debug-Account mit
Admin-Rechten und festem, nicht änderbarem Password... Hatte Cisco davon
nicht ein paar?) und schon sind alle Fahrzeuge mit dieser Version
kompromittierbar. Wenn das passiert müssten alle Fahrzeuge bis zur
Behebung des Fehlers stillgelegt werden. Wird nicht gut ankommen. Siehe
auch die 737 Max 8 aktuell.

Auf sowas wird sich die Branche einstellen müssen. Wie die
Flugzeugindustrie eben auch.

Es ist eher die Frage, ob die Kunden sich drauf einstellen mögen, wenn
der Hersteller sagt "dein Auto fährt jetzt erst mal so ca. 4 Wochen
nicht, bis wir einen Bugfix geschrieben haben, den getestet haben und
das Kraftfahrtbundesamt den abgenommen hat".

[...]
Man braucht dann aber keinen Täter mehr vor Ort der im Laster sitzen
muss. Das macht vieles einfacher.

Einfacher? Die Hürden für die Angreifer werden hoch sein. Diese müssen
sie erst mal überwinden. Die Einen haben Probleme, Selbstmordattentäter
zu rekrutieren. Die Anderen haben Probleme, die nötigen Softwarelücken
zu finden. Beides ist offenbar irgendwie möglich. Aber halt nicht einfach.

Und noch einmal: Beides ist offenbar irgendwie möglich - mit dem kleinen
Unterschied, daß ein Softwarebug potentiell millionenfach skaliert, und
automatisiert ausnutzbar ist. Und nein, man möchte nicht, daß z.B. alle
VW Golf der Welt von jetzt auf gleich Kamikaze fahren. Wirklich nicht.
Noch viel viel weniger, als daß irgendwo ein Flugzeug vom Himmel fällt.
Etwa so wenig, wie man möchte, daß ein Kernkraftwerk durchgeht. Und da
man letztes nicht ordentlich ausschließen kann (qed...) werden die
Dinger perspektivisch abgeschaltet.

Hanno

--
The modern conservative is engaged in one of man's oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith
 
Am 16.03.2019 um 14:49 schrieb Hanno Foest:
Am 16.03.19 um 11:39 schrieb Christoph Müller:

Heimautomatisierung sind noch ein paar andere Szenarien denkbar - und
*alle diese GAUs sind schon eingetreten*.

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja. Und es betrifft immer nur Einzelfälle.

Nein. Das sind durchaus Konstruktionsfehler. Falsche Werkstoffauswahl,
systematische Fertigungsfehler, falsche Dimensionierung, falsche
Annahmen über die Betriebszustände, ... Alles etwa vergleichbar mit
Softwarefehlern.

Selbst wenn mechanisch etwas
im Argen ist, dann geht das nicht überall gleichzeitig kaputt,

auch das kann bei falscher Dimensionierung passieren. Denke nur an die
vielen ausgefallenen Klimaanlagen im ICE. Ab 35°C ging plötzlich nichts
mehr.

weil die
belasteten Teile ja Exemplarstreuungen haben.

Entspricht in der Software etwa unterschiedlichen Konfigurationen des
gleichen Programms.

Oder weil sehr selten
auftretende Randbedingungen dazukommen müssen - irgendwie ist das
Problem der QA ja entgangen.

Wenn jetzt aber diese selten auftretenden Randbedingungen von einem
Angreifer über das Netz automatisiert hervorgerufen werden können,

wenn er quasi Zugriff auf die Produktionsparameter der Hardware hat

hat
das Ganze eine neue Qualität. Und daher ist IT-Sicherheit nicht mit
irgendwas, was sich der TÜV sich angucken könnte, vergleichbar.

Auch der TÜV kann nicht alles anschauen. Es bleibt IMMER ein Restrisiko.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Das glaub ich, wenn ich das sehe. Hier in paar Einblicke in Realität,
konkret die IT-Infrastruktur bei Tesla, sehr gruselig.

Warum hat das Ding nur keine Level-5-Zulassung?

Sowas ist ein typisches Vorgehen von großen
Konzernen.

Ob sich da für jemand Kompetentes entschieden wird ist eher Glückssache,

Glück gehört natürlich auch dazu.

> das wird nämlich beim Golfen entschieden.

Nicht alles. Die Entscheidungen haben i.d.R. eine Vorgeschichte, die
NICHT über das Golfen kam.

Zumindest ist auch das
typisches Vorgehen von großen Konzernen.

Leider. Es ist halt nun mal so, dass es überall menschelt, wo Menschen
involviert sind.

Aber selbst wenn die Leute gut sind - noch mal: Alle GAUs sind schon
eingetreten.

Und wir leben immer noch.

Du hast das bestätigt... und während bei einer Brücke das
zu vermeidende Fehlerszenario recht offensichtlich ist,

geht man weit genug in die Details rein, wird's irgendwann mal nicht
mehr ganz so offensichtlich. Wäre es so offensichtlich, wie du meinst,
dann wäre der Brückeneinsturz von Genua nicht passiert. Dann hätte man
ja gesehen, dass da was faul ist und hätte rechtzeitig entsprechende
Maßnahmen getroffen.

sind in der IT
unzählige Fehlerszenarien im System der Dutzenden miteinander
verbundenen Prozessoren, die sich in einem modernen Auto befinden, denkbar.

Wie ich schon sagte: In einem nichttrivialen System findet ein Angreifer
heutzutage immer Lücken.

Klar. Aber er muss sich Mühe geben. SEHR große Mühe hoffentlich. So
große Mühe, dass sich ein Angriff nicht lohnt. So funktioniert im Grunde
genommen jedes Sicherungsverfahren.

Vielleicht so etwas wie der Anschlag von Nizza - nur, daß es dazu keine
Täter vor Ort braucht.

Trotzdem wurden auch sie "ferngelenkt". Der Täter wurde nicht in Nizza
von Nizzas Einwohnern radikalisiert.

Und sie die Nummer ziemlich oft wiederholen
könnne, bis jemand merkt, was los ist,

so ist das mit den "normalen" Attentätern auch.

Serienselbstmordattentäter? Wir waren gerade bei Nizza. - Ich glaube
nicht, daß das Konzept tragfähig ist.

Schadsoftware schlägt doch auch nicht nur an einem Computer an. Da wird
mit Kopien gearbeitet. Mit Kopieren gibt's auch viele
Selbstmordattentäter. Das Konzept ist sehr wohl tragfähig.

Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Also doch wieder Benutzereingriffe bei autonomen Autos? PIN vor jeder
Lenkbewegung eingeben stelle ich mir umständlich vor

der PIN ist üblicherweise ein Schlüssel.

- aber wie sollte
man sonst grundsätzlich verhindern können, daß das Auto woanders hin
lenkst als du möchtest?

Es wäre empfehlenswert, sich vor Reiseantritt dem Fahrzeug gegenüber
auszuweisen. Mit Mietautos wird man das sowieso machen. Schon aus
abrechnungstechnischen Gründen. Mit dem Stecken eines Schlüssels wird im
Grunde genommen genau das Gleiche gemacht. Man weißt sich gegenüber dem
Schloss als Berechtigter aus. Wie der Schlüssel physikalisch beschaffen
ist, steht auf einem ganz anderen Blatt. Strukturiertes Stahlteil,
Iris-Scan, Fingerabdruck, Venenmuster der Hand, PIN, ... es gibt viele
Möglichkeiten.

Denn nur *ein* Fall von individuellem "Pech" übersetzt sich in der IT zu
einer übers Netz ausnutzbaren Sicherheitslücke in zigtausenden bis
Millonen Zielen.

In der Medizin nennt man sowas Epidemie oder Seuche. Hat man Pech, rafft
es massenweise Menschen dahin, bis endlich mal ein Gegenmittel gefunden
ist. Bei Fahrzeugen wäre das schnellste Mittel der Wahl die
Energiezufuhr abzuschalten und die Kisten einfach stehen zu lassen, bis
der Schaden behoben werden kann. Es sind ja nie alle Fahrzeuge
gleichzeitig unterwegs. Also wird es zwar zu Schäden kommen. Aber wie
mit Ebola auch wird die Mehrheit wohl überleben, obwohl die Krankheit zu
nahezu 100% tödlich ist.

Kann man machen - aber in einem Kapitalismus, der Featuritis als
Differenzierungsmerkmal braucht, und auf der anderen Seite Sicherheit
kostenoptimiert? Ich weiß nicht.

Wird sich notgedrungen einpendeln müssen.

--
Servus
Christoph Müller
https://www.astrail.de
 
On 3/17/19 10:52 AM, Christoph Müller wrote:
Am 16.03.2019 um 14:49 schrieb Hanno Foest:

weil die
belasteten Teile ja Exemplarstreuungen haben.

Entspricht in der Software etwa unterschiedlichen Konfigurationen des
gleichen Programms.

Äh, nein. Bei Software wird ein Programm bei identischer Konfiguration
sich identisch verhalten. Bei Hardware ist das eben wegen der
Exemplarstreuungen nicht gegeben.




Das glaub ich, wenn ich das sehe. Hier in paar Einblicke in Realität,
konkret die IT-Infrastruktur bei Tesla, sehr gruselig.

Warum hat das Ding nur keine Level-5-Zulassung?

Weil Level-5 noch nicht geht.



Aber selbst wenn die Leute gut sind - noch mal: Alle GAUs sind schon
eingetreten.

Und wir leben immer noch.

Ja, unter anderem weil dich ein Desktop-Rechner, Laptop oder Smartphone
nicht per Software umbringen kann und ein vernetzter Thermostat der Mist
baut dir maximal die Bude überheizt oder abkühlt. Kann Sachschäden
verursachen, aber üblicherweise keine Toten.

Anders sieht es bei übernommenen autonomen Fahrzeugen aus. Die eignen
sich auch gut für nicht nachweisbare Morde.



Du hast das bestätigt... und während bei einer Brücke das
zu vermeidende Fehlerszenario recht offensichtlich ist,

geht man weit genug in die Details rein, wird's irgendwann mal nicht
mehr ganz so offensichtlich. Wäre es so offensichtlich, wie du meinst,
dann wäre der Brückeneinsturz von Genua nicht passiert. Dann hätte man
ja gesehen, dass da was faul ist und hätte rechtzeitig entsprechende
Maßnahmen getroffen.

Bei der Brücke war das eher 'Wartung kostet Geld und sie steht ja'. Bei
einer Brücke hast du genau ein zu vermeidendes Fehlerszenario, den
Einsturz. Es ist bekannt was diesen verhindert, damit ist klar, was man
tun müsste. Man hat das leider eben nicht getan.



sind in der IT
unzählige Fehlerszenarien im System der Dutzenden miteinander
verbundenen Prozessoren, die sich in einem modernen Auto befinden, denkbar.

Wie ich schon sagte: In einem nichttrivialen System findet ein Angreifer
heutzutage immer Lücken.

Klar. Aber er muss sich Mühe geben. SEHR große Mühe hoffentlich. So
große Mühe, dass sich ein Angriff nicht lohnt. So funktioniert im Grunde
genommen jedes Sicherungsverfahren.

So große Mühe scheint das nicht zu sein. Vor allem kannst du ja in Ruhe
forschen indem du dir z.B. so ein Auto mietest.



Die Dinger lassen sich aber auch individualisieren. Dafür wurden diverse
Sicherungsverfahren entwickelt wie z.B. PIN-TAN-Verfahren und viele
andere.

Also doch wieder Benutzereingriffe bei autonomen Autos? PIN vor jeder
Lenkbewegung eingeben stelle ich mir umständlich vor

der PIN ist üblicherweise ein Schlüssel.

Hilft nicht wenn du fährst und jemand das Auto von aussen übernimmt.
Dann ist der Schlüssel nämlich vorhanden, du sitzt drin und das Auto tut
nicht mehr was du willst sondern was der andere will.

Dagegen (und gegen sonstige Softwarefehler die zu unerwünschem Verhalten
führen) hilft nur ein großer, roter 'NOTAUS'-Knopf, der nicht per
Software an seiner Funktion gehindert werden kann. Bei autonomen
Lastwagen, ohne Fahrer, hilft das nicht weil keiner da ist der ihn
drücken könnte.

Gerrit
 
Am 16.03.2019 um 18:31 schrieb Gerrit Heitsch:
On 3/16/19 5:24 PM, Christoph Müller wrote:
Am 16.03.2019 um 13:36 schrieb Gerrit Heitsch:
On 3/16/19 11:39 AM, Christoph Müller wrote:
Am 15.03.2019 um 20:33 schrieb Hanno Foest:
Am 15.03.19 um 18:20 schrieb Rupert Haselbeck:

Bei IT gilt 'man muss ein Problem nur einmal lösen'.

Ist mit Massenartikeln nicht anders.

Nicht ganz. Die Kopie eines Programmes oder Firmware-Images ist zu 100%
identisch mit dem Original. Das ist bei Massenartikeln, also
Gegenständen nicht der Fall, da gibt es immer Unterschiede.

Was du meinst, sind die statistischen Streuungen, die entsprechend zu
statistisch verteilten Fehlern führen. Ich meine eher die konstruktiven
Dinge. Die sind auch zu 100% alle gleich. Wie kopierte Software auch.
Eine konstruktive Schwachstelle und schon fällt die komplette Serie
regelmäßig unter bestimmten Betriebszuständen aus oder baut sonst wie Mist.

Außerdem: Schaue ich mir an, wie kompliziert heute alleine die
Installationsroutinen für Software sind, dann scheint das nicht mehr
viel mit "100% identisch" zu tun zu haben. Denn die Software muss ja
ggf. die ganzen individuell gemachten Einstellungen des Computers
berücksichtigen, um fehlerfrei laufen zu können.

Das ist einer der
großen Vorteile. Es gilt aber eben leider auch, daß so jeder Fehler, den
man dabei macht sich ebenso verbreitet.

Wie mit Massenprodukten auch.

In Grenzen. Wenn es nicht wirklich ein grober Designfehler ist, und die
fallen recht schnell auf, dann tritt das Problem nicht bei jedem
produzierten Gegenstand auf.

Das Problem bei IT ist, das System funktioniert wie es soll, das kann
man testen. Aber durch Fehler in der Programmierung kommt es zu
zusätzlichen Features die nicht sichtbar sind und auf die man erst
testen kann, wenn sie auffallen, bzw. man sich vorstellen kann, daß sie
da sein könnten. Der bekannte Bufferoverflow, oder 'off by one' z.B.. Es
gab mehr als einen Bug bei dem der Hersteller sagte 'Ja, ist ein Bug,
kann man aber nicht ausnutzen'. Bis jemand das Gegenteil bewies, siehe
hier:

https://googleprojectzero.blogspot.com/2014/08/the-poisoned-nul-byte-2014-edition.html

Das erinnert mich an die Geschichte, in der Stahlkocher einen Stahl
kreieren sollten, der Gefängniszellen ausbruchsicher macht. Nach langen
Versuchen kamen sie drauf, dass eine Knetlegierung mit eingelagerten
Korundkörnern die Aufgabe wohl am Besten erfüllen kann. Keine Feile,
keine Säge konnte ihm was anhaben. Sie waren nach wenigen Zügen einfach
nur noch stumpf und unbrauchbar. Voller Freude wurden diese Stäbe in den
Zellen verbaut mit dem sicheren Gefühl, dass jetzt keiner mehr
ausbrechen kann. Bis mal jemandem auffiel, dass dieser Stahl unter
bestimmten Bedingungen zu rosten begann. Die Werkstoffleute haben das
Problem noch rechtzeitig erkannt. Wäre allerdings ein Täter mit
metallurgischen Kenntnissen eingebuchtet gewesen - der hätte einen
Lappen um so einen Stab gewickelt und einfach drauf gebieselt. Nach
wenigen Tagen hätte sich die Harnsäure entlang der Korundkorngrenzen
unter heftiger Rostentwicklung vor gearbeitet und die Freiheit wäre zum
Greifen nah gewesen.

Es ist halt leider so, dass es fast immer irgendwas gibt, an das man
nicht gedacht hat und das dann Andere für ihre Zwecke ausnutzen.
Gesetzeslücken sind auch nichts Anderes. Deshalb gibt es hierzulande
große Weltkonzerne, die hier viele Milliarden im Jahr verdienen, dafür
aber so gut wie keine Steuern bezahlen, während die Handwerker vor Ort
voll zur Kasse gebeten werden. Das ist eine massive
Wettbewerbsverzerrung zugunsten dieser großen Weltkonzerne zulasten der
eigenen Bevölkerung. Die Korrektur des längst bekannten Missstandes geht
nun schon über einige Jahre...

Ähnliches ist mit Software bei ähnlichen Fehlern auch zu erwarten.

Ist irgendwie wie in der Medizin. Neu aufgetretene Erreger sind häufig
schnell wirkend und tödlich. Damit löschen sie sich aber auch selbst
ganz schnell wieder aus, weil sie ihren Wirt umbringen und dieser nach
seinem Tod halt nicht mehr zur Verfügung steht. Andere Erreger bringen
ihren Wirt NICHT gleich um. So hat er ein viel größeres
Verbreitungspotenzial. Die eben genannte Steuerproblematik ist so ein
"langsam wirkender Erreger", der noch lange überleben kann, aber das
eigene System kontinuierlich schwächt. Schadsoftware, die die Autos
massenhaft zeitgleich in den Graben steuert, wird dagegen sofort
elimiert werden. Erst mit Notprogrammen, die den Fahrzeugen die
Energiezufuhr abklemmen. Mit Fahrverboten und was weiß ich noch, was da
alles für Maßnahmen möglich und sinnvoll sind.

Im Zuge der fahrerlosen Fahrerei vermute ich mal, dass die Autofirmen
entweder Softwareschmieden mit wirklich Ahnung aufkaufen oder mit ihnen
sehr eng kooperieren werden.

Annehmen kann man viel, bisher sind da wenig Anzeichen zu erkennen.

Ich sehe da sogar sehr viele und ziemlich eindeutige Zeichen in der
Presse.

In der Presse steht leider viel. Interessant ist nur was am Ende hinten
rauskommt.

So lange alles noch im Fluss ist, sollte man nicht schon Ergebnisse
erwarten. Die Sache wird so lange im Fluss bleiben, bis die ersten
fahrerlosen Fahrzeuge eine allgemeine Zulassung bekommen. Dann muss es
aber schnell gehen, wenn man noch im Markt mitspielen will. Da ist es
gut, wenn man schon im Vorfeld mit den einen oder anderen Unternehmen
gemeinsame Absichtserklärungen vereinbart. Das ist das, was aktuell
grade in Mode ist. Finanzielle Stärke spielt da eine sehr große Rolle,
damit man sich dann die richtigen Partner zur rechten Zeit sichern kann.

Die
Software die sie selber herstellen ist (im Bezug  auf die gewünschte
Funktion) OK bis gut, aber bis jetzt war es nicht wirklich nötig dabei
auch noch an Sicherheit zu denken weil ein Auto nicht vernetzt war.

Verlässliche Software in Sicherheitsbereichen gibt es schon lange.
Sicherheitssoftware kann man als ein Spezialgebiet der Software
betrachten. In der Branche hat man seine eigenen Regeln und Abläufe.

Ja... trotzdem werden immer wieder Exploits in sicherer Software
gefunden die die Sicherheit aushebeln.

Es wird uns nichts anderes übrig bleiben, als das Leben als
lebensgefährlich zu betrachten.

Was wir allerdings tun könnten, wäre, weltweit ganz bewusst an einem
gemeinsamen Ziel zu arbeiten. Anbieten würde sich dafür z.B. das
Überleben der Menschheit. Gibt es so ein gemeinsames Ziel, dann kommen
nicht mehr so viele Leute auf die Idee, sich auf Schadensproduktion zu
versteifen.

Für
einen Exploit brauchte man direkten Zugriff. Das ist (leider) dabei sich
zu ändern.

Software zu programmieren die wirklich sicher ist, ist extrem schwer,
selbst Experten machen immer wieder Fehler.

Das ist einer der Gründe, weshalb das mit dem fahrerlosen Auto so lange
dauert. Anfangs dachte man ja, dass man bis Ende der 1980er Jahre das
fahrerlose Auto haben könnte...

Nein, damals reichte die Rechenleistung bei weitem nicht.

Das hat man damals nach einiger Zeit auch bemerkt. (Wobei - auf der
Schiene wär's auch damals schon gegangen.) Aus dem Projekt "Prometheus"
hat man deshalb Promote gemacht, um damit die im Rahmen von Prometheus
erarbeiteten Dinge vermarkten zu können. Das Antiblockiersystem (ABS)
dürfte wohl das bekannteste "Abfallprodukt" sein, das mit Promote in den
Markt gebracht wurde.

Selbst heute
ist noch unklar, ob man mit dem was heute verfügbar ist wirklich auskommt.

Ich sehe nur noch wenige Zweifler.

Es reicht ein remote
ausnutzbarer Fehler (oder ein 'vergessener' Debug-Account mit
Admin-Rechten und festem, nicht änderbarem Password... Hatte Cisco davon
nicht ein paar?) und schon sind alle Fahrzeuge mit dieser Version
kompromittierbar. Wenn das passiert müssten alle Fahrzeuge bis zur
Behebung des Fehlers stillgelegt werden. Wird nicht gut ankommen. Siehe
auch die 737 Max 8 aktuell.

Auf sowas wird sich die Branche einstellen müssen. Wie die
Flugzeugindustrie eben auch.

Die Kunden werden das allerdings nicht tun.

Dann werden sie halt keine fahrerlosen Autos kaufen.

Sobald man dir dein Auto
stilllegt (*) und sagt, daß es eine Woche oder mehr dauern kann bis es
wieder fährt stellst du es dem Hersteller wieder auf den Hof und fährst
wieder selbst.

(*) vor allem wenn das nicht zuhause passiert sondern irgendwo,
vielleicht noch in einem Parkhaus was pro Stunde Geld sehen will.

Vielleicht ein neues Geschäftsfeld für Versicherungen.

Für Software- und Pen-Tests braucht man Leute mit einem bestimmten
Mindset. Die wollen Geld sehen. Leider wird QA gerne als Kostenfaktor
gesehen und stört beim Einhalten des Release-Termins. Wird deshalb gerne
wegoptimiert.

Solches Verhalten wird man sich nicht leisten können, wenn es um
Lebenswichtiges geht.

--
Servus
Christoph Müller
https://www.astrail.de
 
Christoph Müller wrote:
Eine konstruktive Schwachstelle und schon fällt die komplette Serie
regelmäßig unter bestimmten Betriebszuständen aus

Richtig. aber das ermöglicht noch nicht Dritten, eben diesen
Betriebszustand gezielt von außen herbeizuführen, oder zumindest nicht
oft.

> und das dann Andere für ihre Zwecke ausnutzen.

Aber einzeln und aus der Nähe, nicht aus der Ferne für alle
gleichzeitig.

--
/Ż\ No | Dipl.-Ing. F. Axel Berger Tel: +49/ 221/ 7771 8067
\ / HTML | Roald-Amundsen-Straße 2a Fax: +49/ 221/ 7771 8069
 X in | D-50829 Köln-Ossendorf http://berger-odenthal.de
/ \ Mail | -- No unannounced, large, binary attachments, please! --
 
On 3/17/19 11:49 AM, Christoph Müller wrote:
Am 16.03.2019 um 18:31 schrieb Gerrit Heitsch:

Selbst heute
ist noch unklar, ob man mit dem was heute verfügbar ist wirklich auskommt.

Ich sehe nur noch wenige Zweifler.

Ist bei anderen Dingen, z.B. dem Fusionsreaktor nicht anders. Da steht
der Durchbruch auch immer kurz bevor. Man scheint nur immer wieder neue
Probleme zu finden die man vorher gar nicht auf dem Radar hatte und erst
lösen muss.

Ich sehe da die 80/20-Regel. 80% hat man schnell, das Ziel scheint zum
Greifen nahe... Aber die letzten 20%, die ganzen Edge-Cases... Und schon
braucht man dazu 80% der Zeit während man die ersten 80% in 20% der Zeit
erschlagen konnte.


Für Software- und Pen-Tests braucht man Leute mit einem bestimmten
Mindset. Die wollen Geld sehen. Leider wird QA gerne als Kostenfaktor
gesehen und stört beim Einhalten des Release-Termins. Wird deshalb gerne
wegoptimiert.

Solches Verhalten wird man sich nicht leisten können, wenn es um
Lebenswichtiges geht.

Das heisst dann aber auch, daß der Hersteller jedes Software-Update erst
einmal zertifizieren lassen muss bevor er es ausrollen darf. Tesla macht
das bisher einfach so. Ich nehme an, das wird sich erst ändern wenn sie
das erste Mal richtig danebengreifen und ein Update zu Personenschäden
führt.


Gerrit
 
Am 17.03.19 um 11:49 schrieb Christoph MĂźller:
FĂźr Software- und Pen-Tests braucht man Leute mit einem bestimmten
Mindset. Die wollen Geld sehen. Leider wird QA gerne als Kostenfaktor
gesehen und stĂśrt beim Einhalten des Release-Termins. Wird deshalb gerne
wegoptimiert.

Solches Verhalten wird man sich nicht leisten kĂśnnen, wenn es um
Lebenswichtiges geht.

Man leistet sich noch ganz andere Sachen, wie autonome Autos auf
öffentlichen Straßen zu testen, ggf. mit Todesfolge. Sowas gehört verboten.
 
Am 17.03.19 um 11:49 schrieb Christoph MĂźller:
Was wir allerdings tun kÜnnten, wäre, weltweit ganz bewusst an einem
gemeinsamen Ziel zu arbeiten. Anbieten wĂźrde sich dafĂźr z.B. das
Überleben der Menschheit.

Ein hehres Ziel. Und das kĂśnnten wir tun, meinst du? Ok, ich mache mit,
dann sind wir schon zwei. ;)

Nun stelle mal einen Aufruf in die berĂźhmten weltweiten "sozialen
Netzwerke" - was meinst du wohl, wie viele ernstzunehmende Stimmen du
dafĂźr kriegst?
 
Am 17.03.19 um 10:52 schrieb Christoph Müller:

Mit den übrigen technischen Dingen auch. Reifen sind geplatzt, Flugzeuge
abgestürzt, Achsen gebrochen, Häuser eingestürzt, Tanks explodiert,
Giftgas ausgetreten, ...

Ja. Und es betrifft immer nur Einzelfälle.

Nein. Das sind durchaus Konstruktionsfehler.

Egal. Auch wenn sie den gleichen Konstruktionsfehler haben, platzen
nicht alle Reifen mit diesem Konstruktionsfehler gleichzeitig.

Selbst wenn mechanisch etwas
im Argen ist, dann geht das nicht überall gleichzeitig kaputt,

auch das kann bei falscher Dimensionierung passieren. Denke nur an die
vielen ausgefallenen Klimaanlagen im ICE. Ab 35°C ging plötzlich nichts
mehr.

Es ist aber nicht überall gleichzeitig (und schon gar nicht durch einen
hypothetischen Angreifer steuerbar) 35°...

weil die
belasteten Teile ja Exemplarstreuungen haben.

Entspricht in der Software etwa unterschiedlichen Konfigurationen des
gleichen Programms.

Die ganzen Sicherheitsprobleme, die z.B. Microsoft patcht, sind ehe
selten konfigurationsabhängig. Mitigation ist möglich, klar, etwa indem
man die betreffende Funktionalität abschaltet, aber davon ist der Bug ja
nicht weg.
Das glaub ich, wenn ich das sehe. Hier in paar Einblicke in Realität,
konkret die IT-Infrastruktur bei Tesla, sehr gruselig.

Warum hat das Ding nur keine Level-5-Zulassung?

Weil es Level 5 weder bei Tesla noch sonstwo gibt.

Aber selbst wenn die Leute gut sind - noch mal: Alle GAUs sind schon
eingetreten.

Und wir leben immer noch.

Ich lebe auch noch, mache mir aber dennoch über die fernere Zukunft
meiner Existenz keine Illusionen.

Du hast das bestätigt... und während bei einer Brücke das
zu vermeidende Fehlerszenario recht offensichtlich ist,

geht man weit genug in die Details rein, wird's irgendwann mal nicht
mehr ganz so offensichtlich.

Man will nicht, daß das Dings einstürzt, EOD. Daß das dennoch passiert,
zeigt, daß man selbst, wenn man das zu vermeidende Ereignis benennen
kann, das zuweilen nicht vermeiden kann. Und was ist "zu vermeidende
Ereignis" bei einem komplexen System von so 50 Prozessoren, die
miteinander kommunizieren? Man kann es nicht mal benennen, und
entsprechend schlecht kann man es vermeiden. Und daher hat Software so
viele Fehler.

Wie ich schon sagte: In einem nichttrivialen System findet ein Angreifer
heutzutage immer Lücken.

Klar. Aber er muss sich Mühe geben. SEHR große Mühe hoffentlich.

Sicherlich - einen Fehler in einem sicherheitskritischen System zu
finden ist 6 Richtige im Lotto. Passiert etwa wöchentlich.

Serienselbstmordattentäter? Wir waren gerade bei Nizza. - Ich glaube
nicht, daß das Konzept tragfähig ist.

Schadsoftware schlägt doch auch nicht nur an einem Computer an. Da wird
mit Kopien gearbeitet.

Eben.

Mit Kopieren gibt's auch viele
Selbstmordattentäter. Das Konzept ist sehr wohl tragfähig.

Ich fürchte, das mit dem Kopieren von Menschen ist dann doch etwas
schwieriger als mit dem Kopieren von Schadsoftware.
Also doch wieder Benutzereingriffe bei autonomen Autos? PIN vor jeder
Lenkbewegung eingeben stelle ich mir umständlich vor

der PIN ist üblicherweise ein Schlüssel.

Und wie verhinderst du, daß jemand der Steuerung seltsame Befehle gibt,
nachdem du die Karre aufgesperrt hast?

- aber wie sollte
man sonst grundsätzlich verhindern können, daß das Auto woanders hin
lenkst als du möchtest?

Es wäre empfehlenswert, sich vor Reiseantritt dem Fahrzeug gegenüber
auszuweisen.

Und was soll das bringen? Die Idee ist doch, daß so ein autonomes Auto
führerlos dich erst abholt und nach der Fahrt selbst parken fährt. Kann
man ja privat vielleicht noch vermeiden, aber spätestens, wenn es in
Richtung autonomer "Taxis" geht (weg vom eigenen Auto, hin zu
"transportation as a service") fährt praktisch alles, ohne daß da vorher
wer mit PINs am Hampeln ist.

Und natürlich kann jedes softwareimplementierte Schlüssel-Konzept von
einem übernommenen Bordcomputer einfach ignoriert werden. Sicher wäre da
nur ein physischer Schalter, der Stromkreise trennt o.ä. und nicht durch
Software übersteuert werden kann - dann ist aber ein Großteil der
Autonomie dahin.

In der Medizin nennt man sowas Epidemie oder Seuche. Hat man Pech, rafft
es massenweise Menschen dahin, bis endlich mal ein Gegenmittel gefunden
ist.

Stimmt. Wobei die Ausbreitungsgeschwindigkeit einer Seuche begrenzt ist.
Vernetzte Systeme erreichst du weltweit innerhalb von Sekunden.

Bei Fahrzeugen wäre das schnellste Mittel der Wahl die
Energiezufuhr abzuschalten und die Kisten einfach stehen zu lassen, bis
der Schaden behoben werden kann.

Wenn man alle VW Golf von Jetzt auf Gleich Kamikaze fahren lassen
könnte, wäre der Spuk schneller vorbei, als jemand reagieren könnte.
Sofern er dann überhaupt noch Zugriff hat - als erstes sperrt man
natürlich den eigentlich befugten Admin aus.

Kann man machen - aber in einem Kapitalismus, der Featuritis als
Differenzierungsmerkmal braucht, und auf der anderen Seite Sicherheit
kostenoptimiert? Ich weiß nicht.

Wird sich notgedrungen einpendeln müssen.

Es werden ein paar GAUs nötig sein, bis man zur Besinnung kommt. Wie bei
den Kernkraftwerken.

Hanno

--
The modern conservative is engaged in one of man's oldest exercises in
moral philosophy; that is, the search for a superior moral justification
for selfishness.
- John Kenneth Galbraith
 

Welcome to EDABoard.com

Sponsor

Back
Top