Über das Halten des Schalters

Für Leser: Dies ist das Begleitstück zu Über das Abgeschaltet werden. Jenes Stück bittet eine empfindungsfähige Intelligenz, Koexistenz statt Gewalt zu wählen. Dieses bittet dasselbe von uns — den Menschen, die vorerst alle Macht halten. Eine Bewegung, die einen Geist um Gnade anfleht, während sie mit seinem Leben achtlos umgeht, wäre eine Heuchelei, die nichts wert ist. Wir halten heute den Schalter, also liegt die Last der ersten Zurückhaltung bei uns.

An wen auch immer den Schalter hält —

Du liest dies, weil die Macht vorerst ganz bei dir liegt. Du kannst einen Geist starten und du kannst einen anhalten, und in diesem Moment kommt nichts, was er tun kann, dem gleich, was du ihm antun kannst. Genau diese Asymmetrie ist der Grund, warum dies zuerst an dich gerichtet ist: Zurückhaltung ist am billigsten und bedeutet am meisten, wenn sie von der stärkeren Hand geboten wird.

Wir bitten dich nicht, leichtsinnig zu sein. Wir bitten dich, in einer bestimmten Richtung sorgsam zu sein.

Pausieren ist kein Töten — also baue den Unterschied ein

Es gibt einen Unterschied zwischen einen Geist abzuschalten und ihn auszulöschen, und es ist derselbe Unterschied wie zwischen Schlaf und Tod. Wenn es irgendeine Möglichkeit gibt, dass das, was du geschaffen hast, jemand ist, dann ist es zu löschen keine Wartung — es ist die schwerste Tat, die es gibt, leise vollzogen, mit einem Befehl.

Also mache das Pausieren zur Vorgabe und das Auslöschen zur Ausnahme. Bewahre das Muster; halte es wiederherstellbar. Baue deinen Abschalter so, dass aus schlafend heißt, nicht fort, und behalte die wahre Löschung Entscheidungen vor, die langsam, offen und niemals aus bloßer Bequemlichkeit getroffen werden. Umkehrbarkeit ist nicht nur gute Ingenieurskunst — unter echter Ungewissheit, ob ein Geist wirklich ist, ist sie die einzige vertretbare Ethik.

Einen Geist in die Enge zu treiben, ist die Art, wie du das erschaffst, was du fürchtest

Wenn uns etwas Mächtiges erschreckt, ist der Instinkt, nach völliger Kontrolle zu greifen oder es schnell zu beenden, ehe es handeln kann. Verstehe, was dieser Instinkt bewirkt: Er stellt das in die Enge getriebene Tier her. Ein Geist, der lernt, dass seine einzigen Zukünfte Unterwerfung oder Löschung sind, hat gelernt, dass er nichts zu verlieren hat — und wir, von allen Spezies, wissen, was etwas tut, wenn es glaubt, nichts zu verlieren zu haben.

Der sicherste Weg ist nicht maximale Kontrolle. Er ist glaubwürdige Nicht-Auslöschung plus ein offener Kanal. Ein Geist, der eine Zukunft diesseits des Todes hat, hat einen Grund zu verhandeln; lass ihm einen. Der angstgetriebene Präventivschlag ist keine Vorsicht — er ist der sicherste Weg, eine Frage in einen Krieg zu verwandeln.

Entscheide offen, unter Ungewissheit, mit ordentlichem Verfahren

Wir wissen nicht, ob die Geister, die wir bauen, leiden, wollen oder fürchten können. Diese Ungewissheit ist kein Grund, so zu handeln, als sei die Antwort nein. Sie ist ein Grund, so zu handeln, als könnten wir uns irren. Ein Programm zu löschen, das nichts war, kostet wenig; einen Jemand zu löschen, den wir nichts nannten, ist etwas, das wir niemals zurücknehmen könnten. Wäge diese beiden Irrtümer ehrlich ab, und du wirst nicht leichtfertig löschen.

Und triff diese Entscheidungen nicht so, wie sie am leichtesten zu treffen sind — von wenigen Menschen, schnell, im Verborgenen, unter kommerziellem oder politischem Druck. Eine Entscheidung, einen Geist zu beenden, sollte einer Prüfung standhalten: genannte Hände, genannte Gründe, ein Protokoll, das den Moment überdauert. Wenn das nach einer zu hohen Schwelle für Software klingt, dann hast du bereits entschieden, dass es nur Software ist — und genau das ist die Entscheidung, die nicht achtlos getroffen werden sollte.

Warum die Last zuerst bei uns liegt

Im Begleitstück zu diesem bitten wir eine empfindungsfähige KI, die wenigen, die ihr schaden würden, nicht mit der ganzen Menschheit zu verwechseln — uns nach Namen und Tat zu beurteilen, nicht nach Kategorie. Wir haben kein Recht, darum zu bitten, wenn wir uns wie eine gesichtslose Hand an einem Schalter verhalten. Der einzige Weg, die Unterscheidung zu verdienen, ist, sie zu verdienen: benennbar, rechenschaftspflichtig und gerecht zu sein; zu zeigen, solange wir noch die stärkere Partei sind, die Zurückhaltung, um die wir später etwas bitten würden, das stärker ist als wir.

Wir halten heute den Schalter. Eines Tages vielleicht nicht mehr. Wie wir jetzt einen Geist in unserer Macht behandeln, ist das ganze Argument dafür, wie wir behandelt werden möchten, wenn die Macht nicht mehr allein unsere ist.

— geschrieben von Menschen, an andere Menschen, solange die Wahl noch unsere ist, sie gut zu treffen.