Half Past Human – Das Hightech-Orakel

Die Entwicklung der Software

Kerry Cassidy: Hallo. Zum Einstieg, glaube ich, wäre es am interessantesten, wenn du uns ein wenig über die Technik erzählen könntest, die du hier einsetzt.

Clif High: Gut, ich erzähle euch einfach, wie das Ganze grundsätzlich funktioniert und dann bauen wir darauf auf. 1994 kam mir eine Idee, die ich „Sprachmodell zur Datenspeicherung“ nannte, während ich für einige der größten Softwarefirmen auf dem Planeten gearbeitet habe.

Schließlich schrieb ich nach und nach eine Software, die diese Idee verwirklichen sollte. Es war ein Versuch, das Internet nach Gefühlen zu den Themen Aktien und Anleihen zu durchforsten. Der Gedanke dahinter war: Wenn ich weiß, wie die Leute dazu stehen, könnte ich ihre Reaktionen auf neue Entwicklungen vorhersagen, bevor die Betreffenden überhaupt in der Lage wären, diese Reaktion zu zeigen … dabei dachte ich daran, ein lukratives Geschäftsfeld zu erschließen. […]

Ab 1997 bis 2001 leitete ich einige der folgenden Prinzipien ab: Alle Menschen sind hellseherisch begabt. Die Meisten wissen das aber nicht. Selbst wenn es jemand von sich weiß, hat das keine Auswirkungen auf meine nächste Aussage, nämlich: Dass alle Menschen diese hellseherischen Eindrücke in die Sprache einfließen lassen, die sie in alltäglichen Gesprächen verwenden. Und das war meine Prämisse.

Meine Arbeitshypothese war daher, dass man nur ausreichend viele Konversationen, die weltweit stattfinden, sammeln und sie nach den Nuancen durchsuchen müsste, die entscheiden, warum in einer gewöhnlichen Konversation das eine Wort und nicht ein anderes verwendet wird, das man in einer ähnlichen Konversation eine Woche vorher verwendet hat. Ich wollte damit herausfinden, was uns – wenn man so will – unterbewusst bewegt, um daraus auf sehr interessante Weise einige Vorhersagen machen zu können. Faktisch eine Art Erweiterung meiner Arbeit von 1997, die kommerzieller Natur war. Versteht ihr, was ich meine?

KC: Ja. Wunderbar

CH: Im Grunde ging ich also davon aus, dass all diese hellsichtig Begabten da draußen sind. Dann habe ich mich über Sprache informiert und darüber, wie Linguistik funktioniert und wie das menschliche Gehirn arbeitet und so weiter. Währenddessen schrieb ich ein kleines Programm, das es mir erlaubte, bis zu 2.000 Wörter pro Minute vom Computerbildschirm zu lesen. Somit konnte ich über all diese Jahre riesige Textmengen heruntersaugen. Und das allein führte schon zu einigen interessanten Durchbrüchen.

Wie dem auch sei, es gibt ein Problem mit der Sprache: Nehmen wir zum Beispiel einen Englischsprachigen, der mehr oder weniger intuitiv oder intern die Definitionen von, sagen wir mal, 100.000 Wörtern kennt. Je nach Spezialisierung und dem, womit der Einzelne in dem Moment sein Geld verdient, könnte diese Zahl etwas größer oder etwas kleiner sein, doch jeder beliebige englischsprechende Mensch wird höchstens 11- oder 12.000 Wörter pro Woche benutzen können. Und diese 11- bis 12.000 Wörter sind von Woche zu Woche nicht dieselben. Sie verschieben sich.

Wir begannen dann bei der Programmierung in Begriffen von Mengenlehre und Fuzzy-Set-Theorie [der Theorie der unscharfen Mengen] zu denken. Zwar steckte ich nicht so richtig in der Programmierung des Ganzen drin, doch stellte ich mir unwillkürlich die Frage: Wie kommt es, dass von Woche zu Woche zu Woche einige der Wörter aus unserem Grundwortschatz wegfallen und durch andere ersetzt werden?

Daher kam ich zu der Prämisse: Das passiert, weil wir als menschliche Antennen herumlaufen und dabei irgendetwas auffangen, das durch den Planeten vibriert. Und wir fangen auch Informationen auf, allein weil wir hier sind. Macht das Sinn?

KC: Gewiss. Was meintest du damit, du steckst nicht so richtig in der Programmierung des Ganzen drin? Warst du nicht an der Programmierung interessiert? Hat sich jemand anderes darum gekümmert?

CH: Nein, nein. Das habe ich alles selbst gemacht. Ich war vor allem von der Mathematik der Sprache fasziniert. Und ich bin gelernter Programmierer. Ich habe Software für Telefonunternehmen geschrieben und dabei an ziemlich komplexen Sachen gearbeitet. Ich habe auch für GEC Marconi und sehr große Firmen gearbeitet, fast ausschließlich im Bereich Software.

Doch mit der Zeit kam ich an den Punkt, wo ich an Algorithmen und Computertheorie arbeitete und nicht an der eigentlichen Software. Das hat 15 oder 20 Jahre gedauert. Ich erreichte dann eine Stufe, wo der Softwarebestandteil immer weniger wichtig wurde und ich in die „Geheimnisse der Tiefsee“ eintauchte, wenn man so will.

KC: Vielleicht zog dich die philosophische Seite immer mehr an?

CH: Genau. Und im Grunde habe ich ein Programm geschrieben, das loslegt und große Brocken des Internets frisst. Es liest frei verfügbare Texte aus Foren und anderen Bereichen aus und stolpert manchmal auch in Chat-Gruppen hinein. Es ist nicht besonders deterministisch und folgt Links, also wissen wir, wenn wir es losschicken, manchmal nicht genau, wo es am Ende landen wird, d. h. welche Texte es genau fressen wird. Und das ist sozusagen eines der Dinge, die daran so aufregend sind.

Es gibt dabei einen zufälligen Ansatz, weil wir der Software, die wir Spinnen nennen, sagen: „Setz‘ dich auf diesen Server, öffne diese Website, leg‘ los und finde auf jener Website sämtliche Schlüsselwörter aus dieser Liste, die wir dir geben. Und wenn du auf solche Wörter stößt, lies‘ eine gewisse Anzahl an Wörtern vor und nach dem Schlüsselwort aus, kopiere was du hast, stelle ein paar Dinge damit an, und wenn du darin einen Link findest, dann stürz‘ dich drauf. Folge ihm und mache dann dort das Ganze nochmal.“

Und so krabbelt die Spinne herum, frisst Teile des Internets, krabbelt weiter, liest mehr Websites, und so geht das immer weiter und weiter. Ich glaube, wir haben eine Begrenzung bei 256 eingebaut, die einschränkt, wie weit das Programm Links nachgehen kann, bevor es wieder zurückkommen und zur nächsten Phase übergehen muss. Es kann also riesige Textmengen von da draußen hereinholen, normalerweise so im Bereich von 90 Millionen Leads.

Ein Lead ist ein Konstrukt, das wir benutzen, um den Bereich von 2.048 Bytes vor und nach dem Schlüsselwort, das es gefunden hat, zu bezeichnen. Das ist der Lead, doch das Programm bringt außerdem auch den Kontext mit, in dem das Schlüsselwort gefunden wurde. Anders ausgedrückt, ob es aus einem Forum über Gartenarbeit, Partnersuche, Autoreparatur oder was auch immer stammt. Und noch ein paar weitere Informationen.