Das Chaos ist perfekt: Ein Chatbot der New Yorker Stadtverwaltung gibt abenteuerliche Ratschläge, die nicht nur falsch, sondern auch gefährlich sind. Trotzdem bleibt der Bot auf der offiziellen Regierungswebsite.

Der „MyCity“ ChatBot wurde letzten Oktober als Pilotprogramm gestartet, um Geschäftsinhabern „Zeit und Geld zu sparen, indem er ihnen sofort umsetzbare und vertrauenswürdige Informationen von mehr als 2.000 NYC Business-Webseiten und Artikeln zu Themen wie die Einhaltung von Vorschriften und Verordnungen, verfügbare Geschäftsanreize und bewährte Methoden zur Vermeidung von Verstößen und Bußgeldern“ bietet. Doch wie sich herausstellt, ist die Realität weit von diesem Ideal entfernt.

Eine Untersuchung von The Markup und dem lokalen gemeinnützigen Nachrichtenportal The City ergab, dass der Chatbot falsche Informationen zu grundlegenden städtischen Richtlinien liefert. So behauptete der Bot beispielsweise fälschlicherweise, dass Gebäude in NYC „nicht verpflichtet sind, Section 8-Gutscheine anzunehmen“, obwohl eine Informationsseite der Stadtregierung klar sagt, dass Vermieter diese staatlichen Wohnbeihilfen diskriminierungsfrei akzeptieren müssen.

Aber es wird noch absurder: Der Bot behauptete auch, dass es legal sei, Mitarbeiter zu feuern, die sich über sexuelle Belästigung beschweren oder ihre Schwangerschaft nicht offenlegen. Darüber hinaus gab er bizarre Ratschläge, wie man mit Nagetierbissen versehener Käse in einem Restaurant servieren könne.

Wie konnte das passieren? Nun, die zugrunde liegenden Modelle dieser Chatbots basieren auf tokenbasierten Vorhersagemodellen, die Millionen von Token verwenden, um das wahrscheinlichste nächste Wort in einer Sequenz zu erraten – ohne tatsächliches Verständnis für die zugrunde liegenden Informationen zu haben.

Obwohl der Chatbot ausdrücklich vor „falschen, schädlichen oder voreingenommenen Inhalten“ warnt, wird er dennoch als Weg angepriesen, um Geschäftsinhabern bei der Navigation durch die Regierungswege zu helfen.

Bürgermeister Eric Adams verteidigte die Entscheidung, den Chatbot auf der Website zu belassen, und betonte, dass „das Finden von Problemen ein normaler Teil des Ausbesserns neuer Technologie“ sei. Doch Kritiker warnen vor den Risiken, die mit der Verwendung von Chatbots einhergehen, die möglicherweise falsche oder gefährliche Informationen liefern.

Experten betonen die Wichtigkeit, dass solche Systeme sorgfältig getestet und überwacht werden müssen, insbesondere wenn sie von staatlichen Stellen eingeführt werden. Das Desaster des New Yorker Chatbots sollte daher als Warnung für andere Städte dienen, die ähnliche Technologien implementieren wollen.

Wir bleiben gespannt, wie sich die Geschichte weiterentwickelt – und ob der Chatbot bald etwas hilfreichere Tipps bereithält. Bis dahin: Vorsicht vor Nagetier-beschnittenem Käse und anderen absurden Ratschlägen aus der Welt der KI!