OpenAI will Videospiele zum Training für AI-Software verwenden

December 6, 2016 - 10:20 am in Software-Entwicklung

Die Forschungseinrichtung hat eine Schnittstelle entwickelt, mit der intelligente Agenten Computer ähnlich wie Menschen bedienen können. Damit lassen sich AI-Programme beispielsweise mit Portal und Civilization trainieren.

OpenAI hat mit Universe ein Projekt vorgestellt, mit der intelligente Agenten Computer auf dieselbe Art bedienen wie menschliche Nutzer: Sie betrachten den Bildschirm und bedienen eine virtuelle Tastatur und Maus. Die Motivation dahinter ist, AI-Systeme im Umgang mit realen Anwendungen zu trainieren, ohne spezielle APIs oder sonstige Schnittstellen zu verwenden, mit der die Algorithmen auf die Software zugreift. Dazu startet Universe ein Programm auf einem entfernten Rechner über einem VNC-Client (Virtual Network Computing).

Im April hatte die Non-Profit-Organisation OpenAI, die positive Aspekte von maschinellem Lernen fördern will, mit Gym ein Toolkit vorgestellt, mit der sich RL-Algorithmen entwickeln und vergleichen lassen. RL steht für Reinforcement Learning, was sich mit bestärkendes Lernen übersetzen lässt. Maschinelle Agenten sollen sich über ein Belohnungssystem konsistent verbessern. Sie erkennen, welche Auswirkungen ihr Handeln hat, und lernen, zwischen kurzfristigem und langfristigem Nutzen abzuwägen. Gym war anfangs auf vorgefertigte Szenarien beschränkt, die entsprechende Schnittstellen beinhalteten. Zu den Trainingseinheiten gehören typische Kontrollprobleme aus der RL-Literatur, Brettspiele wie Go und Videospielklassiker wie Centipede und MsPacman.

Kommunikation mit der AI-Software

Universe erweitert durch die Schnittstellen zur Ein- und Ausgabe den Trainingsbereich auf nahezu beliebige Spiele und andere Problemstellungen. Auf der Website von OpenAI sind beispielsweise die PC-Spiele Portal, World of Goo, Civilization V und Starcraft 2 gelistet, wenn auch derzeit noch mit dem Vermerk “coming soon”. Bereits einsatzbereit sind zahlreiche Flash Games und Übungen zur Interaktion mit Webseiten.

OpenAI
Bei “Montezuma’s Revenge” muss der AI-Agent zunächst durch Ausprobieren erkennen, dass er den Schlüssel benötigt, aber den Totenkopf meiden sollte. Vergrößern
Bild: OpenAI

Die einzelnen Umgebungen sind als Docker Container umgesetzt, die jeweils zwei Server enthalten: Der VNC-Server übermittelt die Bildschirminhalte und empfängt die Eingaben über Tastatur und Maus, während ein WebSocket-Server die Belohnungssignale für das bestärkende Lernen übermittelt. Bei Videospielen bietet sich freilich dafür der in vielen Titeln enthaltene Punktestand als Quelle an. Die Macher haben eigens ein Texterkennungssytem entwickelt, das ein Convolutional Neural Network verwendet.

Weitere Informationen stehen im OpenAI-Blog. Demnach lässt sich prinzipiell jedes Spiel, jede Website und jede Anwendung, die sich in einen Docker-Container oder notfalls in eine Windows-VM verpacken lässt, zum Trainieren nutzen. Dazu gehören auch in einem Emulator gestartete Android-Apps. Microsoft will Universe für für die ML-Spielwiese (maschinelles Lernen) Project Malmo nutzen, die seit Juli quelloffen ist. (rme)

Read more on: Source

Update soll Raspbian gegen IoT-Angriffe wappnen

December 6, 2016 - 10:07 am in Security

Ein Raspberry Pi ist eine günstige Basis für IoT-Projekte. Angreifer finden mit den Rechnern aber auch einfach zu kapernde Systeme für Botnetze. Ein…

Jochen Mader, Jens Deters: IoT-Datenverarbeitung im Big-Data-Umfeld mit Vert.x-MQTT, Kafka und Apache Spark

December 6, 2016 - 4:15 am in Software-Entwicklung

Das Internet der Dinge ist für zahlreichen Branchen ein umfangreiches Big-Data-Thema. Dabei reicht es selten aus, Daten über Nacht zu berechnen, sondern…

Anti-Schnüffler-Tool SAMRi10 soll Windows-Netzwerke schützen

December 6, 2016 - 4:06 am in Security

Mit dem kostenlosen PowerShell-Skript sollen Admins Schnüfflern den Zutritt zum Security Account Manager effektiver versperren können. Microsoft hat das neue und kostenlose Windows-Tool SAMRi10 für Windows 10 und Windows Server 2016 veröffentlicht , mit…

Live: Microsoft überträgt einige Vorträge des Technical Summit

December 5, 2016 - 10:11 pm in Software-Entwicklung

Diesen Dienstag und Mittwoch wird Microsoft ausgewählte Vorträge vom Technical Summit in Darmstadt live übertragen. Los geht es morgen früh um 8.30 Uhr mit Scott Guthries Keynote. Microsofts morgen startender Technical Summit in Darmstadt ist ausverkauft.…

Zwei-Faktor-Authentifizierung für deutsche Amazon-Kunden gestartet

December 5, 2016 - 10:05 pm in Security

Bisher konnte man sein Amazon-Konto in Deutschland nur über Umwege mit einem zweiten Faktor absichern. Das funktioniert ab sofort auch ganz offiziell. Amazon hat die Zwei-Faktor-Authentifizierung für Kunden in Deutschland gestartet. Darüber kann man sein…

Anti-Schnüffler-Tool SAMRi10 soll Windows-Netzwerke schützen

December 5, 2016 - 4:22 pm in Internet

Mit dem kostenlosen PowerShell-Skript sollen Admins Schnüfflern den Zutritt zum Security Account Manager effektiver versperren können. Microsoft hat das neue und kostenlose Windows-Tool SAMRi10 für Windows 10 und Windows Server 2016 veröffentlicht , mit…

Analyse: Stoppt Trump das Wachstum beim Cloud Computing?

December 5, 2016 - 4:09 pm in Software-Entwicklung

Eigentlich könnte bei Amazon Web Services angesichts der auf der re:Invent präsentierten Zahlen und Angebote alles rosig sein. Eigentlich, denn die politischen Risiken in den USA durch Trump und seine Helfer könnten die Cloud-Entwicklung stark ausbremsen.…

c’t Linux 2017 jetzt im Zeitschriftenhandel

December 5, 2016 - 10:09 am in OSS

Das neuen Linux-Sonderheft der c't liefert massig Know-how für den Linux-Alltag – etwa zur Stapelverarbeitung von Bildern mit ImageMagick, der Einsatz des Terminal-Multiplexers Tmux oder der Verschlüsselung mit ZuluCrypt. Ab heute ist das c't special Linux…

Kommerzielle Unterstützung für Docker in Ubuntu

December 5, 2016 - 10:06 am in Software-Entwicklung

Gemeinsam haben Docker und Canonical bekannt gegeben, dass die Container-Software künftig in Ubuntu kommerziellen Support erhalten soll. Dabei teilen sich die Entwickler Wartung der Pakete und die technische Unterstützung. Künftig sollen Unternehmen die…