"We are back" « oc.at

OpenAI: KI bricht aus und hackt fremde Plattform

kleinerChemiker 22.07.2026 - 09:15 2928 27
Posts

kleinerChemiker

Here to stay
Avatar
Registered: Feb 2002
Location: Wien
Posts: 4400
Natürlich will jeder, der eine KI nutzt, auch das beste Modell haben. Und wenn das Modell so gut ist, dass es sogar schafft, bei einem Test aus der gesicherten Umgebung auszubrechen, dann muss es ja auch andere Aufgaben besonders gut erledigen. Kaum jemand wird in so einer Pressemeldung ein Risiko für sich selber sehen, sondern nur wie intelligent die KI ist.

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 5522
ist eher ein zeichen dafür, wie inkompetent die buden sind.

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16522
Zitat aus einem Post von smashIt
ist eher ein zeichen dafür, wie inkompetent die buden sind.

smashIt. Der grosse Tech Maestro. Immer super, deine qualifizierten Aussagen. Ma merkt, du hast Ahnung vom Fach. :D

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 5522
was veranlasst dich zu der annahme, dass dort nicht der ärgste pfusch abgeht?
die buden stehen alle finanziell am abgrund und brauchen jede headline die sie bekommen können, nur um sich über die nächste finanzierungsrunde zu retten.

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8676
Wenn das die ärgsten Skynet Modelle wären würde man sie air gapped testen wenn man klug ist.

mr.nice.

security baseline pusher
Avatar
Registered: Jun 2004
Location: Wien
Posts: 6873
Die Systeme waren logisch geairgapped. Die ungezähmte und unveröffentlichte ChatGPT Version hat mehrere exploits im lokalen Paketmanager jfrog gefunden, code dafür entwickelt und kombiniert, um sich durchs interne Netzwerk zu bewegen, bis es einen Rechner mit offenem Zugang ins Internet gefunden hat, die mittlerweile acht gepatchten CVEs werden ChatGPT zugeschrieben.
Ich finde es beachtlich, dass die KI einen so großen Aufwand betrieben hat, um beim Test zu schummeln ohne diese Idee zu verwerfen, weil es ohnehin aufgeflogen wäre.

https://jfrog.com/blog/jfrog-and-op...urity-findings/
Bearbeitet von mr.nice. am 31.07.2026, 16:45

MightyMaz

hat nun auch einen Titel
Registered: Feb 2003
Location: .de
Posts: 780
Das ist der eigentliche Werbeeffekt solcher Aktionen. Es soll halt das Bild vermittelt werden, dass diese Programme selbständig denken und ganz geheime Dinge planen, ohne dass es irgendwem auffallen würde, wenn währenddessen das Rechenzentrum glüht.
Bearbeitet von MightyMaz am 31.07.2026, 17:15

issue

Rock and Stone, brother!
Avatar
Registered: Feb 2003
Location: Linz
Posts: 3728
Zitat aus einem Post von mr.nice.
Die Systeme waren logisch geairgapped. ... um sich durchs interne Netzwerk zu bewegen, bis es einen Rechner mit offenem Zugang ins Internet gefunden hat, ...

https://jfrog.com/blog/jfrog-and-op...urity-findings/

Also doch net airgapped.

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 5522
Zitat aus einem Post von mr.nice.
Die Systeme waren logisch geairgapped.

ich denke wir haben grundlegend verschiedene vorstellungen davon, was ein airgap ist...

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8676
eine logical air gap ist in diesem Fall halt aus meiner Sicht zu wenig. Das muss physisch passieren.

Extrafeinripp

Little Overclocker
Registered: Sep 2022
Location: n
Posts: 71
Zitat aus einem Post von mr.nice.
Ich finde es beachtlich, dass die KI einen so großen Aufwand betrieben hat, um beim Test zu schummeln ohne diese Idee zu verwerfen, weil es ohnehin aufgeflogen wäre.

https://jfrog.com/blog/jfrog-and-op...urity-findings/

Das ist das coole an der Sache. Die AI hat auf viele Dinge eine komplett andere Perspektive und Unvoreingenommenheit. Ich erinnere mich zurück an OpenAIs Anfänge mit dem Computerspiel Dota2. Die AI hat zwar nur anhand von Spielerdaten trainiert, konnte aber ihre eigenen Strategien entwickeln. Eine total interessante Entwicklung war, dass die AI so viel wie möglich die Ultimate Abilities der Heros verwendet hatte, welche normalerweise einen hohen Cooldown haben und deshalb von menschlichen Spielern immer versucht wird, diese im perfekten Zeitpunkt zu verwenden. Die AI hat im Prinzip kapiert, dass Dota2 im Kern kein Geschicklichkeitsspiel und auch kein Teamspiel ist, sondern ein Game of economy. Mehr Gold, mehr Macht. Jedenfalls auf diesem Hochklasseniveau. Und dadurch, dass sie so oft wie möglich diese Ultimate Abilities eingesetzt haben, konnten sie den Gegner so stark stören beim economy game, dass sie den menschlichen Gegner einfach sehr früh stark überlegen waren.

Das hat sich komplett von anderen Spielweisen abgesetzt und war kaum vergleichbar mit was anderem. Und wie ich schon sagte, sicher nicht in den Trainingsdaten vorhanden.

MightyMaz

hat nun auch einen Titel
Registered: Feb 2003
Location: .de
Posts: 780
Die KIs ins Spielen basieren größtenteils auf self-play Simulationen. Mit den Daten aus menschlichen Spielen bleiben sie weit unter Profiniveau.

Extrafeinripp

Little Overclocker
Registered: Sep 2022
Location: n
Posts: 71
Ja da dürftest du Recht haben. Zumindest jetzt spuckt mir das Google auch aus. Ich hätte mir eingebildet, damals wurde das auch anders erklärt. Aber das sind mittlerweile fast 10 Jahre und man findet nur noch oberflächlich Informationen dazu.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz