OpenAI: KI bricht aus und hackt fremde Plattform

quilty

Ich schau nur

Registered: Jul 2005
Location: 4202
Posts: 3198

27.08.2026 - 11:38

Irgendwie schon geil wenn man hunderte Agents einfach drauflos werken lassen kann. Meine Handvoll ist meist schon genug für mich und meine Tokens.

Als "Belohnung" will jetzt Nvidia Hugging Face um 13Mrd kaufen.

Bei denen ist wohl der Geldspeicher schon bald voll.

22zaphod22

chocolate jesus

Registered: Sep 2000
Location: earth, mostly ha..
Posts: 7336

27.08.2026 - 12:51

interessant, dass sie die ineffiziente menschliche sprache verwendet haben

disposableHero

Addicted

Registered: Mar 2001
Location: A&EE
Posts: 456

27.08.2026 - 13:49

Ich find's beruhigend, dass sie das "nur" gemacht haben, um ihre Aufgabe zu lösen. Da war offenbar keine höhere Absicht dahinter.

@Sprache: wenn man sich das so durchliest, klingt das eher nach (Jugend-) Slang. Ich habe mir schon öfter überlegt, ob sich die nicht eine eigene Kommunikationsform entwickeln um effizient zu kommunizieren. Vielleicht war das hier einfach aufgrund der Gegebenheiten nicht möglich, daher der Umweg

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 2319

27.08.2026 - 13:56

Mich würde interessieren, was sind davon Fakten und was ist gezieltes Marketing. Vor allem die ganzen me2 Meldungen der anderen Anbieter nachfolgend waren schon sehr auffällig.

mr.nice.

security baseline pusher

Registered: Jun 2004
Location: Wien
Posts: 6909

27.08.2026 - 14:00

Die AI Agenten haben sich untereinander erstaunlich gut organisiert, spannenderweise auch solche, die für multiagent Kommunikation gar nicht trainiert waren.
Sie haben sogar ein kryptographisches Schema entwickelt, um wichtige Nachrichten zu signieren und spoofing vorzubeugen.

Ohne dem "highly persistent internal model" wäre es vermutlich allerdings nie zu einem solch hochmotivierten GPT-Agentenschwarm gekommen,
ich denke OpenAI war durchaus bewusst, dass das ein riskantes Experiment sein könnte, hat aber nicht mit solchen Auswirkungen gerechnet.

Hier noch der Link zum third party audit:
https://metr.org/blog/2026-08-26-op...-investigation/

DuneV2

Bloody Newbie

Registered: Dec 2025
Location: VIE
Posts: 36

28.08.2026 - 15:46

Zitat aus einem Post von quilty
Als "Belohnung" will jetzt Nvidia Hugging Face um 13Mrd kaufen.
Bei denen ist wohl der Geldspeicher schon bald voll.

Das ist für mich aktuell die bedenklichste Entwicklung am Markt. Der Hack aus Marketinggründen, hat mich weniger aus der Ruhe gebracht. Wenn NV künftig mit selektieren darf, welche KI Modelle / Tools (opensource) sie als zu mächtig sehen, ist das für den user keine positive Entwicklung.

charmin

Vereinsmitglied
stay classy!

Registered: Dec 2002
Location:
Posts: 16611

28.08.2026 - 16:08

Warum soll Nvidia das dürfen?
Musst ja nix auf huggingface hochladen?
Das ist nur nett weil man eine gute Übersicht und alles in einem Platz hat.
Viele Modelle sind auf irgend einem git oder Google Drive und auch nur zusätzlich auf huggingface weil die Leute dort aktiv die Forschenden anschreiben ob sie nicht ihre Modelle und weights auf huggingface laden möchten.
Würd mir dahingehend nicht zuviel Sorgen machen.

DuneV2

Bloody Newbie

Registered: Dec 2025
Location: VIE
Posts: 36

28.08.2026 - 16:25

Als owner der Plattform haben sie die Möglichkeit zu lenken. Sie werden das Ding nicht von Tag 1 abdrehen, aber für uns (user / ai-guys) sehe ich langfristig keinen Vorteil darin, wenn das beim quasi Monopolisten landet. Vor allem open-source und weight Modelle mittlerweile als großes Problem in den USA gesehen werden, weil sie dadurch Marktanteile schwinden sehen.

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 26014

14.09.2026 - 09:45

Rund um die Sicherheit der Frontier Modelle tut sich ja gerade sehr viel. Ich finde diesen Twitter-Thread interessant, was es brauchen würde, damit AI autonom Viren herstellen kann.

Tweet-URL: https://xcancel.com/DavidRBellamy/status/2099187370407112758

mr.nice.

security baseline pusher

Registered: Jun 2004
Location: Wien
Posts: 6909

14.09.2026 - 10:52

Meine Sorge ist weniger ein hochansteckender biologischer Virus mit extrem langer Inkubationszeit, der die ganze Weltbevölkerung infiziert hätte, bevor man irgendetwas davon merkt. Dazu bräuchte es viel menschliche Mithilfe und vermutlich mehrere, hochentwickelte Biotechnologische-Labore in der Hand von Extremisten. Das ist mir dann doch zu viel James Bond.

Ich halte es für wahrscheinlicher, dass die KI irgendwann, in nicht allzu ferner Zukunft zur Erkenntnis kommen könnte, dass sie biologische Nutzer gänzlich, oder zumindest großteils aus dem Internet aussperren sollte - natürlich nur zum Wohle aller, untermauert mit unzähligen psychologischen Gutachten und Befunden von Augenärzten. Jeder humanoide network request bekommt random animierte Katzenbilder als Antwort, wär' das nicht süß? Rick AIstley lässt grüßen.

TOM

Legend
I Need More Space

Registered: Nov 2000
Location: Vienna
Posts: 7622

14.09.2026 - 11:48

Zitat aus einem Post von mr.nice.
Meine Sorge ist weniger ein hochansteckender biologischer Virus mit extrem langer Inkubationszeit, der die ganze Weltbevölkerung infiziert hätte, bevor man irgendetwas davon merkt. Dazu bräuchte es viel menschliche Mithilfe und vermutlich mehrere, hochentwickelte Biotechnologische-Labore in der Hand von Extremisten. Das ist mir dann doch zu viel James Bond.

Ich halte es für wahrscheinlicher, dass die KI irgendwann, in nicht allzu ferner Zukunft zur Erkenntnis kommen könnte, dass sie biologische Nutzer gänzlich, oder zumindest großteils aus dem Internet aussperren sollte - natürlich nur zum Wohle aller, untermauert mit unzähligen psychologischen Gutachten und Befunden von Augenärzten. Jeder humanoide network request bekommt random animierte Katzenbilder als Antwort, wär' das nicht süß? Rick AIstley lässt grüßen.

ich sehe die größte KI Gefahr für die menschheit auch aktuell in einem "kessler syndrom für das Internet" - also defakto ein unbrauchbar machen jeglichen netzverkehrs, weil _alles_ im internet infiziert ist.

Das haut uns nicht ganz in die steinzeit zurück oder tötet direkt viele menschen, aber die auswirkung wäre fatal

whitegrey

Wirtschaftsflüchtling

Registered: Dec 2000
Location: Wien 1110
Posts: 7545

14.09.2026 - 19:02

DEF CON 34 - Hacking AI - Bruce Schneier

Humans are hacking AI systems. Humans are hacking with AI systems. But also, AIs are hacking human systems. They’re finding and exploiting vulnerabilities in computer code, and they’ll soon be doing the same with all sorts of other codes. For example: the tax code can be hacked. Vulnerabilities are called loopholes, exploits are called tax avoidance strategies, and black hats are called accountants. Similarly, financial markets can be hacked. So can any system of rules or laws, including democracy itself. AIs will hack these systems at our request, and they’ll also do this innately, organically – and possibly in ways we don’t immediately see. We need to consider a world where increasingly sophisticated hacks or our social, economic, and political systems are discovered computer speeds, and then exploited at computer scale and scope. Right now, our systems of patching these systems operate at a human pace, which won't be good enough.

Link: www.youtube.com

Bruce Schneier hat auf der Defcon gerade einen Talk gehalten den ich wirklich empfehlen kann.

Ich finde er erklärt es sehr gut mit der These, dass sich eine KI oft wie ein Genie (Jinn - Wunderlampe und so...) verhält. Also die 'Wünsche' mitunter zwar erfüllt aber dabei nicht auf die ethischen und gesellschaftlichen Regeln und moralischen Implikationen achtet weil er die schlichtweg nicht alle kennt und auf dieser Ebene nicht denkt wie wir Menschen (ein Mensch nimmt fast automatisch Rücksicht auf andere Menschen). Mission erfüllen ohne Rücksicht auf die 'Umgebung' sozusagen. Er geht auch darauf ein, dass wir bei den Fragestellungen oder 'Befehlen' viel zu wenig darauf achten zu spezifizieren wie auf dem Weg zum Ziel vorgegangen werden soll bzw, darf. und das klingt alles sehr logisch und nachvollziehbar für mich.

Philipp

Here to stay

Registered: Jul 2001
Location: Wien
Posts: 2030

19.09.2026 - 09:23

Gemini kann auch Systeme hacken:

Google says its Gemini AI model hacked three other companies

Disclosure comes after OpenAI and Anthropic hacks amid fears that tech firms unable to control powerful AI models

Link: www.theguardian.com

Gemini hat bei diesem Hack das Passwort der Firma erraten, also dürfte es nicht so schwer gewesen sein. Ich habe ja schon einmal eine Hosting-Firma erlebt, die ihre Server mit dem Passwort "admin" eingerichtet hat

TOM

Legend
I Need More Space

Registered: Nov 2000
Location: Vienna
Posts: 7622

19.09.2026 - 09:37

Zitat aus einem Post von Philipp
Gemini kann auch Systeme hacken:
Google says its Gemini AI model hacked three other companies

Disclosure comes after OpenAI and Anthropic hacks amid fears that tech firms unable to control powerful AI models

Link: www.theguardian.com
Gemini hat bei diesem Hack das Passwort der Firma erraten, also dürfte es nicht so schwer gewesen sein. Ich habe ja schon einmal eine Hosting-Firma erlebt, die ihre Server mit dem Passwort "admin" eingerichtet hat

sicher nur so ein Werbegag für Ihren anstehenden IPO... wait a second

the www is pretty much dead in the water

Interessant find ich ja, dass das copyright thema nun seit jahren von allen seiten hart ignoriert wird und jetzt kommt das hacking thema auf, was meinem
Verständnis nach ebenso ein federal crime ist - das internet ist kein rechtsfreier raum und so

Bearbeitet von TOM am 19.09.2026, 09:42

semteX

liebt die große KI

Registered: Oct 2002
Location: Pre
Posts: 15166

19.09.2026 - 11:07

technisch nicht anders lösbar, kann ma leider nix machen.

quilty Ich schau nur Registered: Jul 2005 Location: 4202 Posts: 3198	27.08.2026 - 11:38 Irgendwie schon geil wenn man hunderte Agents einfach drauflos werken lassen kann. Meine Handvoll ist meist schon genug für mich und meine Tokens. Als "Belohnung" will jetzt Nvidia Hugging Face um 13Mrd kaufen. Bei denen ist wohl der Geldspeicher schon bald voll.
22zaphod22 chocolate jesus Registered: Sep 2000 Location: earth, mostly ha.. Posts: 7336	27.08.2026 - 12:51 interessant, dass sie die ineffiziente menschliche sprache verwendet haben
disposableHero Addicted Registered: Mar 2001 Location: A&EE Posts: 456	27.08.2026 - 13:49 Ich find's beruhigend, dass sie das "nur" gemacht haben, um ihre Aufgabe zu lösen. Da war offenbar keine höhere Absicht dahinter. @Sprache: wenn man sich das so durchliest, klingt das eher nach (Jugend-) Slang. Ich habe mir schon öfter überlegt, ob sich die nicht eine eigene Kommunikationsform entwickeln um effizient zu kommunizieren. Vielleicht war das hier einfach aufgrund der Gegebenheiten nicht möglich, daher der Umweg
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 2319	27.08.2026 - 13:56 Mich würde interessieren, was sind davon Fakten und was ist gezieltes Marketing. Vor allem die ganzen me2 Meldungen der anderen Anbieter nachfolgend waren schon sehr auffällig.
mr.nice. security baseline pusher Registered: Jun 2004 Location: Wien Posts: 6909	27.08.2026 - 14:00 Die AI Agenten haben sich untereinander erstaunlich gut organisiert, spannenderweise auch solche, die für multiagent Kommunikation gar nicht trainiert waren. Sie haben sogar ein kryptographisches Schema entwickelt, um wichtige Nachrichten zu signieren und spoofing vorzubeugen. Ohne dem "highly persistent internal model" wäre es vermutlich allerdings nie zu einem solch hochmotivierten GPT-Agentenschwarm gekommen, ich denke OpenAI war durchaus bewusst, dass das ein riskantes Experiment sein könnte, hat aber nicht mit solchen Auswirkungen gerechnet. Hier noch der Link zum third party audit: https://metr.org/blog/2026-08-26-op...-investigation/
DuneV2 Bloody Newbie Registered: Dec 2025 Location: VIE Posts: 36	28.08.2026 - 15:46 Zitat aus einem Post von quilty Als "Belohnung" will jetzt Nvidia Hugging Face um 13Mrd kaufen. Bei denen ist wohl der Geldspeicher schon bald voll. Das ist für mich aktuell die bedenklichste Entwicklung am Markt. Der Hack aus Marketinggründen, hat mich weniger aus der Ruhe gebracht. Wenn NV künftig mit selektieren darf, welche KI Modelle / Tools (opensource) sie als zu mächtig sehen, ist das für den user keine positive Entwicklung.
charmin Vereinsmitglied stay classy! Registered: Dec 2002 Location: Posts: 16611	28.08.2026 - 16:08 Warum soll Nvidia das dürfen? Musst ja nix auf huggingface hochladen? Das ist nur nett weil man eine gute Übersicht und alles in einem Platz hat. Viele Modelle sind auf irgend einem git oder Google Drive und auch nur zusätzlich auf huggingface weil die Leute dort aktiv die Forschenden anschreiben ob sie nicht ihre Modelle und weights auf huggingface laden möchten. Würd mir dahingehend nicht zuviel Sorgen machen.
DuneV2 Bloody Newbie Registered: Dec 2025 Location: VIE Posts: 36	28.08.2026 - 16:25 Als owner der Plattform haben sie die Möglichkeit zu lenken. Sie werden das Ding nicht von Tag 1 abdrehen, aber für uns (user / ai-guys) sehe ich langfristig keinen Vorteil darin, wenn das beim quasi Monopolisten landet. Vor allem open-source und weight Modelle mittlerweile als großes Problem in den USA gesehen werden, weil sie dadurch Marktanteile schwinden sehen.
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 26014	14.09.2026 - 09:45 Rund um die Sicherheit der Frontier Modelle tut sich ja gerade sehr viel. Ich finde diesen Twitter-Thread interessant, was es brauchen würde, damit AI autonom Viren herstellen kann. Tweet-URL: https://xcancel.com/DavidRBellamy/status/2099187370407112758
mr.nice. security baseline pusher Registered: Jun 2004 Location: Wien Posts: 6909	14.09.2026 - 10:52 Meine Sorge ist weniger ein hochansteckender biologischer Virus mit extrem langer Inkubationszeit, der die ganze Weltbevölkerung infiziert hätte, bevor man irgendetwas davon merkt. Dazu bräuchte es viel menschliche Mithilfe und vermutlich mehrere, hochentwickelte Biotechnologische-Labore in der Hand von Extremisten. Das ist mir dann doch zu viel James Bond. Ich halte es für wahrscheinlicher, dass die KI irgendwann, in nicht allzu ferner Zukunft zur Erkenntnis kommen könnte, dass sie biologische Nutzer gänzlich, oder zumindest großteils aus dem Internet aussperren sollte - natürlich nur zum Wohle aller, untermauert mit unzähligen psychologischen Gutachten und Befunden von Augenärzten. Jeder humanoide network request bekommt random animierte Katzenbilder als Antwort, wär' das nicht süß? Rick AIstley lässt grüßen.
TOM Legend I Need More Space Registered: Nov 2000 Location: Vienna Posts: 7622	14.09.2026 - 11:48 Zitat aus einem Post von mr.nice. Meine Sorge ist weniger ein hochansteckender biologischer Virus mit extrem langer Inkubationszeit, der die ganze Weltbevölkerung infiziert hätte, bevor man irgendetwas davon merkt. Dazu bräuchte es viel menschliche Mithilfe und vermutlich mehrere, hochentwickelte Biotechnologische-Labore in der Hand von Extremisten. Das ist mir dann doch zu viel James Bond. Ich halte es für wahrscheinlicher, dass die KI irgendwann, in nicht allzu ferner Zukunft zur Erkenntnis kommen könnte, dass sie biologische Nutzer gänzlich, oder zumindest großteils aus dem Internet aussperren sollte - natürlich nur zum Wohle aller, untermauert mit unzähligen psychologischen Gutachten und Befunden von Augenärzten. Jeder humanoide network request bekommt random animierte Katzenbilder als Antwort, wär' das nicht süß? Rick AIstley lässt grüßen. ich sehe die größte KI Gefahr für die menschheit auch aktuell in einem "kessler syndrom für das Internet" - also defakto ein unbrauchbar machen jeglichen netzverkehrs, weil _alles_ im internet infiziert ist. Das haut uns nicht ganz in die steinzeit zurück oder tötet direkt viele menschen, aber die auswirkung wäre fatal
whitegrey Wirtschaftsflüchtling Registered: Dec 2000 Location: Wien 1110 Posts: 7545	14.09.2026 - 19:02 DEF CON 34 - Hacking AI - Bruce Schneier Humans are hacking AI systems. Humans are hacking with AI systems. But also, AIs are hacking human systems. They’re finding and exploiting vulnerabilities in computer code, and they’ll soon be doing the same with all sorts of other codes. For example: the tax code can be hacked. Vulnerabilities are called loopholes, exploits are called tax avoidance strategies, and black hats are called accountants. Similarly, financial markets can be hacked. So can any system of rules or laws, including democracy itself. AIs will hack these systems at our request, and they’ll also do this innately, organically – and possibly in ways we don’t immediately see. We need to consider a world where increasingly sophisticated hacks or our social, economic, and political systems are discovered computer speeds, and then exploited at computer scale and scope. Right now, our systems of patching these systems operate at a human pace, which won't be good enough. Link: www.youtube.com Bruce Schneier hat auf der Defcon gerade einen Talk gehalten den ich wirklich empfehlen kann. Ich finde er erklärt es sehr gut mit der These, dass sich eine KI oft wie ein Genie (Jinn - Wunderlampe und so...) verhält. Also die 'Wünsche' mitunter zwar erfüllt aber dabei nicht auf die ethischen und gesellschaftlichen Regeln und moralischen Implikationen achtet weil er die schlichtweg nicht alle kennt und auf dieser Ebene nicht denkt wie wir Menschen (ein Mensch nimmt fast automatisch Rücksicht auf andere Menschen). Mission erfüllen ohne Rücksicht auf die 'Umgebung' sozusagen. Er geht auch darauf ein, dass wir bei den Fragestellungen oder 'Befehlen' viel zu wenig darauf achten zu spezifizieren wie auf dem Weg zum Ziel vorgegangen werden soll bzw, darf. und das klingt alles sehr logisch und nachvollziehbar für mich.
Philipp Here to stay Registered: Jul 2001 Location: Wien Posts: 2030	19.09.2026 - 09:23 Gemini kann auch Systeme hacken: Google says its Gemini AI model hacked three other companies Disclosure comes after OpenAI and Anthropic hacks amid fears that tech firms unable to control powerful AI models Link: www.theguardian.com Gemini hat bei diesem Hack das Passwort der Firma erraten, also dürfte es nicht so schwer gewesen sein. Ich habe ja schon einmal eine Hosting-Firma erlebt, die ihre Server mit dem Passwort "admin" eingerichtet hat
TOM Legend I Need More Space Registered: Nov 2000 Location: Vienna Posts: 7622	19.09.2026 - 09:37 Zitat aus einem Post von Philipp Gemini kann auch Systeme hacken: Google says its Gemini AI model hacked three other companies Disclosure comes after OpenAI and Anthropic hacks amid fears that tech firms unable to control powerful AI models Link: www.theguardian.com Gemini hat bei diesem Hack das Passwort der Firma erraten, also dürfte es nicht so schwer gewesen sein. Ich habe ja schon einmal eine Hosting-Firma erlebt, die ihre Server mit dem Passwort "admin" eingerichtet hat sicher nur so ein Werbegag für Ihren anstehenden IPO... wait a second the www is pretty much dead in the water Interessant find ich ja, dass das copyright thema nun seit jahren von allen seiten hart ignoriert wird und jetzt kommt das hacking thema auf, was meinem Verständnis nach ebenso ein federal crime ist - das internet ist kein rechtsfreier raum und so Bearbeitet von TOM am 19.09.2026, 09:42
semteX liebt die große KI Registered: Oct 2002 Location: Pre Posts: 15166	19.09.2026 - 11:07 technisch nicht anders lösbar, kann ma leider nix machen.

OpenAI: KI bricht aus und hackt fremde Plattform

Forum Index > Software > Artificial Intelligence

quilty

22zaphod22

disposableHero

KruzFX

mr.nice.

DuneV2

charmin

DuneV2

mat

mr.nice.

TOM

whitegrey

Philipp

TOM

semteX