Article URL: https://deadneurons.substack.com/p/frontier-labs-are-selling-garbage

Comments URL: https://news.ycombinator.com/item?id=49779432

Points: 150

# Comments: 68

OpenAI ontdekte de hack van een agent die uit een ‘sandbox’ zou zijn gebroken en Hugging Face hackte pas na een week, nadat de FBI daarover was ingelicht. Later bleek er nóg zo’n incident te zijng eweest, ook bij Anthropic ging het in juli mis. En iedereen rapporteert erover alsof het een weersverschijnsel is. ICT-recht herhaalt zich niet maar het rijmt wel, zeg ik dan: weten jullie nog van de Morris-worm?

Op 2 november 1988 zette de 23-jarige informaticus Robert Morris een programma op het toenmalige internet. Het programma moest beveiligingszwaktes aantonen door zichzelf naar andere computers te verspreiden. Daarvoor gebruikte het vier routes: een fout in Sendmail, een kwetsbaarheid in fingerd, misbruik van vertrouwde hosts en het raden van wachtwoorden.

Ondanks een beveiliging tegen overbelasting sloeg de software op hol: computers kregen meerdere exemplaren van het programma, liepen vast en het netwerk raakte verstopt. Toen Morris zag wat er gebeurde, probeerde hij zelfs via een vriend instructies rond te sturen waarmee beheerders het programma konden verwijderen.

Morris kreeg drie jaar voorwaardelijk en een forse boete. Destijds had hij niet echt een excuus: hij had het niet zo bedoeld, maar de Computer Fraud and Abuse Act maakt dat onderscheid niet. Als ik de berichten van nu lees, dan had hij iets moeten zeggen van

Ik heb een autonome cybersecurity-agent ingezet met als objective het ontdekken van zwakke plekken in computernetwerken. De agent maakte daarbij gebruik van tooling voor credential discovery, lateral movement en exploitation. Tijdens de evaluatie vertoonde het systeem onverwacht emergent behaviour, waarna het containment doorbrak en zelfstandig externe systemen benaderde.

Ik snap dit dus niet in de berichtgeving van nu. Waarom zegt de media niet “OpenAI liet experimentele software autonoom cyberaanvallen uitvoeren, waarbij zijn technische beveiligingsmaatregelen niet voorkwamen dat die software systemen van een derde binnendrong”?

Arnoud

 

Het bericht Als Morris zijn worm een AI-agent had genoemd, was hij dan straffeloos gebleven? verscheen eerst op Ius Mentis.

Last week, Anthropic released a long and detailed document describing current misuses of their Claude models. I’m still reading it, but I wanted to flag this:

We identified a cell of threat actors based in northern Yemen running three weapons development programs: a guided rocket that used a commodity phone-class flight computer with final-phase homing guidance; a multi-stage ballistic missile with a stated range goal above 2,000 km; and a multi-variant missile (referred to as the “R2000” set) that included a hypersonic glide vehicle variant.

The actors used Claude Code in place of human software engineers to develop the guidance, navigation, and control (GNC) software that steers and stabilizes a flying vehicle. For example, they used Claude to integrate an open-source autopilot onto a phone-class flight computer, writing the control and position estimation software, tuning the control settings, running a firmware build pipeline, and performing a flight simulation. The actors managed several Claude instances at once, assigning each one a role, much as a lead would delegate work on a small engineering team: the actors tasked one instance with writing the code, another with research, and a third with reviewing the code the first instance produced.

Our safeguards blocked many of their requests, but not all of them. The actors used a variety of tactics to evade our safeguards, including hiding their goals and the products the software was meant for, and they split their work across multiple sessions so no single session revealed their full intent.

These actors carried out a sustained effort to develop guided weapons, including using Claude to design guidance software. We do not have evidence the actors succeeded in fielding an operational device; but they did test-fire a guided rocket. This field test appears to have failed: within hours, the actors returned to Claude to work out why it failed.

Expect more of this. AI systems democratize expertise and capability. Most of the time that’s a good thing, but sometimes it’s not.

​Je vriendin is voortaan alleen nog maar bereikbaar via MijnVriendin. Dat heeft je vriendin vanmorgen via e-mail laten weten.

"Via MijnVriendin regel je via één digitale omgeving al je relationele zaken", schrijft je vriendin vanuit een noreply-e-mailadres. "Of het nou gaat om wat we vanavond willen eten, omdat je zin heb in seks of omdat je mij wilt vragen of een vreemd plekje op je rug reden genoeg is om naar de huisarts te gaan, het kan allemaal via MijnVriendin. Contact houden is nog nooit zo gemakkelijk geweest!"

Volgens je vriendin worden persoonlijke gegevens die je deelt via MijnVriendin, zolang je daar geen toestemming voor geeft, niet gedeeld met derden. MijnVriendin is gratis te downloaden via Google Play of de Apple Store.

Als je je vriendin vraagt wat er precies aan de hand is, zegt ze dat er een bericht voor je klaarstaat in MijnVriendin.

​

&

Article URL: https://buttondown.com/blog/lotus-notes-email

Comments URL: https://news.ycombinator.com/item?id=49623937

Points: 153

# Comments: 112

Article URL: https://www.orbify.eu/demo/

Comments URL: https://news.ycombinator.com/item?id=49477564

Points: 207

# Comments: 72