Yes, finally! Open collaboration is the key for Europe to unlock its true potential. To all academics and political leaders out there: set aside your own agendas, and support theirs! 🙏🏻🚀 @ZenoInMotion
🇩🇪 Übersetzung
Ja, endlich! Offene Zusammenarbeit ist der Schlüssel dafür, dass Europa sein wahres Potenzial entfalten kann. An alle Akademiker und politischen Führer da draußen: Legen Sie Ihre eigenen Pläne beiseite und unterstützen Sie ihre! 🙏🏻🚀 @ZenoInMotion
Wit Google's turboquant, it might already carry us into September, or make September feel like 2027. #MLX
🇩🇪 Übersetzung
Mit Googles Turboquant könnte es uns bereits in den September tragen oder den September wie das Jahr 2027 erscheinen lassen. #MLX
local AI capabilities are increasing on a daily basis now.
🇩🇪 Übersetzung
Die lokalen KI-Fähigkeiten nehmen jetzt täglich zu.
two years ago I co-authored an ICML paper on open-source generative AI.
in 2026, the biggest thing we got right: open models did not stay far behind for long. they accelerated research, distribution, customization, and competition fast
https://arxiv.org/pdf/2405.08597
🇩🇪 Übersetzung
RT von @OpenMedFuture: Vor zwei Jahren war ich Mitautor eines ICML-Artikels über generative Open-Source-KI.
Im Jahr 2026 haben wir das Größte richtig gemacht: Offene Modelle blieben nicht lange weit zurück. Sie beschleunigten Forschung, Vertrieb, Anpassung und Wettbewerb schnell
https://arxiv.org/pdf/2405.08597
New day. New attack surfaces. Be careful out there.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Neuer Tag. Neue Angriffsflächen. Seien Sie vorsichtig da draußen.
Ever wondered what the future holds for AI on Apple Silicon? I believe that from September onward it's going to very bright. @isaree_ai
🇩🇪 Übersetzung
Haben Sie sich jemals gefragt, was die Zukunft für KI auf Apple Silicon bereithält? Ich glaube, dass es ab September sehr hell wird. @isaree_ai
The EU wants to let you launch a company in 48 hours for under €100. 🚀
European Commission President Ursula von der Leyen unveiled EU Inc — a single set of corporate rules across the bloc to cut red tape, boost innovation, and help businesses scale across borders.
#EUXL
🇩🇪 Übersetzung
RT von @OpenMedFuture: Die EU möchte, dass Sie ein Unternehmen in 48 Stunden für unter 100 € gründen können. 🚀
Die Präsidentin der Europäischen Kommission, Ursula von der Leyen, stellte EU Inc vor – ein einheitliches Regelwerk für Unternehmen in der gesamten Union, um Bürokratie abzubauen, Innovationen anzukurbeln und Unternehmen bei der grenzüberschreitenden Skalierung zu unterstützen.
#EUXL
Every time I share a post on LinkedIn that critically examines EU policies, its visibility seems to drop dramatically, almost as if it’s being shadowbanned. Is this really how the EU envisions democracy working?
I always avoid ad hominem arguments, so I can only assume that people or bots are mass-reporting my posts. Is anyone else experiencing this? Do I have the right to demand transparency from LinkedIn?
🇩🇪 Übersetzung
Jedes Mal, wenn ich einen Beitrag auf LinkedIn teile, der sich kritisch mit der EU-Politik auseinandersetzt, scheint seine Sichtbarkeit dramatisch zu sinken, fast so, als würde er im Schatten verboten. Stellt sich die EU wirklich so eine funktionierende Demokratie vor?
Ich vermeide immer Ad-hominem-Argumente, daher kann ich nur davon ausgehen, dass Leute oder Bots meine Beiträge massenhaft melden. Hat das noch jemand erlebt? Habe ich das Recht, von LinkedIn Transparenz zu verlangen?
Five years ago, there were 30 million software developers who could develop and deploy software. Today, there are 3 billion people who can develop and deploy software. Anybody who thinks AI will lead to fewer jobs isn’t paying attention, it’s unlocking a new generation of creators, not replacing them.
I still remember seeing @cshirky back in 2009, delivering the opening keynote at @boltyboy Health 2.0 conference. He used the phrase “the Internet runs on love” to describe the nature of open, collaborative creation.
That was before we entered the platform and attention economy, a time when the web still felt like a commons powered by shared curiosity rather than competition for attention. Today, as open source and AI converge, I can’t help but feel we’re rediscovering that original spirit at an entirely new scale.
I was fascinated by his keynote and later by his book Here Comes Everybody, I only wish he'd step back into the spotlight and speak out more vocally again.
It’s remarkable to see how that vision is now playing out, fueled not just by AI but by the power of open source communities that have made creation and deployment accessible to everyone.
Open source has won.
At Isaree, we’re putting this into practice: empowering clinicians to build their own agents and agentic workflows while championing decentralized AI concepts. As if there is anything we can learn from the recent open source wave, is that it will help us to accelerate the development of life saving discoveries and innovations at and equitable price.
Yes, Clay, you did have a lot of impact with your inspiring keynotes and lectures.
If there is anything we can learn from the recent open source wave is that open innovation concepts, will accelerate life-saving discoveries and innovations at equitable prices and should become standard. Agree?
🇩🇪 Übersetzung
Vor fünf Jahren gab es 30 Millionen Softwareentwickler, die Software entwickeln und bereitstellen konnten. Heute gibt es 3 Milliarden Menschen, die Software entwickeln und bereitstellen können. Wer denkt, dass KI zu weniger Arbeitsplätzen führen wird, irrt: Sie erschließt eine neue Generation von Kreativen und ersetzt sie nicht.
Ich erinnere mich noch daran, wie ich @cshirky im Jahr 2009 gesehen habe, als er die Eröffnungsrede auf der @boltyboy Health 2.0-Konferenz hielt. Er benutzte den Ausdruck „Das Internet basiert auf Liebe“, um die Natur der offenen, gemeinschaftlichen Schöpfung zu beschreiben.
Das war, bevor wir in die Plattform- und Aufmerksamkeitsökonomie einstiegen, eine Zeit, in der sich das Web noch wie ein Gemeingut anfühlte, das von gemeinsamer Neugier und nicht vom Wettbewerb um Aufmerksamkeit angetrieben wurde. Heute, wo Open Source und KI zusammenwachsen, habe ich das Gefühl, dass wir diesen ursprünglichen Geist in einem völlig neuen Maßstab wiederentdecken.
Ich war fasziniert von seiner Keynote und später von seinem Buch Here Comes Everybody. Ich wünschte nur, er würde wieder ins Rampenlicht treten und sich wieder lauter zu Wort melden.
Es ist bemerkenswert zu sehen, wie diese Vision jetzt umgesetzt wird, angetrieben nicht nur durch KI, sondern auch durch die Leistungsfähigkeit von Open-Source-Communities, die die Erstellung und Bereitstellung für jedermann zugänglich gemacht haben.
Open Source hat gewonnen.
Bei Isaree setzen wir dies in die Praxis um: Wir befähigen Kliniker, ihre eigenen Agenten und Agenten-Workflows zu entwickeln und setzen uns gleichzeitig für dezentrale KI-Konzepte ein. Als ob es etwas gibt, was wir aus der jüngsten Open-Source-Welle lernen können, ist, dass sie uns dabei helfen wird, die Entwicklung lebensrettender Entdeckungen und Innovationen zu einem angemessenen Preis zu beschleunigen.
Ja, Clay, Sie haben mit Ihren inspirierenden Keynotes und Vorträgen viel bewirkt.
Wenn wir aus der jüngsten Open-Source-Welle etwas lernen können, dann ist es, dass offene Innovationskonzepte lebensrettende Entdeckungen und Innovationen zu angemessenen Preisen beschleunigen und zum Standard werden sollten. Zustimmen?
Wow, can this be transformative?
🇩🇪 Übersetzung
Wow, kann das transformativ sein?
Today we’re announcing X-Cell — Xaira’s first step toward a virtual cell. 🧬
A foundation model that predicts how gene expression changes under causal perturbations — across cell types, conditions, and even unseen biology.
This is not trained on observational atlases.
It is trained on interventions.
🧵👇
🇩🇪 Übersetzung
RT von @OpenMedFuture: Heute kündigen wir X-Cell an – Xairas erster Schritt in Richtung einer virtuellen Zelle. 🧬
A foundation model that predicts how gene expression changes under causal perturbations — across cell types, conditions, and even unseen biology.
Dies wird nicht auf Beobachtungsatlanten trainiert.
Es ist auf Interventionen geschult.
🧵👇
Today, we're taking Manus out of the cloud and putting it on your desktop.
Introducing My Computer, the core feature of the new Manus Desktop app. It’s your AI agent, now on your local machine.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Heute holen wir Manus aus der Cloud und stellen es auf Ihren Desktop.
Wir stellen vor: „Mein Computer“, die Kernfunktion der neuen Manus Desktop-App. Es ist Ihr KI-Agent, jetzt auf Ihrem lokalen Computer.
Thrilled to see Microsoft's GigaTIME: an open-weight AI turning cheap H&E slides into virtual spatial proteomics! Open code, weights on Hugging Face/GitHub democratizing cancer research. 🎉
This exceeds my wildest dreams! Back in 2018, I advocated for open medical AI policies via HIPPO AI Foundation. Now, it's accelerating innovation, slashing costs, & bridging global gaps in oncology. Let's reshape healthcare!
🇩🇪 Übersetzung
Ich bin gespannt, Microsofts GigaTIME zu sehen: eine KI mit offenem Gewicht, die billige H&E-Objektträger in virtuelle räumliche Proteomik verwandelt! Offener Code, Gewichte auf Hugging Face/GitHub zur Demokratisierung der Krebsforschung. 🎉
Das übertrifft meine kühnsten Träume! Bereits 2018 habe ich mich über die HIPPO AI Foundation für offene medizinische KI-Richtlinien eingesetzt. Jetzt beschleunigt es Innovationen, senkt die Kosten und schließt globale Lücken in der Onkologie. Gestalten wir das Gesundheitswesen neu!
We will look back on AlphaFold as one of the greatest things to come from AI. Will keep giving for generations to come.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Wir werden auf AlphaFold als eines der großartigsten Dinge der KI zurückblicken. Ich werde auch in den kommenden Generationen weiter spenden.
Open source AI medicine is an insane trend
🇩🇪 Übersetzung
RT von @OpenMedFuture: Open-Source-KI-Medizin ist ein verrückter Trend
The inference stack just got simpler.
PagedAttention, the kernel that made vLLM fast, now ships natively in 🤗 Transformers CB.
Result: 84% of vLLM throughput on a single GPU. Near SOTA with no extra runtime.
The gap is closing 📈
🇩🇪 Übersetzung
RT von @OpenMedFuture: Der Inferenzstapel ist jetzt einfacher.
PagedAttention, der Kernel, der vLLM schnell gemacht hat, wird jetzt nativ in 🤗 Transformers CB ausgeliefert.
Ergebnis: 84 % des vLLM-Durchsatzes auf einer einzelnen GPU. Nahezu SOTA ohne zusätzliche Laufzeit.
Die Lücke schließt sich 📈
It is truly the age of open source
🇩🇪 Übersetzung
RT von @OpenMedFuture: Es ist wirklich das Zeitalter von Open Source
If you have your OpenClaw working 24/7 using frontier models like Opus, you're easily burning $300 a day.
That's $100,000 a year.
I have 3 Mac Studios and a DGX Spark running 4 high end local models (Nemotron 3, Qwen 3.5, Kimi K2.5, MiniMax2.5). They're chugging 24/7/365. I spent a third of that yearly cost to buy these computers
I'll be able to use them for years for free
On top of that they're completely private, secure, and personalized.
Not a single prompt goes to a cloud server that can be read by an employee or used to train another model
I hope this makes it painfully obvious why local is the future for AI agents. And why America needs to enter the local AI race.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Wenn Ihr OpenClaw rund um die Uhr mit Spitzenmodellen wie Opus arbeitet, verbrennen Sie problemlos 300 US-Dollar pro Tag.
Das sind 100.000 Dollar pro Jahr.
Ich habe 3 Mac Studios und einen DGX Spark mit 4 lokalen High-End-Modellen (Nemotron 3, Qwen 3.5, Kimi K2.5, MiniMax2.5). Sie tuckern rund um die Uhr. Ich habe ein Drittel dieser jährlichen Kosten für den Kauf dieser Computer ausgegeben
Ich werde sie jahrelang kostenlos nutzen können
Darüber hinaus sind sie völlig privat, sicher und personalisiert.
Keine einzige Eingabeaufforderung geht an einen Cloud-Server, der von einem Mitarbeiter gelesen oder zum Trainieren eines anderen Modells verwendet werden kann
Ich hoffe, dass dies deutlich macht, warum die Zukunft für KI-Agenten lokal liegt. Und warum Amerika am lokalen KI-Wettbewerb teilnehmen muss.
@dorialexander Exactly! “It took some time but open data in AI is actually popular”
The graph shows the recent phase is finally a healthy, sustainable climb instead of just hype spikes.
I think a big driver is the democratization of AI agents. 2026 turned into the year regular devs can actually build real agents thanks to accessible frameworks, local models, and no-code tools.
These agents are extremely data-hungry for RAG, tool use, memory, and fine-tuning, and they desperately need clean, traceable, legally safe, multilingual data at scale. Common Corpus is basically tailor-made for exactly that new wave.
Congrats on crossing 1M downloads, open data is having its agent moment! 🚀
🇩🇪 Übersetzung
RT von @OpenMedFuture: @dorialexander Genau! „Es hat einige Zeit gedauert, aber offene Daten in der KI sind tatsächlich beliebt“
Die Grafik zeigt, dass es sich in der jüngsten Phase endlich um einen gesunden, nachhaltigen Anstieg und nicht nur um Hype-Spitzen handelt.
Ich denke, ein großer Treiber ist die Demokratisierung von KI-Agenten. 2026 wurde das Jahr, in dem normale Entwickler dank zugänglicher Frameworks, lokaler Modelle und No-Code-Tools tatsächlich echte Agenten entwickeln können.
Diese Agenten sind äußerst datenhungrig in Bezug auf RAG, Werkzeugnutzung, Speicher und Feinabstimmung und benötigen dringend saubere, nachvollziehbare, rechtssichere und mehrsprachige Daten in großem Maßstab. Common Corpus ist im Grunde genau für diese neue Welle maßgeschneidert.
Herzlichen Glückwunsch zum Durchschreiten von 1 Million Downloads, Open Data hat seinen Agenten-Moment! 🚀
Announcing Personal Computer.
Personal Computer is an always on, local merge with Perplexity Computer that works for you 24/7.
It's personal, secure, and works across your files, apps, and sessions through a continuously running Mac mini.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Ankündigung eines Personal Computers.
Personal Computer ist eine immer aktive, lokale Verbindung mit Perplexity Computer, die rund um die Uhr für Sie arbeitet.
Es ist persönlich, sicher und funktioniert für alle Ihre Dateien, Apps und Sitzungen über einen kontinuierlich laufenden Mac mini.
"First they let companies pay to protect their websites from every agent and crawler and now they let crawlers pay to access the website"
🇩🇪 Übersetzung
„Zuerst ließen sie Unternehmen bezahlen, um ihre Websites vor jedem Agenten und Crawler zu schützen, und jetzt lassen sie Crawler bezahlen, um auf die Website zuzugreifen.“
Just read @AxelVossMdEP statement on LinkedIn, where he celebrated his copyright / genAI initiative.
He states ‘Ensuring creators get fairly paid’, the newest EU copyright slogan for AI training, sounds noble until you remember how scientific publishing actually works.
Scientists write the papers for free. Peer reviewers (the actual quality control) work for free. Editors are often unpaid volunteers.
Now the same publishers are rushing to sign lucrative AI licensing deals with OpenAI, Google, etc., and suddenly they’re champions of “creator rights”.
Funny how that works. The author whose blood, sweat and unpaid labour went into the paper? Still gets nothing when their work is fed into the next GPT.
This isn’t about protecting creators. Is it?
It’s about protecting gatekeepers while pretending the scientists are finally getting a seat at the table.
If the EU really cared about fair pay for creators in science, they’d start by fixing the broken academic publishing model, not just adding another revenue stream for the middlemen who’ve been exploiting researchers for decades.
🇩🇪 Übersetzung
Lesen Sie einfach die Erklärung von @AxelVossMdEP auf LinkedIn, in der er seine Urheberrechts-/genAI-Initiative feierte.
Er stellt fest, dass „Sicherstellen, dass Urheber fair bezahlt werden“, der neueste EU-Urheberrechtsslogan für die KI-Ausbildung, klingt nobel, bis man sich daran erinnert, wie wissenschaftliches Publizieren tatsächlich funktioniert.
Wissenschaftler schreiben die Arbeiten kostenlos. Peer-Reviewer (die eigentliche Qualitätskontrolle) arbeiten kostenlos. Redakteure sind oft unbezahlte Freiwillige.
Jetzt beeilen sich dieselben Verlage, lukrative KI-Lizenzverträge mit OpenAI, Google usw. abzuschließen, und sind plötzlich Verfechter der „Erstellerrechte“.
Komisch, wie das funktioniert. Der Autor, dessen Blut, Schweiß und unbezahlte Arbeit in die Zeitung geflossen sind? Bekommt immer noch nichts, wenn ihre Arbeit in das nächste GPT eingespeist wird.
Hier geht es nicht um den Schutz der Urheber. Ist es?
Es geht darum, die Gatekeeper zu schützen und gleichzeitig so zu tun, als würden die Wissenschaftler endlich einen Platz am Tisch bekommen.
Wenn sich die EU wirklich um eine faire Bezahlung von Wissenschaftlern kümmern würde, würde sie damit beginnen, das kaputte akademische Veröffentlichungsmodell zu reparieren und nicht nur eine weitere Einnahmequelle für die Zwischenhändler zu schaffen, die Forscher seit Jahrzehnten ausbeuten.
the pathway to the AI doctor is pretty much the same as autonomous driving:
> supervised autonomy in easy scenarios
> use humans in the loop to eliminate risk
> publish safety data
> get regulatory approval for more scenarios
> expand supervised autonomy
> repeat until supervision not needed
🇩🇪 Übersetzung
RT von @OpenMedFuture: Der Weg zum KI-Arzt ist im Wesentlichen der gleiche wie beim autonomen Fahren:
> Überwachte Autonomie in einfachen Szenarien
> Menschen im Kreislauf einsetzen, um Risiken zu eliminieren
> Sicherheitsdaten veröffentlichen
> Erhalten Sie die behördliche Genehmigung für weitere Szenarien
> die beaufsichtigte Autonomie erweitern
> wiederholen, bis keine Aufsicht mehr erforderlich ist
Inspired by @karpathy autoresearch. I built "autoRL" which can build and train RL environments autonomously.
I instructed agent to build a simulated Trading Env and train it, I ran it for 7 hours in my Macbook overnight with with 24+ experiments. It built the ENV and figured out how to train to get incremental returns over simulated episodes.
the scores tells how much reward the agent gets on average per evaluation episode.
checkout "autoRL" repo here:
https://github.com/harshbhatt7585/autoRL
env and training file: https://github.com/harshbhatt7585/autoRL/tree/autorl/mar11/candidate
🇩🇪 Übersetzung
RT von @OpenMedFuture: Inspiriert von @karpathy autoresearch. Ich habe „autoRL“ erstellt, das RL-Umgebungen autonom erstellen und trainieren kann.
Ich habe den Agenten angewiesen, eine simulierte Handelsumgebung zu erstellen und sie zu trainieren. Ich habe sie über Nacht 7 Stunden lang auf meinem MacBook mit mehr als 24 Experimenten ausgeführt. Es wurde das ENV erstellt und herausgefunden, wie man trainiert, um über simulierte Episoden inkrementelle Erträge zu erzielen.
Die Punktzahl gibt an, wie viel Belohnung der Agent durchschnittlich pro Bewertungsepisode erhält.
Schauen Sie sich das „autoRL“-Repo hier an:
https://github.com/harshbhatt7585/autoRL
Umgebungs- und Trainingsdatei: https://github.com/harshbhatt7585/autoRL/tree/autorl/mar11/candidate
I gave my little Open Health Data project an account and will post interesting (and uninteresting) findings and analyses as blog posts. Please give comments, requests for features, requests for analyses, requests for new datasets…
🇩🇪 Übersetzung
RT von @OpenMedFuture: Ich habe meinem kleinen Open Health Data-Projekt einen Account gegeben und werde interessante (und uninteressante) Erkenntnisse und Analysen als Blogbeiträge veröffentlichen. Bitte geben Sie Kommentare, Anfragen nach Funktionen, Anfragen nach Analysen, Anfragen nach neuen Datensätzen ... ab.
Three days ago I left autoresearch tuning nanochat for ~2 days on depth=12 model. It found ~20 changes that improved the validation loss. I tested these changes yesterday and all of them were additive and transferred to larger (depth=24) models. Stacking up all of these changes, today I measured that the leaderboard's "Time to GPT-2" drops from 2.02 hours to 1.80 hours (~11% improvement), this will be the new leaderboard entry. So yes, these are real improvements and they make an actual difference. I am mildly surprised that my very first naive attempt already worked this well on top of what I thought was already a fairly manually well-tuned project.
This is a first for me because I am very used to doing the iterative optimization of neural network training manually. You come up with ideas, you implement them, you check if they work (better validation loss), you come up with new ideas based on that, you read some papers for inspiration, etc etc. This is the bread and butter of what I do daily for 2 decades. Seeing the agent do this entire workflow end-to-end and all by itself as it worked through approx. 700 changes autonomously is wild. It really looked at the sequence of results of experiments and used that to plan the next ones. It's not novel, ground-breaking "research" (yet), but all the adjustments are "real", I didn't find them manually previously, and they stack up and actually improved nanochat. Among the bigger things e.g.:
- It noticed an oversight that my parameterless QKnorm didn't have a scaler multiplier attached, so my attention was too diffuse. The agent found multipliers to sharpen it, pointing to future work.
- It found that the Value Embeddings really like regularization and I wasn't applying any (oops).
- It found that my banded attention was too conservative (i forgot to tune it).
- It found that AdamW betas were all messed up.
- It tuned the weight decay schedule.
- It tuned the network initialization.
This is on top of all the tuning I've already done over a good amount of time. The exact commit is here, from this "round 1" of autoresearch. I am going to kick off "round 2", and in parallel I am looking at how multiple agents can collaborate to unlock parallelism.
https://github.com/karpathy/nanochat/commit/6ed7d1d82cee16c2e26f45d559ad3338447a6c1b
All LLM frontier labs will do this. It's the final boss battle. It's a lot more complex at scale of course - you don't just have a single train. py file to tune. But doing it is "just engineering" and it's going to work. You spin up a swarm of agents, you have them collaborate to tune smaller models, you promote the most promising ideas to increasingly larger scales, and humans (optionally) contribute on the edges.
And more generally, *any* metric you care about that is reasonably efficient to evaluate (or that has more efficient proxy metrics such as training a smaller network) can be autoresearched by an agent swarm. It's worth thinking about whether your problem falls into this bucket too.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Vor drei Tagen habe ich Autoresearch verlassen, um Nanochat für ca. 2 Tage auf das Modell Depth=12 zu optimieren. Es wurden etwa 20 Änderungen gefunden, die den Validierungsverlust verbesserten. Ich habe diese Änderungen gestern getestet und alle waren additiv und wurden auf größere Modelle (Tiefe = 24) übertragen. Unter Berücksichtigung all dieser Änderungen habe ich heute gemessen, dass die „Zeit bis GPT-2“ der Bestenliste von 2,02 Stunden auf 1,80 Stunden gesunken ist (ca. 11 % Verbesserung). Dies wird der neue Bestenlisteneintrag sein. Also ja, das sind echte Verbesserungen und sie machen einen echten Unterschied. Ich bin ein wenig überrascht, dass mein allererster naiver Versuch bereits so gut funktioniert hat, obwohl ich dachte, dass es sich um ein bereits recht manuell gut abgestimmtes Projekt handelte.
Dies ist für mich eine Premiere, da ich es sehr gewohnt bin, die iterative Optimierung des neuronalen Netzwerktrainings manuell durchzuführen. Man kommt auf Ideen, setzt sie um, prüft, ob sie funktionieren (besserer Validierungsverlust), entwickelt darauf basierend neue Ideen, liest einige Artikel zur Inspiration usw. usw. Das ist das A und O dessen, was ich seit zwei Jahrzehnten täglich mache. Zu sehen, wie der Agent den gesamten Arbeitsablauf Ende-zu-Ende und ganz alleine durchführt, während er ca. 700 autonome Änderungen sind wild. Es hat sich wirklich die Abfolge der Ergebnisse der Experimente angesehen und diese zur Planung der nächsten Experimente verwendet. Es ist (noch) keine neuartige, bahnbrechende „Forschung“, aber alle Anpassungen sind „real“, ich habe sie vorher nicht manuell gefunden, und sie stapeln sich und haben Nanochat tatsächlich verbessert. Zu den größeren Dingen gehören z.B.:
- Es ist mir ein Versehen aufgefallen, dass mein parameterloses QKnorm keinen Skalierungsmultiplikator hatte, sodass meine Aufmerksamkeit zu diffus war. Der Agent fand Multiplikatoren, um es zu schärfen und auf zukünftige Arbeiten hinzuweisen.
– Es stellte sich heraus, dass die Value Embeddings die Regularisierung wirklich mögen und ich habe keine angewendet (ups).
- Es stellte sich heraus, dass meine gebündelte Aufmerksamkeit zu konservativ war (ich habe vergessen, sie anzupassen).
- Es stellte sich heraus, dass alle Betas von AdamW fehlerhaft waren.
- Der Zeitplan für die Gewichtsabnahme wurde angepasst.
- Die Netzwerkinitialisierung wurde optimiert.
Dies kommt zu all dem Tuning hinzu, das ich bereits im Laufe der Zeit vorgenommen habe. Der genaue Commit ist hier, aus dieser „Runde 1“ der Autorecherche. Ich werde mit „Runde 2“ beginnen und parallel dazu untersuchen, wie mehrere Agenten zusammenarbeiten können, um Parallelität freizusetzen.
https://github.com/karpathy/nanochat/commit/6ed7d1d82cee16c2e26f45d559ad3338447a6c1b
Alle LLM-Grenzlabore werden dies tun. Es ist der letzte Bosskampf. Im Maßstab ist es natürlich viel komplexer – man hat nicht nur einen einzigen Zug. py-Datei zum Optimieren. Aber es zu tun ist „nur Ingenieurskunst“ und es wird funktionieren. Sie stellen einen Schwarm von Agenten zusammen, Sie lassen sie zusammenarbeiten, um kleinere Modelle zu optimieren, Sie fördern die vielversprechendsten Ideen in immer größeren Maßstäben und Menschen (optional) tragen an den Rändern bei.
Und ganz allgemein kann *jede* Metrik, die Ihnen wichtig ist und die einigermaßen effizient auszuwerten ist (oder die über effizientere Proxy-Metriken verfügt, wie z. B. das Training eines kleineren Netzwerks), von einem Agentenschwarm automatisch recherchiert werden. Es lohnt sich darüber nachzudenken, ob Ihr Problem auch in diesen Bereich fällt.
wow @cwhogg 🚀 this is so valuable to the whole healthcare system! 🙏🏻
🇩🇪 Übersetzung
wow @cwhogg 🚀 das ist so wertvoll für das gesamte Gesundheitssystem! 🙏🏻
💯! A year ago I said it was unethical for doctors not to consult AI; now it’s becoming malpractice.
🇩🇪 Übersetzung
RT von @OpenMedFuture: 💯! Vor einem Jahr sagte ich, es sei unethisch für Ärzte, KI nicht zu konsultieren; jetzt wird es zum Kunstfehler.
I packaged up the "autoresearch" project into a new self-contained minimal repo if people would like to play over the weekend. It's basically nanochat LLM training core stripped down to a single-GPU, one file version of ~630 lines of code, then:
- the human iterates on the prompt (.md)
- the AI agent iterates on the training code (.py)
The goal is to engineer your agents to make the fastest research progress indefinitely and without any of your own involvement. In the image, every dot is a complete LLM training run that lasts exactly 5 minutes. The agent works in an autonomous loop on a git feature branch and accumulates git commits to the training script as it finds better settings (of lower validation loss by the end) of the neural network architecture, the optimizer, all the hyperparameters, etc. You can imagine comparing the research progress of different prompts, different agents, etc.
https://github.com/karpathy/autoresearch
Part code, part sci-fi, and a pinch of psychosis :)
🇩🇪 Übersetzung
RT von @OpenMedFuture: Ich habe das „Autoresearch“-Projekt in ein neues, eigenständiges Minimal-Repo gepackt, falls die Leute über das Wochenende spielen möchten. Es handelt sich im Grunde genommen um einen Nanochat-LLM-Trainingskern, reduziert auf eine einzelne GPU, eine Dateiversion mit ca. 630 Codezeilen, dann:
- Der Mensch iteriert anhand der Eingabeaufforderung (.md)
– Der KI-Agent iteriert auf dem Trainingscode (.py)
Das Ziel besteht darin, Ihre Agenten so zu konstruieren, dass sie auf unbestimmte Zeit und ohne Ihr eigenes Zutun den schnellsten Forschungsfortschritt erzielen. Im Bild ist jeder Punkt ein kompletter LLM-Trainingslauf, der genau 5 Minuten dauert. Der Agent arbeitet in einer autonomen Schleife an einem Git-Feature-Zweig und sammelt Git-Commits für das Trainingsskript, während er bessere Einstellungen (mit geringerem Validierungsverlust am Ende) der neuronalen Netzwerkarchitektur, des Optimierers, aller Hyperparameter usw. findet. Sie können sich vorstellen, den Forschungsfortschritt verschiedener Eingabeaufforderungen, verschiedener Agenten usw. zu vergleichen.
https://github.com/karpathy/autoresearch
Teils Code, teils Science-Fiction und eine Prise Psychose :)
As the German Socialist Party (Matthias Mieves) now openly tries to lure Anthropic to Europe, they’re basically confirming what I saw during the AI Act talks when they tried to stiffle open source collaboration and what @pmarca has been warning about in Washington: that parts of the liberal establishment are comfortable with an AI regime where only two or three big companies are “wrapped in a government cocoon,” protected from competition and tightly steered by the state. Anthropic‘s bias never has been that obvious.
🇩🇪 Übersetzung
Da die Sozialistische Partei Deutschlands (Matthias Mieves) nun offen versucht, Anthropic nach Europa zu locken, bestätigt sie im Grunde das, was ich bei den Verhandlungen zum AI Act gesehen habe, als sie versuchten, die Open-Source-Zusammenarbeit einzudämmen, und wovor @pmarca in Washington gewarnt hat: dass Teile des liberalen Establishments mit einem KI-Regime zufrieden sind, in dem nur zwei oder drei große Unternehmen „in einen Kokon der Regierung gehüllt“, vor Konkurrenz geschützt und streng vom Staat gesteuert sind. Die Voreingenommenheit von Anthropic war noch nie so offensichtlich.
Just a reminder, years have passed, and there are now over 1.3 million open-source models, downloaded more than a hundred times over, with still no evidence of increased bioterrorism risk. But yes, they got their regulations.... which led to us using Chinese models now.
🇩🇪 Übersetzung
Nur zur Erinnerung: Jahre sind vergangen, und mittlerweile gibt es über 1,3 Millionen Open-Source-Modelle, die mehr als hundertmal heruntergeladen wurden, und es gibt immer noch keine Hinweise auf ein erhöhtes Bioterrorismusrisiko. Aber ja, sie haben ihre Vorschriften... was dazu geführt hat, dass wir jetzt chinesische Modelle verwenden.
Slowly, then all of a sudden:
“This is the highest single-core score of any consumer PC processor ever, topping the AMD Ryzen 9 series.” (M5 Max also topped multicore benchmarks)
🇩🇪 Übersetzung
RT von @OpenMedFuture: Langsam, dann plötzlich:
„Dies ist der höchste Single-Core-Score aller Consumer-PC-Prozessoren aller Zeiten und übertrifft die AMD Ryzen 9-Serie.“ (M5 Max übertraf auch Multicore-Benchmarks)
Wij missen duiders zoals de Franse oud-minister van buitenlandse zaken Hubert Védrine: ‘Geen enkel conflict is ooit opgelost door het internationaal recht, die wereld heeft nooit bestaan. Maar men blijft er over doorgaan omdat postmoderne Europeanen het niet kunnen accepteren dat het een fictie is, het botst met hun diepste overtuigingen.’
🇬🇧 Translation
RT by @OpenMedFuture: Wij missen duiders zoals de Franse oud-minister van buitenlandse zaken Hubert Védrine: ‘The conflict is now open to the international law, the world is no longer valid. Maar men blijft er over doorgaan omdat postmoderne Europeanen het niet kunnen accepteren dat het a fictie is, het botst met hun diepste overtuigingen.’
Coming to MLX-Video🚀
🇩🇪 Übersetzung
RT von @OpenMedFuture: Kommt zu MLX-Video🚀
Apple’s AI plan is way DARKER and smarter than you think.
And Gavin Baker just explained why.
He says the real bear case for this AI boom isn’t a bubble or a recession.
It’s your iPhone.
Baker says in 3 years, a bulked up iPhone will be able to run a pruned version of a frontier model.
Think future Gemini, Grok, ChatGPT at 30–60 tokens per second, on device, no cloud is needed and it’s free.
That’s exactly Apple’s strategy, don’t win the model war, become the distributor of AI.
Make it private, local and safe.
If that happens, most everyday AI use rewriting, summarizing, basic reasoning never touches a data center.
The AI capex boom gets cut off at the source.
Model builders become interchangeable and apple owns the gateway.
That’s the bear case Gavin is warning about.
The real threat to the AI boom isn’t that the models fail.
It’s that Apple makes them run on your phone and keeps all the power for itself.
🇩🇪 Übersetzung
RT von @OpenMedFuture: Apples KI-Plan ist viel DUNKLER und intelligenter als Sie denken.
Und Gavin Baker hat gerade erklärt, warum.
Er sagt, der eigentliche Grund für diesen KI-Boom sei weder eine Blase noch eine Rezession.
Es ist Ihr iPhone.
Baker sagt, dass in drei Jahren auf einem größeren iPhone eine abgespeckte Version eines Grenzmodells laufen kann.
Stellen Sie sich zukünftige Gemini, Grok, ChatGPT mit 30–60 Token pro Sekunde vor, auf dem Gerät ist keine Cloud erforderlich und es ist kostenlos.
Das ist genau die Strategie von Apple: Gewinnen Sie nicht den Modellkrieg, sondern werden Sie zum Vertreiber von KI.
Machen Sie es privat, lokal und sicher.
Wenn das passiert, berühren die meisten alltäglichen KI-Anwendungen Umschreiben, Zusammenfassen und grundlegendes Denken nie ein Rechenzentrum.
Der KI-Investitionsboom wird an der Quelle gestoppt.
Modellbauer werden austauschbar und Apple besitzt das Gateway.
Das ist der Bärenfall, vor dem Gavin warnt.
Die eigentliche Bedrohung für den KI-Boom besteht nicht darin, dass die Modelle versagen.
Es liegt daran, dass Apple sie auf Ihrem Telefon laufen lässt und die gesamte Leistung für sich behält.
Have you ever found yourself stuck in Spain without electricity, connectivity or access to cloud services, and had to rely on #llama to find a hospital and navigate local healthcare? Well, @OpenMedFuture's Bart de Witte has... http://www.youtube.com/watch?v=Qz7ZKrVn2gc
🇩🇪 Übersetzung
RT von @OpenMedFuture: Sind Sie jemals in Spanien ohne Strom, Konnektivität oder Zugang zu Cloud-Diensten festgefahren und mussten sich auf #Lama verlassen, um ein Krankenhaus zu finden und sich im örtlichen Gesundheitswesen zurechtzufinden? Nun, Bart de Witte von @OpenMedFuture hat... http://www.youtube.com/watch?v=Qz7ZKrVn2gc
R to @OpenMedFuture: @christianmiele want to support us building this future? Would love to talk to you!
🇩🇪 Übersetzung
R an @OpenMedFuture: @christianmiele möchte uns beim Aufbau dieser Zukunft unterstützen? Würde mich freuen, mit Ihnen zu sprechen!
🌡️ Healthcare AI Revolution Unlocked – 📷
Manjeet Singh @8maderix just dropped the missing piece for privacy-first, distributed medical intelligence.
This is the missing link for the decentralized, private, healthcare AI future we are building @isaree_ai and it's fits perfectly.
Hospitals & researchers: your fleet of idle Macs just became a supercomputer for drug discovery, personalized medicine, and rare-disease models.
Full neural network training + backpropagation now runs directly on Apple’s Neural Engine (M-series chips)
The numbers are insane: M4 ANE hits roughly 6.6 TFLOPS per watt – 80 times more efficient than an NVIDIA A100.
This isn’t hype.
No more “inference-only” limitation.But here’s what matters most for healthcare:He explicitly links this to real distributed learning infrastructure
Doctors, hospitals, research labs, and even home users can now earn up to 100× income from idle compute while keeping patient data 100 % on-device.
Why this is massive for medicine: True federated learning for sensitive data (EHRs, imaging, genomics), never leaves the Mac, perfect HIPAA/GDPR compliance.
🇩🇪 Übersetzung
🌡️ KI-Revolution im Gesundheitswesen freigeschaltet – 📷
Manjeet Singh @8maderix hat gerade den fehlenden Teil für datenschutzorientierte, verteilte medizinische Informationen entfernt.
Dies ist das fehlende Glied für die dezentrale, private KI-Zukunft im Gesundheitswesen, die wir @isaree_ai aufbauen, und es passt perfekt.
Krankenhäuser und Forscher: Ihre Flotte unbenutzter Macs ist gerade zu einem Supercomputer für die Arzneimittelforschung, personalisierte Medizin und Modelle seltener Krankheiten geworden.
Vollständiges neuronales Netzwerktraining + Backpropagation läuft jetzt direkt auf Apples Neural Engine (Chips der M-Serie)
Die Zahlen sind der Wahnsinn: M4 ANE erreicht etwa 6,6 TFLOPS pro Watt – 80-mal effizienter als ein NVIDIA A100.
Das ist kein Hype.
Keine „nur schlussfolgernde“ Einschränkung mehr. Aber das Wichtigste für das Gesundheitswesen ist Folgendes: Er verknüpft dies ausdrücklich mit einer echten Infrastruktur für verteiltes Lernen
Ärzte, Krankenhäuser, Forschungslabore und sogar Heimanwender können jetzt bis zu 100-fache Einnahmen aus ungenutzter Rechenleistung erzielen, während die Patientendaten zu 100 % auf dem Gerät verbleiben.
Warum dies für die Medizin enorm ist: Echtes föderiertes Lernen für sensible Daten (EHRs, Bildgebung, Genomik), verlässt nie den Mac, perfekte HIPAA/GDPR-Konformität.
Is the future of aI decentralised?
🇩🇪 Übersetzung
Ist die Zukunft der KI dezentral?