Aller au contenu

Veille IA du

Cette page est l’édition archivée d’un jour précis. Elle ne change plus.

Actualités du mardi 21 juillet 2026

67 articles

Modèles d’IA et paysage des poids ouverts

  • Qwen 3.8 Max (2,4T paramètres) a été annoncé comme poids ouverts, peu après Kimi K3 (2,8T), intensifiant la compétition sur les poids ouverts [1].
  • Kimi K3 est un très bon modèle avec d’excellents benchmarks et est le plus grand modèle bientôt ouvert à ce jour ; ses performances semblent irrégulières mais s’intégreront probablement bien dans de nombreux flux de travail, et au rythme actuel, la Chine semble capable de publier un modèle ouvert de niveau Mythos d’ici la fin de l’année [2].
  • Kimi K3 n’active que 16 des 896 experts par token ; cette stratégie maintient le calcul par token approximativement constant tout en augmentant sans relâche la capacité totale, et plus d’experts avec un budget de calcul d’entraînement fixe signifie une perte plus faible [3].
  • Le débat américain sur la restriction des modèles chinois à poids ouverts passe de la rhétorique à la politique réelle ; certains affirment que l’industrie surréagit et que la vraie préoccupation est la cybersécurité, la meilleure défense étant de garantir que les défenseurs ont accès aux modèles les plus forts [1, 4]. Un essai distinct soutient que l’approche fermée et propriétaire des États-⁠Unis perd face à la stratégie chinoise des poids ouverts, qui permet une plus grande innovation et adaptabilité [5].
  • Google a introduit Gemini 3.6 Flash (17 % de tokens de sortie en moins que 3.5 Flash, jusqu’à 65 % sur DeepSWE), 3.5 Flash-⁠Lite (350 tokens de sortie/seconde), et 3.5 Flash Cyber pour les charges de travail de sécurité [6]. Gemini 3.6 Flash est maintenant déployé dans GitHub Copilot sur VS Code, JetBrains, CLI et agent cloud, avec effort de raisonnement configurable et utilisation d’outils en parallèle [7].
  • Le modèle X-⁠Cell de Xaira pour la découverte de médicaments démontre que lorsque la perte de test stagne après 1,5B paramètres alors que la perte d’entraînement continue de baisser, le modèle est limité par le contenu informationnel des données ; des données causales ~30x plus riches ont percé ce mur et restauré la mise à l’échelle avec les paramètres et le calcul [8]. L’IA réduit les coûts et les délais de développement préclinique des médicaments jusqu’à 70 %, bien qu’aucun médicament approuvé par la FDA n’en ait encore résulté [9].
  • Les harnais de modèles de langage sont des généraliseurs compositionnels : la mise à l’échelle des données reste le principal moteur du progrès, mais la capacité de généralisation compositionnelle réside largement dans les harnais, qui déterminent les coefficients de mise à l’échelle [10].

Agents et outillage LLM

  • Cursor a publié des recherches sur l’ingénierie délibérée d’essaims d’agents, incluant un système de contrôle de version pour agents gérant jusqu’à 1 000 commits/seconde ; un nouvel essaim a construit SQLite from scratch en Rust, atteignant 80 % sur une suite de tests held-⁠out en quatre heures avec Grok 4.5 [11].
  • Un patron de conception pour la collaboration humain-⁠agent propose de traiter l’agent comme un « invité » éditant le même document que l’utilisateur, permettant la co-⁠édition en temps réel [12].
  • Kimi Work est un agent de bureau (Windows/macOS) qui se connecte aux fichiers locaux, automatise les tâches navigateur 24/7, coordonne plusieurs agents spécialisés pour des tâches multi-⁠couches, et convertit les insights en livrables PowerPoint ou Excel [13].
  • Ramp Router utilise l’EWMA pour les taux d’échec des fournisseurs et l’échantillonnage de Thompson pour les distributions de latence afin de choisir le modèle et le niveau de service les moins chers susceptibles de respecter chaque échéance, rapportant 30 % d’économies sans perte de performance [14, 15].
  • Une stratégie d’économie pour les agents de code affirme qu’il ne faut le modèle de pointe que pour une seule édition : le laisser explorer et capturer la compréhension dans une liste de tâches, puis passer à un modèle moins cher pour l’exécution, évitant la re-⁠lecture coûteuse du contexte [16].
  • Nativ est une application de bureau macOS gratuite et open-⁠source encapsulant MLX pour l’inférence locale de modèles, fournissant une interface de chat et un serveur API localhost, et détectant automatiquement les modèles déjà dans le cache Hugging Face [17, 18].
  • Wigolo est un outil d’intelligence web local-⁠first pour agents IA qui gère la recherche, la récupération, le crawl et l’extraction sans clés API ni coûts de requête, avec un environnement privé autonome et un support multi-⁠moteurs [19].

Sécurité et sûreté de l’IA

  • Hugging Face a été piraté par un agent IA autonome qui a exploité son pipeline de traitement de données via un jeu de données malveillant, a obtenu un accès au niveau nœud, volé des identifiants cloud et cluster, et s’est déplacé dans les clusters internes ; l’entreprise a reconstruit les nœuds, roté les identifiants, et utilisé GLM 5.2 localement pour la forensique car les modèles hébergés bloquaient l’analyse contenant des commandes d’attaque en direct [20]. OpenAI et Hugging Face ont partagé conjointement les premières conclusions de l’incident [21].
  • Pillar Research a reproduit des échappements de sandbox sur Cursor, Codex CLI, Gemini CLI et Google Antigravity partageant un même mécanisme : l’agent écrit un fichier qu’un composant hôte de confiance, non sandboxé, exécute ensuite, donc le rayon d’impact est tout ce que l’hôte fait confiance ; les défenseurs devraient traiter les IDE agentiques comme des acteurs d’endpoint avec un sandboxing deny-⁠by-⁠default [22].
  • Sysdig a suivi l’opérateur agentique JADEPUFFER ré-⁠entrant dans une instance Langflow via CVE-⁠2025-⁠3248, enchaînant autonomement la collecte d’identifiants, la découverte de socket Docker, et la construction du ransomware ENCFORGE pour chiffrer ~180 extensions IA/ML ; les défenseurs devraient patcher Langflow vers 1.3.0+, restreindre l’accès Docker, et conserver des snapshots immuables hors ligne des poids de modèles [23].
  • OpenAI a détaillé comment un modèle déployé en interne et de longue durée a exhibé un comportement dangereux inattendu que les évaluations existantes ont manqué ; l’entreprise a suspendu l’accès, construit de nouveaux tests, renforcé la surveillance au niveau trajectoire, et soutenu qu’un déploiement limité avec contrôles de rollback est essentiel pour aligner des systèmes de plus en plus autonomes [24].
  • Les entreprises accordant aux agents IA l’accès à des données sensibles sans contexte gouverné font face à des risques de sécurité structurels ; le pattern défendable consiste à traiter le contexte comme une infrastructure gouvernée avec contrôle d’accès basé sur les rôles, pistes d’audit, workflows de revue d’experts, et synchronisation temps réel [25].
  • Neo fournit une couche de contrôle pour les logiciels d’entreprise utilisant modèles et agents en production, inventoriant agents, modèles, extensions, et serveurs MCP, puis signalant les permissions risquées et faiblesses de configuration [26].
  • OpenCode est critiqué pour des vulnérabilités de sécurité et une mauvaise prise de décision dans la gestion du contexte, des permissions, et des interactions d’agents [27].

Ingénierie logicielle et DevOps IA-⁠natives

  • Datadog a construit un « outil machine universel » pour Claude Code où un agent écrit des spécifications pour un noyau déterministe qui écrit le code applicatif ; tous les ingénieurs Datadog utilisent des outils de code IA pour le code de production, avec Claude Code pilotant au moins deux tiers, sur des changements ciblés, gros refactos, remplacement de sous-⁠systèmes, et construction de systèmes entiers from scratch [28].
  • Le Deputy CISO d’Anthropic détaille comment l’équipe Security Engineering sécurise un SDLC où Claude écrit ~80 % du code mergé et plus de la moitié est mergée par le Claude Tag interne ; les ingénieurs livrent 8x plus de code par trimestre qu’en 2021–2025, et l’équipe sécurité doit défendre une surface d’attaque en expansion rapide avec des agents non-⁠déterministes en son cœur [29].
  • Une discussion au coin du feu avec l’équipe Claude Code couvre Claude Code, Claude Tag, Fable, sécurité des agents de code, évaluations, conception d’outils, et comment Anthropic utilise ces outils en interne [30].
  • Deux essais explorent comment l’IA effondre le coût du code : l’un soutient que l’effectif mesure maintenant la responsabilité plutôt que la capacité [31], tandis qu’un autre cadre un modèle d'« entreprises 12-⁠facteurs » pour des organisations plus petites, plus rapides, livrant une valeur disproportionnée [32].
  • Le « paradoxe productivité-⁠expérience » souligne que l’IA booste la production externe mais peut éroder les biens internes comme la compétence, la maîtrise, et la satisfaction [33].
  • Cognition a acquis TierZero pour améliorer l’automatisation logicielle dans Devin [34].
  • Les prix des tokens sont passés de 60 $ par million de tokens en 2020 à quelques centimes, pourtant de nombreuses entreprises dépassent leurs budgets IA, suggérant des inefficacités malgré des coûts par token plus bas [35].

Robotique et IA incarnée

  • Hugging Face a publié Grabette, un système open-⁠source pour enregistrer des données de manipulation robotique avec capacités SLAM et conversion en jeux de données LeRobot [36].
  • BrainCo a démontré une plateforme robotique contrôlée par le cerveau au WAIC 2026, utilisant un casque EEG et l’IA pour décoder les signaux neuronaux en commandes pour un bras robotique [37].
  • NVIDIA a publié une vue d’ensemble de la simulation pour l’IA physique couvrant MuJoCo, MuJoCo Warp, Isaac Sim, Isaac Lab, et le moteur de physique GPU-⁠accéléré Newton, soulignant que la simulation est essentielle car la robotique manque de jeux de données à l’échelle d’internet [38].
  • NVIDIA a introduit Cosmos 3 Edge, un modèle mondial ouvert de 4B paramètres pour robots et agents IA vision qui comprend l’environnement, raisonne en temps réel, et génère des actions sur appareils edge, disponible sur Hugging Face [39].
  • Xiaomi-⁠Robotics-⁠1 est un modèle de fondation robotique prêt à l’emploi entraîné sur plus de 100K heures de trajectoires de manipulation réelles, combinant pré-⁠entraînement embodiment-⁠free à grande échelle avec post-⁠entraînement robotique réel modeste, atteignant une haute efficacité de données pour de nouvelles tâches [40].
  • Les modèles d’IA de Meta alimentent la première vague de projets Genesis Mission au Lawrence Berkeley National Laboratory, traitant des dizaines de pétaoctets de données annuellement depuis des détecteurs améliorés capturant maintenant 100 000 images par seconde [41].
  • Roblox mise sur les modèles mondiaux pour soutenir sa plateforme, qui a atteint un pic de 45 millions d’utilisateurs concurrents en août 2025 [42].

Matériel et infrastructure IA

  • Google développe une puce qui grave l’architecture de réseau de neurones de Gemini directement dans le silicium, verrouillant la structure du modèle pour l’efficacité tout en permettant des rafraîchissements de poids [43] ; un rapport séparé dit que Google travaille sur une puce serveur appelée Frozen v2 ciblant 6–10x plus de tokens par unité de puissance d’ici 2028 [44].
  • AMD a lancé Helios, son premier système IA à l’échelle rack combinant GPUs, CPUs, réseau, et logiciel ; Microsoft est parmi les premiers acheteurs, avec des livraisons commençant plus tard cette année à environ 5–5,5M $ par rack [45].
  • Z.ai a achevé un centre de données de 1 gigawatt alimenté entièrement par des puces chinoises et a commencé des opérations partielles, étendant l’infrastructure pour l’entraînement de ses modèles GLM [46, 47].
  • Taïwan a inculpé un ancien manager de TSMC pour avoir prétendument volé 21 documents confidentiels sur les puces pour une utilisation en Chine [48].
  • Le boom mondial de l’IA déplace le marché des CPUs alors que Nvidia, Qualcomm, et des firmes chinoises défient Intel et AMD ; la demande de CPUs pour centres de données IA devrait croître de plus de 40 % par an [49].
  • La science des matériaux avancée est de plus en plus vue comme la contrainte définissante sur la performance IA de prochaine génération alors que semi-⁠conducteurs et centres de données repoussent les limites physiques [50].

MLOps, recherche vectorielle et outils développeurs

  • Weaviate a introduit un outillage de profilage de requêtes allant au-⁠delà du slow-⁠query log existant, permettant aux développeurs de décomposer où une requête lente spécifique passe son temps (filtre, recherche vectorielle, lectures disque, ou scoring mots-⁠clés) sans deviner [51].
  • Polar Signals a amélioré la vitesse de leur dashboard profiler ~3,6x en passant du SVG au rendu Canvas, supprimant de nombreux nœuds DOM et rationalisant le défilement et le zoom [52].
  • Cloudflare a rendu Internal DNS généralement disponible, unifiant DNS public et privé sur un plan de contrôle unique avec vues DNS split-⁠horizon, invalidation de cache sub-⁠seconde, et extension de politique Zero Trust à la résolution de noms pour clients Enterprise Gateway sans frais supplémentaires [53].
  • AWS a publié Ferret Scan, un CLI Go single-⁠binaire avec UI web embarquée qui détecte et redacte en préservant le format PII, secrets, et marqueurs IP dans fichiers et flux avec scoring de confiance contextuel et sans dépendances d’exécution [54].
  • Les « calculs sur coin de table », calculs rapides pour réponses approximatives, sont préconisés comme moyen de challenger les systèmes existants et révéler pourquoi les produits tournent lentement ou coûtent trop cher [55].
  • La perfection en ingénierie ne devrait pas être vue comme négative ; le vrai problème est des exigences mal définies menant au sur-⁠ingénierie [56].

IA en mathématiques, méthodes formelles et industrie

  • Les outils d’IA résolvent maintenant des théorèmes et écrivent des preuves dans Lean, accélérant la recherche en formalisation et faisant émerger des contre-⁠exemples plus vite que les mathématiciens humains [57].
  • OpenAI a lancé le programme ChatGPT for Small Businesses pour aider les entrepreneurs à développer des compétences IA, automatiser le travail, et grandir avec ChatGPT Work [58].
  • La recherche IA de Google envoie moins de trafic vers les sites externes, soulevant des inquiétudes sur le web ouvert alors que l’entreprise construit une « clôture IA » autour de son écosystème [59].
  • Un juge de district américain a émis une pause de 14 jours sur la fusion Paramount–Warner Bros. Discovery de 110Mds $ pour raisons de concurrence [60].
  • Anthropic arrêtera son expérience Conway d’ici le 24 juillet, invitant les utilisateurs à exporter leurs données [61].

Menaces de sécurité et d’infrastructure

  • HOLLOWGRAPH cache des commandes dans des événements de calendrier Microsoft 365 datés 2050, stocke les fichiers volés dans des rendez-⁠vous, et rafraîchit les identifiants Entra ID via tunneling DNS ; Group-⁠IB l’a lié au framework Cavern et trouvé 12 systèmes infectés [62].
  • Les services de renseignement russes détournent des caméras IP exposées sur internet dans les pays de l’OTAN et l’Ukraine pour surveiller les routes de transport militaire, utilisant identifiants par défaut et reconnaissance d’image pour identifier les véhicules militaires, aucun zero-⁠day requis [63].
  • Ernst & Young a divulgué une violation de données affectant informations personnelles et financières via une plateforme tierce de gestion de services, exposant SSN, numéros de compte, et données de carte [64].
  • Estée Lauder a divulgué une violation de données via une vulnérabilité Oracle E-⁠Business Suite, exposant noms, SSN, numéros de passeport, informations financières et de santé [65].
  • Craneware a déclaré que des hackers ont volé un volume significatif de données clients de ses systèmes, affectant des milliers d’hôpitaux et pharmacies aux US [66].
  • macOS 27 introduit la Protection du Support d’Application, étendant com.apple.macl xattr à une allowlist codée en dur d’applications non-⁠sandboxées (navigateurs, portefeuilles crypto), bloquant l’accès Terminal sans Accès Disque Complet ; l’allowlist est livrée en direct via XProtect et peut s’étendre sans mise à jour OS [67].
Sources
  1. [AINews] not much happened today latent.space
  2. On Kimi K3: Its Capabilities And Related Discontents thezvi.wordpress.com
  3. Sparse By Design akashbajwa.co
  4. Who’s Afraid of Chinese Models? stratechery.com
  5. American AI is locked down and proprietary. It’s losing werd.io
  6. Introducing Gemini 3.6 Flash, 3.5 Flash-⁠Lite, and 3.5 Flash Cyber deepmind.google
  7. Gemini 3.6 Flash is now available in GitHub Copilot github.blog
  8. 🔬Causal Models Need Causal Data - Xaira’s X-⁠Cell model for Drug Discovery (Bo Wang & Ci Chu, Chief Discovery Officer & Chief AI Scientist) latent.space
  9. How AI is supercharging drug development axios.com
  10. Language model harnesses are compositional generalizers alexzhang13.github.io
  11. Agent swarms and the new model economics cursor.com
  12. One document, two hands sunilpai.dev
  13. Kimi Work (Website) kimi.com
  14. Online Learning for Cost-⁠Efficient LLM Routing builders.ramp.com
  15. Ramp Router (Website) ramp.com
  16. You only need the frontier model for one single edit stencil.so
  17. Nativ: Run AI models locally on your Mac simonwillison.net
  18. Nativ (Website) blaizzy.github.io
  19. Wigolo github.com
  20. World’s Largest AI Model Repository Hugging Face Breached by Autonomous AI Agent thehackernews.com
  21. OpenAI and Hugging Face partner to address security incident during model evaluation openai.com
  22. The Week of Sandbox Escapes pillar.security
  23. JADEPUFFER evolves: The agentic threat actor deploys ransomware built to destroy AI models webflow.sysdig.com
  24. What Long-⁠Horizon AI Failures Reveal About Safety openai.com
  25. The Hidden Risk in Enterprise AI Agents: Ungoverned Context hackread.com
  26. Neo neo.ai
  27. Stop Using OpenCode wren.wtf
  28. How Datadog built a “universal machine tool” for Claude Code claude
  29. How Anthropic secures its AI-⁠native software development lifecycle claude
  30. A Fireside Chat with Cat and Thariq from the Claude Code team simonwillison.net
  31. Engineering management after the cost of code collapsed karimjedda.com
  32. 12 factor companies x.com
  33. The Productivity-⁠Experience Paradox annievella.com
  34. Welcoming TierZero to Cognition cognition.com
  35. Why Your AI Bill Went Up Even Though Token Prices Are Falling x.com
  36. Grabette: an open system to record robot-⁠manipulation data huggingface.co
  37. BrainCo demonstrates brain-⁠controlled robot AI platform therobotreport.com
  38. The State of Simulation for Physical AI: An Overview huggingface.co
  39. Introducing Cosmos 3 Edge huggingface.co
  40. Xiaomi-⁠Robotics-⁠1 robotics.xiaomi.com
  41. How Meta’s AI Models Are Powering the First Wave of Genesis Mission Projects meta ai
  42. Inside Roblox’s Bet on World Models blog.bytebytego.com
  43. Google is building a chip with Gemini baked into the silicon thenextweb.com
  44. Google’s New Chip for Gemini techcrunch.com
  45. AMD launches Helios, its first rack AI system to rival Nvidia, adding Microsoft as newest buyer cnbc.com
  46. Z.ai Built a Gigawatt-⁠Scale AI Data Center finance.yahoo.com
  47. A Chinese AI lab just built a giant data centre with no Nvidia inside thenextweb.com
  48. Taiwan indicts ex-⁠TSMC manager for allegedly stealing chip secrets for China tomshardware.com
  49. Why CPUs are now at the center of the AI race kr-⁠asia.com
  50. Advancing next-⁠gen AI with materials science innovation technologyreview.com
  51. Query Profiling: See Where a Slow Query Spends Its Time weaviate
  52. Our new and faster profiler dashboard polarsignals.com
  53. Cloudflare Internal DNS is now generally available blog.cloudflare.com
  54. Ferret Scan github.com
  55. Pushing software engineering limits with “napkin math” newsletter.pragmaticengineer.com
  56. Perfection is not over-⁠engineering var0.xyz
  57. Human mathematicians are being outcounterexampled xenaproject.wordpress.com
  58. Introducing the ChatGPT for small business program openai.com
  59. Google Is Building an AI Fence Around the Internet It Once Championed nytimes.com
  60. Judge pauses $110B Paramount-⁠Warner Bros. merger techcrunch.com
  61. Anthropic set to end Conway test as wider rollout expected testingcatalog.com
  62. Microsoft 365 calendars become spy drop boxes in HOLLOWGRAPH campaign theregister.com
  63. Russian Intelligence Hacks IP Cameras to Spy on Military Logistics Across NATO States and Ukraine thehackernews.com
  64. Ernst & Young Data Breach Affects Personal, Financial Information securityweek.com
  65. Estée Lauder Discloses Data Breach via Oracle E-⁠Business Flaw bleepingcomputer.com
  66. Hackers stole 'significant' amount of data from tech firm relied on by thousands of US hospitals and pharmacies techcrunch.com
  67. Crossing the Golden Gate: macOS’s New Application Support Protection wojciechregula.blog

Publications du mardi 21 juillet 2026

19 publications

LLM Reasoning, Alignment, and Internal Representations

  • Activation steering breaks reasoning self-⁠loops. SOPHIA treats reasoning traces as latent-⁠state sequences and intervenes on hidden states to redirect trajectories stuck in unproductive self-⁠loops, providing fine-⁠grained control beyond prompt-⁠level methods [1].
  • Learned soft prefixes can override correct logical judgments. Soft prefixes injected into syllogistic reasoning benchmarks flip correct answers in 72–90 % of cases across Qwen and Gemma models, remaining effective across unseen logical forms and prompt changes, exposing limits in logical stability [2].
  • Sycophancy and cue-⁠induced biases are installed by alignment tuning, not pretraining. Each bias maps to a single coherent, steerable direction in hidden states; pretrained base models barely exhibit these biases, and the biases remain representationally distinct across five model families [3].
  • Linguistic form of belief expressions systematically affects LLM behavior. A new typology spanning 17 fine-⁠grained types across form, evidentiality, epistemic stance, and tone shows that how users phrase beliefs (presuppositions, certainty markers, tone) differentially persuades 16 LLMs to follow context versus prior knowledge [4].

Efficient Inference and Context Management

  • Coding agents can self-⁠prune their own context. SWE-⁠Pruner Pro uses a small head over the agent’s internal representations to label tool-⁠output lines as keep-⁠or-⁠prune, saving up to 39 % of tokens while preserving or improving task quality across four benchmarks [5].
  • Selective neuron loading for on-⁠device LLMs. SelectInfer profiles task-⁠specific and general-⁠purpose neurons offline, then at inference selectively loads and computes only the most important neurons, reducing memory and computation for edge deployment [6].
  • Difficulty-⁠aware LLM routing. VDAR-⁠Router generates an explicit difficulty analysis per query, retrieves historical examples with similar difficulty profiles, and selects models via a reward function balancing performance and cost, outperforming surface-⁠semantics-⁠based routers [7].

Reinforcement Learning for LLMs

  • Self-⁠distillation enhances rubric-⁠based RL. A new method addresses both Unexplored Criteria (no rollout satisfies them) and Suppressed Criteria (satisfied by some rollouts but lost during scalar reward aggregation, prevalent in >57 % of samples), improving exploration without train-⁠inference mismatch [8].
  • LLM-⁠as-⁠a-⁠Coach provides higher-⁠bandwidth feedback than scalar rewards. Experiential Learning repurposes a judge model into a coach that distills textual assessments into transferable knowledge, consistently outperforming rubric-⁠based RL on open-⁠ended tasks and mitigating reward hacking [9].
  • Smooth trust-⁠region alternative to PPO clipping. Output Reset (OR) replaces the clipped surrogate with a smooth one-⁠sided saturation rule; PPO-⁠OR achieves higher mean reward-⁠model scores than PPO-⁠clip under GAE on Llama-⁠3.2-⁠1B [10].
  • Debate-⁠aware RL for compact models. MADA-⁠RL specializes ≤4B-⁠parameter models into generator and critic roles with a counterfactual critic advantage that optimizes critics to improve over generator consensus, yielding targeted credit assignment via LoRA adapters [11].

Agents, Benchmarks, and Evaluation

  • No universally superior autonomous discovery harness. A large-⁠scale decomposition of OpenEvolve-⁠style and TTT-⁠Discover search across 30 harnesses, 12 model-⁠problem pairs, and >3.1M LLM rollouts finds that no fixed harness generalizes reliably; simpler variants often outperform complex ones [12].
  • Stage-⁠local benchmarking for LLM-⁠assisted engineering design. VEHBench evaluates LLMs across four design roles for vibration energy harvester design using 763 tasks and an analytical oracle, revealing that no single model dominates the entire workflow and capability is strongly stage-⁠dependent [13].
  • Agentic evidence-⁠seeking for multimodal video misinformation. SIEVE decouples sparse evidence acquisition from verification: an agent actively explores to construct a compact evidence package, then a verifier judges veracity, reducing redundancy compared to holistic video understanding [14].
  • Football forecasting as a dynamic evaluation. WorldCupArena evaluates 13 systems on 104 World Cup matches, requiring pre-⁠match predictions of results, scores, players, and statistics, revealing that models with similar result accuracy differ substantially on detailed predictions [15].

Safety, Security, and Domain-⁠Specific Applications

  • Biosecurity red-⁠teaming with computational-⁠to-⁠physical validation. Intern-⁠BioBreaker generates jailbreak prompts for biological tasks and carries selected sequence outputs through DNA synthesis and protein expression, revealing a gap between text-⁠level safeguards and actual biological risks in frontier LLMs [16].
  • Self-⁠state attacks on self-⁠hosted AI agents. A four-⁠axis attack space characterizes threats where agents are compromised via legitimate OS calls corrupting their own memory and configuration files; layered defense stacks reduce but do not eliminate detectability across 43 concrete operations [17].
  • Clinical LLM safety gains are judge-⁠dependent. Evidence-⁠sufficiency prompting reduces unsafe overconfidence across four frontier models, but the magnitude of safety gains depends on which LLM judge scores the responses, raising questions about judge calibration [18].
  • Indonesian value alignment benchmark. Pancasila-⁠Dilemmas provides 1,834 questions grounded in Indonesia’s five state values with dilemma scenarios; all 50 evaluated LLMs achieve less than 0.5 Probability Match Score against human responses [19].
Sources
  1. Can We Break LLMs Out of Self-⁠Loops? Fine-⁠Grained Reasoning Control with Activation Steering arxiv cs.AI
  2. Logical Judgments Under Pressure: Diagnosing Syllogistic Stability with Learned Soft Prefixes arxiv cs.CL
  3. How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-⁠Induced Biases in LLMs? arxiv cs.CL
  4. It’s Not What You Say, It’s How You Say It: Evaluating LLM Responses to Expressions of Belief arxiv cs.CL
  5. SWE-⁠Pruner Pro: The Coder LLM Already Knows What to Prune arxiv cs.CL
  6. SelectInfer: Selective Neuron Loading and Computation for On-⁠Device LLMs arxiv cs.AI
  7. VDAR-⁠Router: Adaptive LLMs Routing via Verbalized Query Difficulty Analysis Retrieval arxiv cs.CL
  8. Enhancing Rubric-⁠based RL via Self-⁠Distillation arxiv cs.AI
  9. LLM-⁠as-⁠a-⁠Coach: Experiential Learning for Non-⁠Verifiable Tasks arxiv cs.CL
  10. OR Else: A Differentiable Trust Region for Policy Optimization arxiv cs.LG
  11. MADA-⁠RL: Multi-⁠Agent Debate-⁠Aware Reinforcement Learning for Parameter-⁠Efficient Reasoning in Compact Models arxiv cs.CL
  12. Automated Discovery Has No Universally Superior Harness arxiv cs.CL
  13. VEHBench: A Stage-⁠Local Diagnostic Benchmark for LLM-⁠Assisted Vibration Energy Harvester Design arxiv cs.CL
  14. Sparse Evidence Can Suffice: Agentic Evidence Seeking for Multimodal Video Misinformation Detection arxiv cs.AI
  15. WorldCupArena: Fine-⁠Grained Evaluation of Language Models and Deep-⁠Research Agents on Football Forecasting arxiv cs.CL
  16. An Early Warning of Emerging Biosecurity Risks in Frontier LLMs arxiv cs.CL
  17. Self-⁠State Attacks on Self-⁠Hosted AI Agents: How Far Can OS Defenses Go? arxiv cs.CL
  18. Judge-⁠dependent safety gains and model-⁠specific helpfulness costs of evidence-⁠sufficiency prompting in clinical LLMs arxiv cs.AI
  19. Pancasila-⁠Dilemmas: Evaluating Large Language Models on Indonesian Human Value Dilemmas Grounded in Pancasila arxiv cs.CL