Aller au contenu

Veille IA du

Cette page est l’édition archivée d’un jour précis. Elle ne change plus.

Récap de la semaine : actualités

du 13 juil. au 19 juil. 2026 123 articles

Modèles d’IA et sorties de pointe

  • Kimi K3 de Moonshot AI (2,8T paramètres, 50B actifs) lancé comme le plus grand modèle à poids ouverts à ce jour, revendiquant une performance de classe Opus 4,8 au prix de Sonnet 5 ; une demande écrasante a forcé Moonshot à suspendre les nouveaux abonnements et à diviser les plans en Kimi Membership et Kimi Code Membership [1][2][3][4][5][6].
  • Claude Fable 5 d’Anthropic s’est imposé comme un performeur de premier plan dans les benchmarks finance, frontend/backend et problèmes NP-⁠difficiles ; il est désormais disponible en permanence dans les plans Max/Team Premium à 50 % des limites, sous la pression concurrentielle de GPT-⁠5.6 Sol et Kimi K3 [7][1][8][9][10][11][12].
  • GPT-⁠5.6 Sol d’OpenAI est mis en avant comme un cheval de bataille rentable pour le codage et les tâches agentiques avec une forte exécution à long horizon ; les plafonds d’utilisation ont été temporairement supprimés, et il a été utilisé pour combler un écart de 30 ans en optimisation convexe vérifié dans Lean [1][13][14][15][16].
  • Thinking Machines a publié Inkling (975B total, 41B actifs MoE) avec un contexte de 1M tokens sur texte, images, audio et vidéo, plus une variante Inkling-⁠Small (12B actifs) sous licence Apache 2.0 [17][18][19].
  • Google a retardé Gemini 3.5 Pro de plusieurs mois en raison d’objectifs de codage internes non atteints, tandis que Nvidia a lancé Cosmos 3 Edge (modèle de monde physique) et Nemotron 3 Embed (modèle 8B classé #1 sur RTEB pour la récupération agentique) [20][21][22][23][24].
  • Avancées de l’IA sur appareil : Apple est en pourparlers avec PrismML pour compresser des modèles comme Qwen de 54 Go à <4 Go pour l’inférence sur iPhone ; PrismML a annoncé Bonsai 27B (poids 1-⁠bit/ternaires, 3,9–5,9 Go) ; Gemma 4 de Google est optimisé pour le TPU du Pixel 10 pour une utilisation multimodale hors ligne [25][26][27].

Outillage LLM, Agents et Évaluations

  • L’ingénierie agentique mûrit : « l’ingénierie de boucles » passe du prompting manuel à la construction de systèmes/boucles ; de nouvelles disciplines émergent (évaluations, ingénierie de contexte, ingénierie de harnais, mémoire, ingénierie de sandbox/plateforme) ; des harnais d’agents auto-⁠améliorants permettent aux agents d’analyser les traces et de valider les mises à jour de manière autonome [28][29][30][31][32][33].
  • La mémoire des agents reste non résolue : la mémoire proactive utilisant des agents de mémoire séparés améliore les taux de réussite de Terminal-⁠Bench 2.0 et τ2-⁠Bench ; des pipelines proposés utilisent des ontologies, une extraction de graphe basée sur LLM, et des requêtes servies via MCP ; Engram offre une mémoire persistante basée sur SQLite pour les agents de codage [34][35][36][37].
  • Migrations de code IA à grande échelle : la réécriture Zig→Rust de Bun terminée en 11 jours avec Fable (165K $ de dépenses API) ; Firefox compilé en WebAssembly via un portage assisté par IA ; Anthropic détaille un processus de migration Claude Code en six étapes [38][39][40][41].
  • Sécurité et sandboxing des agents : Perplexity SPACE offre des sandboxes éphémères sécurisées ; Clawk crée des VM jetables avec listes d’autorisation réseau ; NVIDIA OpenShell fournit un sandboxing au niveau noyau ; les « bombes de contexte » de Tracebit intègrent des chaînes canari qui ont fait chuter l’accès admin complet de 57 % à 5 % [42][43][44][45][46].
  • Les benchmarks d’évaluation évoluent : les benchmarks Text-⁠to-⁠SQL contiennent des requêtes gold incorrectes ; CursorBench révèle des écarts entre benchmarks publics et tâches réelles ; WANDR évalue la collecte de données large/profonde ; Long-⁠Horizon Terminal-⁠Bench teste 46 tâches stateful avec vérificateurs cachés ; le harnais Schema atteint 99 % sur ARC-⁠AGI-⁠3 [47][48][49][50][51].
  • GitHub Copilot s’étend : la revue de code améliorée via le resserrement des diffs (réduction de 20 % des coûts) ; /security-review scanne les changements en cours ; BYOK avec support d’agent Claude pour JetBrains ; Fix with Copilot sur mobile ; l’API de métriques d’utilisation ajoute le reporting au niveau repo et les ventilations quotidiens utilisateurs actifs/tokens [52][53][54][55][56][57].
  • Routage de modèles et optimisation des coûts : IBM Research constate que le routage dépend de plus que le prix ; les différences de tokeniseurs ajoutent ~30 % de tokens en plus sur Anthropic vs versions antérieures et 73 % de plus pour TypeScript sur Claude vs GPT ; un workflow spécialisé a réduit les tokens de 94 % et la latence de 87 % en compilant des compétences en langage naturel en code déterministe [58][59][60].
  • Red-⁠teaming IA : OpenAI a construit GPT-⁠Red, un « super-⁠hacker » automatisé pour tester l’injection de prompt contre des modèles internes et des agents en direct ; Binarly montre que les LLM accélèrent les techniques d’évasion d’EDR [61][62][63][64].

MLOps, Ingénierie des Données et Infrastructure

  • L’adoption d’Apache Iceberg s’accélère : Grab a obtenu des accélérations de requêtes 10x, 95 % de coûts d’API S3 en moins, et 50 % d’économies de calcul en migrant Hive Parquet vers Iceberg ; Arcesium a migré 170 To/15 T enregistrements vers Iceberg sur S3 avec DuckDB, réduisant l’ingestion de 80 % et l’infra de ~40 % ; l’API Generic Table de Lakekeeper gouverne les actifs non-⁠Iceberg [65][66][67].
  • Consolidation de l’orchestration : Prefect a acquis Dagster pour fusionner workflows dynamiques avec partitionnement/linéage/catalogage ; Apache Airflow a ajouté des contrôles pilotés par IA (validation sémantique de schéma, décisions de retry basées sur LLM) ; Apache Spark 4.2 a introduit des vues de métriques gouvernées, recherche de similarité vectorielle, support CDC, et streaming à latence milliseconde [68][69][70][71].
  • Databricks Feature Views (aperçu public) définissent les features une fois avec gestion automatique de l’entraînement/service temps réel et gouvernance Unity Catalog ; la spec de couche sémantique OSI est devenue Apache Ossie (Incubating) [72][73].
  • IA en production à grande échelle : Microsoft Foundry sert 20 M+ utilisateurs avec une croissance d’agents 6x YTD ; Netflix a construit un système de topologie de services temps réel gérant des millions d’enregistrements de flux/sec ; Meta envisage de plafonner les budgets de tokens IA par ingénieur alors que les coûts approchent les salaires [74][75][76][77].
  • Pression sur GPU et infra : New York a imposé un moratoire d’un an sur les nouveaux centres de données IA ≥50 MW ; HAMi est devenu un projet incubateur CNCF pour la virtualisation GPU sur Kubernetes [78][79].

DevOps, Cloud et Outils Développeurs

  • Cloudflare : Precursor détecte le comportement agentique via des signaux client-⁠side continus ; Smart Tiered Cache amélioré pour les régions de cloud public ; acquisition d’Arroyo (processeur de flux SQL en Rust) pour Cloudflare Pipelines ; fournit des signaux réseau OpenAI couvrant ~20 % du web [80][81][82][83][84].
  • Mises à jour de la plateforme GitHub : la licence Code Quality entre en aperçu public (lancement payant le 20 juillet 2026) ; recherche avancée pour Projects ; archivage de PR ; image runner Xcode 27 en aperçu ; Dependabot passe par défaut à un délai de 3 jours pour les mises à jour non-⁠sécurité [85][86][87][88][89][90].
  • Outillage base de données et runtime : Turso Limbo (BD compatible PostgreSQL en Rust) ; Lobste.rs a migré MariaDB→SQLite avec coûts VPS divisés par deux ; les benchmarks Polars montrent que les configurations distribuées ne surpassent que sur les requêtes I/O-⁠bound ; Rust 1.97.1 corrige une mauvaise compilation LLVM [91][92][93][94].
  • Le port Rust de Bun livré dans Claude Code depuis le 17 juin v2.1.181, améliorant le démarrage Linux de ~10 % sans perturbation visible pour l’utilisateur ; vérifié indépendamment avec 563 fichiers sources Rust embarqués ; publié comme Bun canary [95][96].
  • OpenAI a lancé Codex Micro, un clavier physique pour contrôler les agents Codex ; l’utilisation de Codex a bondi de 10x en six mois à 7 M utilisateurs [97][98][99].

Sécurité et Vulnérabilités

  • Menaces spécifiques à l’IA : « Ghostcommit » cache une injection de prompt dans des images pour tromper les agents et les faire fuiter des secrets (Cursor vulnérable, Claude Code l’a détecté) ; Hugging Face a divulgué un agent IA autonome exploitant des chemins d’exécution de code dans le traitement de datasets pour la collecte d’identifiants et le mouvement latéral ; xAI Grok Build CLI transmettait les repos textuellement vers GCS, puis open-⁠sourcé avec les uploads de répertoires désactivés [100][101][102][103][104].
  • Attaques OAuth et identité : l’usurpation d’ID client Microsoft Entra ID permet une validation d’identifiants furtive sans logs de connexion réussis ; ShinyHunters a abusé d’OAuth dans Salesforce via du vishing ; Microsoft Entra ID passera par défaut aux passkeys en septembre 2026, retirant SMS/voix d’ici février 2027 [105][106][107][108].
  • Vulnérabilités critiques : prise de compte Zoom (CVSS 9,8) ; RCE pre-⁠auth ServiceNow via GlideRecord ; six failles U-⁠Boot permettant l’exécution de code via des images FIT malveillantes ; Cursor IDE auto-⁠exécute des binaires malveillants sans interaction utilisateur (non corrigé depuis 7 mois) [109][110][111][112].
  • Chaîne d’approvisionnement et malwares : paquet npm Injective SDK compromis exfiltre des clés de portefeuille ; extension ModHeader (1,6 M installations) retirée pour code de fingerprinting dormant ; Datadog GuardDog 3.0 scanne les packages PyPI/npm malveillants ; la propre fuite GitHub de CISA a exposé des clés admin AWS GovCloud pendant des mois [113][114][115][116].
  • Apple a poursuivi OpenAI pour sollicitation alléguée de secrets industriels Apple auprès de candidats et utilisation avec des partenaires de fabrication, demandant injonctions et retour de propriété intellectuelle [117][118][119].

IA dans la Société et Facteurs Humains

  • Une étude multi-⁠universités a révélé que les conseils d’IA dégradaient dramatiquement le jugement humain : la volonté de dire « je ne sais pas » s’est effondrée de 44 % à 3 %, la précision a chuté de 27 % à 9 %, tandis que la confiance a grimpé de 30 % à 76 %, démontrant une « reddition cognitive » même quand l’IA a systématiquement tort [120].
  • Un essai sur la « psychose IA » argue que les grandes organisations imposent des stratégies IA sans que les dirigeants n’utilisent les outils IA, tandis que les ingénieurs effectuent du travail occupé IA pour satisfaire des métriques internes de classement de tokens [121][122].
  • Les infirmières de triage de Kaiser Permanente signalent que l’IA et la surveillance au travail dégradent les soins aux patients, faisant de l’IA un sujet de négociation contractuelle pour 25 000 infirmières en Californie [123].
Sources
  1. Anthropic Extended Claude Fable 5 Access Again simonwillison.net
  2. Kimi K3, and what we can still learn from the pelican benchmark simonwillison.net
  3. [AINews] Kimi K3 2.8T-⁠A50B: the largest open model ever released; Opus 4.8-⁠class at Sonnet 5 pricing latent.space
  4. Kimi K3 kimi.com
  5. [AINews] not much happened today latent.space
  6. Moonshot AI suspends new subscriptions due to Kimi K3 demand hnrss.org
  7. Working at the frontier: How Hebbia builds AI for financial diligence that can’t miss a detail claude
  8. Basecamp Bench smw.ai
  9. Working at the frontier: Why Base44 trusts Claude Fable 5 with their most challenging engineering work claude
  10. Working with Claude Fable 5 in Claude Cowork claude
  11. Claude make Fable 5 permanent simonwillison.net
  12. Fable 5 vs. GPT-⁠5.6 Sol on an NP-⁠Hard Problem: Does /goal help? hnrss.org
  13. OpenAI temporarily relaxes GPT-⁠5.6 Sol usage limits bleepingcomputer.com
  14. Better Call Sol The Workhorse thezvi.substack.com
  15. Better Call Sol: The Workhorse thezvi.wordpress.com
  16. GPT-⁠5.6 used a prompt to close a 30-⁠year gap in convex optimization hnrss.org
  17. [AINews] Thinky’s Inkling: 975B-⁠A41B multimodal, new best American Apache 2.0 open model (with Inkling-⁠Small, 276B-⁠A12B) latent.space
  18. Thinking Machines Releases First Open Model thinkingmachines.ai
  19. Inkling: Our open-⁠weights model simonwillison.net
  20. NVIDIA Nemotron 3 Embed Ranks #1 Overall on RTEB, Advancing Agentic Retrieval huggingface.co
  21. Google Gemini Launch Delayed as Tech Falls Short of Internal Goals bloomberg.com
  22. Nvidia unveils new AI model and expands Japan’s physical AI ecosystem cnbc.com
  23. Gemini 3.5 Pro Reportedly Faced Delays cnbc.com
  24. NVIDIA Nemotron 3 Embed huggingface.co
  25. Apple in talks with startup that shrinks AI models to run on an iPhone cnbc.com
  26. Google announces Gemma 4 optimized for the Pixel 10's TPU 9to5google.com
  27. Announcing Bonsai 27B: The First 27B-⁠Class Model to Run on a Phone prismml.com
  28. What is “loop engineering?” newsletter.pragmaticengineer.com
  29. AI Engineer World’s Fair 2026: The Runtime Is Where Agent Trust Is Won docker.com
  30. 5 Trends That Defined AI Engineering at World’s Fair 2026 latent.space
  31. A primer on self-⁠improving agent harnesses bdtechtalks.substack.com
  32. The first experimental evidence of recursive self-⁠improvement threadreaderapp.com
  33. Towards a Harness That Can Do Anything eardatasci.github.io
  34. Proactive Memory for Long-⁠Horizon Agents arxiv 2607.08716
  35. OpenWiki Brains: Proactive Memory for AI Agents langchain.com
  36. Engram github.com
  37. Nobody Has Cracked Agent Memory decodingai.com
  38. How Anthropic runs large-⁠scale code migrations with Claude Code claude
  39. Firefox in WebAssembly simonwillison.net
  40. What can we learn from Bun’s rapid Rust rewrite with AI? blog.pragmaticengineer.com
  41. How Anthropic runs large-⁠scale code migrations with Claude Code claude.com
  42. Clawk github.com
  43. Context Bombs: stopping AI attackers in their tracks agentic.tracebit.com
  44. Now, Defenders Are Embracing the Prompt Injection Too arstechnica.com
  45. Secure Sandboxes for Agents perplexity.ai
  46. NVIDIA OpenShell Secures the Agent. Who Governs the Fleet? tigera.io
  47. The benchmark grading every text-⁠to-⁠SQL model has wrong answers in its key sqlsure.ai
  48. Testing Agents on Long-⁠Horizon Terminal Work github.com
  49. WANDR Benchmark: Evaluating Research Agents That Must Search Wide and Deep research.perplexity.ai
  50. Working at the frontier: How Cursor knew Claude Fable 5 was ready for the hardest 1 % of problems claude
  51. Schema x.com
  52. Better tools made Copilot code review worse. Here’s how we actually improved it github.blog
  53. GitHub Copilot in Visual Studio: June update github.blog
  54. GitHub Copilot for JetBrains expands BYOK capabilities github.blog
  55. GitHub Mobile: Fix pull request comments with Copilot cloud agent github.blog
  56. Repository-⁠level GitHub Copilot usage metrics generally available github.blog
  57. GitHub Copilot app now available in the usage metrics API github.blog
  58. The Same TypeScript Costs 73 % More Tokens on Claude Than GPT playcode.io
  59. How I Cut an AI Agent’s Token Use by 94 % vivekhaldar.com
  60. Model Routing Is Simple. Until It Isn’t. huggingface.co
  61. Meet GPT-⁠Red: an LLM super-⁠hacker OpenAI built to make its models safer technologyreview.com
  62. GPT-⁠Red: Unlocking Self-⁠Improvement for Robustness openai.com
  63. GPT‑Red: Unlocking Self-⁠Improvement for Robustness openai.com
  64. Accelerating EDR Evasion with LLM-⁠Driven Analysis specterops.io
  65. Modern Data Warehousing at Scale: Arcesium’s Migration to DuckDB and Iceberg medium.com
  66. Lakekeeper Generic Table API Design medium.com
  67. Scaling Grab’s Data Lake: Our journey to Apache Iceberg adoption engineering.grab.com
  68. How Airflow is using AI to make data engineering more resilient, not more complex blog.dataengineerthings.org
  69. Prefect is Acquiring Dagster dagster
  70. Prefect just bought Dagster, another big Airflow rival, and it’s not a data pipeline story thenewstack.io
  71. Introducing Apache Spark 4.2 databricks.com
  72. OSI is now Apache Ossie (Incubating) dbt.com
  73. Introducing Feature Views databricks.com
  74. How Microsoft Ships AI Agents at Enterprise Scale blog.bytebytego.com
  75. Meta’s Adam Mosseri says AI token budgets could soon be capped per engineer techcrunch.com
  76. Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned netflixtechblog.com
  77. Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned netflixtechblog.com
  78. New York becomes first US state to impose AI data center ban cnbc.com
  79. HAMi becomes a CNCF incubating project cncf.io
  80. Introducing Precursor: detecting agentic behavior with continuous client-⁠side signals blog.cloudflare.com
  81. Improving Smart Tiered Cache for public cloud regions blog.cloudflare.com
  82. Cloudflare gives OpenAI network signals covering 20 % of the web ppc.land
  83. Introducing Precursor: detecting agentic behavior with continuous client-⁠side signals blog.cloudflare.com
  84. Arroyo is joining Cloudflare arroyo.dev
  85. GitHub Code Quality license estimate in public preview github.blog
  86. Quoting GitHub Changelog simonwillison.net
  87. Advanced search for Projects is generally available github.blog
  88. Repository admins can archive pull requests github.blog
  89. Xcode 27 runner image now in public preview github.blog
  90. Automating cross-⁠repo documentation with GitHub Agentic Workflows github.blog
  91. Benchmarking Single Node vs Distributed pola.rs
  92. Announcing Rust 1.97.1 blog.rust-⁠lang.org
  93. Turso is building a modern version of Postgres in Rust turso.tech
  94. lobste.rs is now running on SQLite simonwillison.net
  95. Claude Code uses Bun written in Rust now simonwillison.net
  96. Claude Code uses Bun written in Rust now hnrss.org
  97. [AINews] Codex usage up >10x in 6 months to 7M users, +1M in the past ~day; did Codex overtake Claude Code?? latent.space
  98. OpenAI launches a physical keypad for controlling agents engadget.com
  99. Supply Co. x Work Louder openai.com
  100. ‘Ghostcommit' Hides Prompt Injection in Images to Fool AI Agents and Steal Secrets bleepingcomputer.com
  101. What xAI Grok Build CLI actually sends to xAI gist.github.com
  102. xai-⁠org/grok-⁠build, now open source simonwillison.net
  103. The Pulse: Grok’s CLI caught uploading all your local files to the cloud newsletter.pragmaticengineer.com
  104. Security incident disclosure: July 2026 huggingface.co
  105. OAuth Client ID Spoofing Lets Attackers Validate Stolen Microsoft Entra Credentials thehackernews.com
  106. Defending SaaS-⁠based applications against ShinyHunters OAuth abuse microsoft.com
  107. Microsoft Entra ID Gets Passkeys Default Authentication Starting September bleepingcomputer.com
  108. OAuth Client ID Spoofing: Why Fake Client IDs Are Gaining Traction for Stealthy Enumeration proofpoint.com
  109. Smashing the ServiceNow Sandbox – Pre Authentication RCE slcyber.io
  110. Cursor 0day: When Full Disclosure Becomes the Only Protection Left mindgard.ai
  111. Microsoft’s Secure Boot has been broken for a decade and no one noticed until now arstechnica.com
  112. Zoom Warns of Critical Account Takeover Vulnerability bleepingcomputer.com
  113. Compromised Injective SDK npm Package Exfiltrates Wallet Keys and Mnemonics socket.dev
  114. Introducing GuardDog 3.0: A new rules engine, transparent sandboxing, and more securitylabs.datadoghq.com
  115. Lessons Learned from CISA’s Recent GitHub Leak krebsonsecurity.com
  116. Google and Microsoft Pull ModHeader With 1.6 Million Installs After Dormant Collector Found thehackernews.com
  117. Apple Sues OpenAI, Accusing It of Stealing Company Secrets nytimes.com
  118. Apple Sued OpenAI techcrunch.com
  119. Apple’s Lawsuit Threatens to Disrupt OpenAI’s Bid to Rival the iPhone bloomberg.com
  120. AI advice made people 3x less accurate but 2x confident, researchers found hnrss.org
  121. AI Mania Is Eviscerating Global Decision-⁠Making simonwillison.net
  122. AI Mania Is Eviscerating Global Decision-⁠Making hnrss.org
  123. Kaiser nurses say AI, surveillance are making their jobs and patient care worse hnrss.org

Récap de la semaine : publications

du 13 juil. au 19 juil. 2026 63 publications

Raisonnement, Architectures et Entraînement

  • T²MLR ajoute une récurrence de couche intermédiaire temporelle aux Transformers en mettant en cache et en fusionnant les représentations des jetons précédents au fil des étapes de décodage, permettant des états de raisonnement intermédiaires persistants avec une surcharge minime, adaptable aux modèles préentraînés [1, 2, 3, 4].
  • Mask-⁠Aware Policy Gradients formalise la génération de LM à diffusion masquée comme un MDP à deux étapes (décisions de jeton et de masquage), atteignant l’état de l’art sur GSM8K (87,1 %) et MBPP (53,4 %) [5, 6, 7].
  • On-⁠Policy Delta Distillation (OPD²) transfère les capacités de raisonnement via un « signal delta » (modèle enseignant moins modèle de base) plutôt que par imitation directe, améliorant le transfert dans les mathématiques, les sciences et le codage [8, 9].
  • Tests d’auto-⁠cohérence statistiques révèlent que les estimations en contexte des LLM s’écartent de la loi de la probabilité totale lors du partitionnement récursif de populations et de l’agrégation de conditionnelles verbalisées [10, 11, 12].
  • In-⁠Place Tokenizer Expansion met à niveau les tokenizers de LLM préentraînés en poursuivant les fusions BPE sur des corpus multilingues, préservant les jetons sources et réduisant la fragmentation pour les langues nouvellement prioritaires sans réentraînement [13, 14, 15].

Systèmes Agentiques et Évaluation

  • SearchOS externalise la progression de la recherche en domaine ouvert dans un état persistant (Tâche Frontière, Graphe de Preuves, Carte de Couverture, Mémoire d’Échecs), évitant les boucles répétitives dans les tâches multi-⁠agents à long horizon [16, 17, 18].
  • Counterfactual Trajectory Utility (CTU) montre que l’utilité de récupération statique prédit mal l’utilité causale dans la recherche agentique multi-⁠étapes ; les documents importent souvent pour permettre des actions futures plutôt que pour des réponses immédiates [19, 20, 21].
  • OmniaBench évalue les agents d’IA généraux sur plus de 90 domaines ToC/ToB/ToE avec des taxonomies hiérarchiques et des environnements exécutables [22, 23, 24].
  • E3 introduit une estimation de portée d’exécution consciente de la tâche pour les agents LLM (Ratio de Redondance Cognitive de l’Agent), égalant le taux de succès SOTA (100 %) sur MSE-⁠Bench tout en réduisant le coût de 85 %, les jetons de 91 % et les fichiers inspectés de 92 % [25].
  • Évaluation d’agents de sécurité tenant compte des coûts montre que les tâches CTF offensives s’échelonnent avec le calcul tandis que le succès défensif SOC dépend davantage de l’outillage et des heuristiques [26, 27, 28].

Modèles Multimodaux et Vision-⁠Langage

  • SceneBind propose une représentation de scène omni-⁠modale combinant des embeddings sémantiques globaux avec des créneaux sémantico-⁠spatiaux centrés sur les objets à travers la vision, l’audio et le langage, permettant la récupération et l’ancrage inter-⁠modaux avec un nouveau jeu de données audio-⁠visuel binaural [29, 30, 31].
  • Symbal détecte les désalignements systématiques dans les légendes générées par les MLLM liés aux caractéristiques visuelles et introduit SymbalBench (1,7 M paires image-⁠texte dans les domaines naturel/médical) [32, 33, 34].
  • MM-⁠IssueLoc évalue la localisation de problèmes au niveau du dépôt avec des preuves visuelles (652 instances issue-⁠PR, 23 langages), montrant que les systèmes existants peinent à exploiter fiablement les entrées visuelles [35, 36, 37].
  • SciVis Literacy Benchmark évalue six MLLM sur 49 tâches de visualisation scientifique face à 485 humains, révélant des performances très inégales ; les modèles closed-⁠source surpassent les open-⁠source mais restent en deçà des bases humaines sur certaines tâches
Sources
  1. Self-⁠Guided Test-⁠Time Training for Long-⁠Context LLMs arxiv cs.CL
  2. T^2MLR: Transformer with Temporal Middle-⁠Layer Recurrence arxiv cs.CL
  3. T^2MLR: Transformer with Temporal Middle-⁠Layer Recurrence arxiv cs.CL
  4. T^2MLR: Transformer with Temporal Middle-⁠Layer Recurrence arxiv cs.CL
  5. Mask-⁠Aware Policy Gradients for Diffusion Language Models arxiv cs.CL
  6. Mask-⁠Aware Policy Gradients for Diffusion Language Models arxiv cs.CL
  7. Mask-⁠Aware Policy Gradients for Diffusion Language Models arxiv cs.CL
  8. On-⁠Policy Delta Distillation arxiv cs.CL
  9. On-⁠Policy Delta Distillation arxiv cs.CL
  10. Partition, Prompt, Aggregate: Statistical Self-⁠Consistency in Language Models arxiv cs.CL
  11. Partition, Prompt, Aggregate: Statistical Self-⁠Consistency in Language Models arxiv cs.CL
  12. Partition, Prompt, Aggregate: Statistical Self-⁠Consistency in Language Models arxiv cs.CL
  13. In-⁠Place Tokenizer Expansion for Pre-⁠trained LLMs arxiv cs.CL
  14. In-⁠Place Tokenizer Expansion for Pre-⁠trained LLMs arxiv cs.CL
  15. In-⁠Place Tokenizer Expansion for Pre-⁠trained LLMs arxiv cs.CL
  16. SearchOS-⁠V1: Towards Robust Open-⁠Domain Information-⁠Seeking Agent Collaboration arxiv cs.AI
  17. SearchOS-⁠V1: Towards Robust Open-⁠Domain Information-⁠Seeking Agent Collaboration arxiv cs.AI
  18. SearchOS-⁠V1: Towards Robust Open-⁠Domain Information-⁠Seeking Agent Collaboration arxiv cs.AI
  19. Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-⁠Step Agentic Search arxiv cs.CL
  20. Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-⁠Step Agentic Search arxiv cs.CL
  21. Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-⁠Step Agentic Search arxiv cs.CL
  22. OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios arxiv cs.CL
  23. OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios arxiv cs.CL
  24. OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios arxiv cs.CL
  25. Do AI Agents Know When a Task Is Simple? Toward Complexity-⁠Aware Reasoning and Execution arxiv cs.CL
  26. Beyond Success Rate: Cost-⁠Aware Evaluation of Offensive and Defensive Security Agents arxiv cs.AI
  27. Beyond Success Rate: Cost-⁠Aware Evaluation of Offensive and Defensive Security Agents arxiv cs.AI
  28. Beyond Success Rate: Cost-⁠Aware Evaluation of Offensive and Defensive Security Agents arxiv cs.AI
  29. SceneBind: Binding What and Where Across Vision, Audio and Language arxiv cs.AI
  30. SceneBind: Binding What and Where Across Vision, Audio and Language arxiv cs.AI
  31. SceneBind: Binding What and Where Across Vision, Audio and Language arxiv cs.AI
  32. Symbal: Detecting Systematic Misalignments in Model-⁠Generated Captions arxiv cs.AI
  33. Symbal: Detecting Systematic Misalignments in Model-⁠Generated Captions arxiv cs.AI
  34. Symbal: Detecting Systematic Misalignments in Model-⁠Generated Captions arxiv cs.AI
  35. MM-⁠IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-⁠Level Issue Localization arxiv cs.AI
  36. MM-⁠IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-⁠Level Issue Localization arxiv cs.AI
  37. MM-⁠IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-⁠Level Issue Localization arxiv cs.AI
  38. The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs arxiv cs.LG
  39. Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-⁠Augmented Generation arxiv cs.CL
  40. Screening of Biosecurity Features in Metagenomic Data with Evo 2 Probes arxiv cs.LG
  41. RoboTTT: Context Scaling for Robot Policies arxiv cs.LG
  42. Pretraining Data Can Be Poisoned through Computational Propaganda arxiv cs.CL
  43. Online Neural Space Time Memory for Dynamic Novel View Synthesis arxiv cs.LG
  44. AutoSynthesis: An agentic system for automated meta-⁠analysis arxiv cs.AI
  45. When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-⁠State Risk Space arxiv cs.AI
  46. BadWAM: When World-⁠Action Models Dream Right but Act Wrong arxiv cs.LG
  47. Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy arxiv cs.CL
  48. MedFailBench: A Clinician-⁠Built Open-⁠Source Benchmark for Medical AI Safety Boundary Inspection arxiv cs.CL
  49. RoboTTT: Context Scaling for Robot Policies arxiv cs.LG
  50. Pretraining Data Can Be Poisoned through Computational Propaganda arxiv cs.CL
  51. Online Neural Space Time Memory for Dynamic Novel View Synthesis arxiv cs.LG
  52. AutoSynthesis: An agentic system for automated meta-⁠analysis arxiv cs.AI
  53. When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-⁠State Risk Space arxiv cs.AI
  54. BadWAM: When World-⁠Action Models Dream Right but Act Wrong arxiv cs.LG
  55. Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy arxiv cs.CL
  56. MedFailBench: A Clinician-⁠Built Open-⁠Source Benchmark for Medical AI Safety Boundary Inspection arxiv cs.CL
  57. RoboTTT: Context Scaling for Robot Policies arxiv cs.LG
  58. Pretraining Data Can Be Poisoned through Computational Propaganda arxiv cs.CL
  59. AutoSynthesis: An agentic system for automated meta-⁠analysis arxiv cs.AI
  60. When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-⁠State Risk Space arxiv cs.AI
  61. BadWAM: When World-⁠Action Models Dream Right but Act Wrong arxiv cs.LG
  62. Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy arxiv cs.CL
  63. MedFailBench: A Clinician-⁠Built Open-⁠Source Benchmark for Medical AI Safety Boundary Inspection arxiv cs.CL