'In-House Evaluation Is Not Enough' — third-party AI flaw disclosure framework
- Type
- Public reporting channel
- Lieu
- International — Global (norm-setting, not binding)
- Dernière vérification
- 2026-09-22
- Prochaine vérification
- 2027-03-21
Comment les joindre
- Information uniquement · 2026-09-22
Submission page
- Destinataire
- 'In-House Evaluation Is Not Enough' — third-party AI flaw disclosure framework
- Qui peut l’utiliser
- Membres du public
- Ce qui est accepté
- Failles de modèles d'IA; Risques systémiques liés à l'IA
Information uniquement. Ce lien fournit des informations ou des preuves ; ce n'est pas un endroit où envoyer un message.Aucune action de contact n'est disponible pour cette fiche. - Information uniquement
Homepage
- Destinataire
- 'In-House Evaluation Is Not Enough' — third-party AI flaw disclosure framework
- Qui peut l’utiliser
- Membres du public
- Ce qui est accepté
- Failles de modèles d'IA; Risques systémiques liés à l'IA
Information uniquement. Ce lien fournit des informations ou des preuves ; ce n'est pas un endroit où envoyer un message.Aucune action de contact n'est disponible pour cette fiche.
Ce qu'il fait
N/A — it is the proposal document that defines the emerging norm. Read it to understand the vocabulary that labs and coordinators are converging on.
Évaluation franche
This is where the coordinated flaw disclosure push landed: as of September 2026 the standardised report and routing layer exist (FLARE-AI, live July 2026), but broad statutory or contractual safe harbour for AI model-behaviour research does not. Labs still grant safe harbour only inside their own programs, on their own terms.
Comment déposer
Three proposals: (1) standardised flaw reports and published rules of engagement, so researchers know what they may test and how to report; (2) broadly-scoped disclosure programs with legal safe harbours modelled on bug bounties; (3) coordinated distribution infrastructure, because jailbreaks and flaws transfer across providers. Its practical successor is FLARE-AI, which implements the standardised report and the distribution layer.
Format
Academic position paper (arXiv 2503.16861, March 2025).
Calendrier
N/A
Ce qui se passe ensuite
N/A
Ce qu'il accepte
N/A — it is the proposal document that defines the emerging norm. Read it to understand the vocabulary that labs and coordinators are converging on.
Ce qu'il n'accepte pas
N/A
Géré par
Shayne Longpre, Kevin Klyman, Ruth E. Appel and 30+ co-authors (MIT, Stanford HAI/CRFM, Princeton and others); endorsed by HackerOne