Révélations sur Siri : des préoccupations de sécurité majeures à l’origine du retard de l’assistant intelligent

Dans un monde où l’innovation technologique occupe une place cruciale, Apple doit repousser encore plus loin l’attente d’un Siri plus intelligent. Alors que l’on espérait voir ces nouvelles fonctionnalités dans iOS 18.4, il semble maintenant qu’elles pourraient être reportées à iOS 19, notamment en raison d’importants défis liés à la sécurité, selon le développeur et analyste Simon Willison.

Retard de Siri plus intelligent

Lors de la WWDC en juin de l’année dernière, Apple avait promis une version bien plus intelligente de Siri. Bien que quelques fonctionnalités d’Apple Intelligence aient été lancées et que Siri soit désormais capable de gérer les hésitations verbales et certaines commandes composées, nous n’avons pas encore vu l’ombre des trois améliorations clés promises par Apple :

• La conscience contextuelle, où elle peut accéder à vos informations personnelles
• La capacité de voir ce qui est sur votre écran et de réagir en conséquence
• Les actions dans les applications, où vous dites à Siri ce que vous voulez faire et elle utilise vos applications pour y parvenir

Nous nous attendions initialement à ce que ces fonctionnalités soient incluses dans iOS 18.4, tandis qu’une version plus conversationnelle de Siri attendrait l’année prochaine. Mais Apple a maintenant annoncé qu’elle avait des difficultés avec ce calendrier.

Nous travaillons aussi sur une Siri plus personnalisée, lui donnant plus de conscience de votre contexte personnel, ainsi que la capacité de prendre des mesures pour vous au sein et à travers vos applications. Cela nous prendra plus de temps que prévu pour livrer ces fonctionnalités, et nous prévoyons de les déployer dans l’année à venir.

Il n’est pas complètement clair si « l’année à venir » signifie plus tard cette année ou l’année prochaine, mais il est facile de penser que nous ne verrons pas une Siri plus intelligente avant iOS 19.

Deux raisons jusqu’ici suggérées

Bloomberg a rapporté de manière constante qu’Apple peinait à préparer ces fonctionnalités pour leur lancement, indiquant qu’il y a actuellement trop de bugs.

À l’intérieur d’Apple, beaucoup d’employés testant la nouvelle Siri ont constaté que ces fonctionnalités ne fonctionnaient pas encore de manière cohérente.

À cette époque, cependant, Mark Gurman s’attendait à ce que le lancement soit retardé de iOS 18.4 à 18.5.

Il a également été suggéré que la raison sous-jacente de ces bugs est qu’Apple possède actuellement deux versions complètement séparées de Siri, l’une étant superposée à l’autre. La version originale gère toujours les tâches que Siri a toujours pu exécuter, tandis que la deuxième couche intercepte les commandes plus complexes. Apple aurait du mal à intégrer le tout en une seule version de Siri.

Mais la sécurité pourrait être la plus grande inquiétude

Le développeur Simon Willison, créateur de l’outil d’analyse de données open-source Datasette, suggère qu’Apple pourrait également avoir des difficultés à rendre une Siri plus intelligente sécurisée. En particulier, il pense qu’elle pourrait être vulnérable aux attaques par injection de commandes.

Il s’agit d’un problème bien connu avec tous les systèmes d’IA génératifs. Essentiellement, un attaquant tente de contourner les mesures de sécurité intégrées d’un modèle de langage large (LLM) en le dupant pour remplacer les gardes par de nouvelles instructions. Willison explique que cela pose un risque potentiellement énorme avec une nouvelle Siri.

Ces nouvelles fonctionnalités d’Apple Intelligence impliquent que Siri réponde à des demandes d’accès à des informations dans des applications, puis effectue des actions au nom de l’utilisateur.

C’est la pire combinaison possible pour des attaques par injection de commandes ! Chaque fois qu’un système basé sur un LLM a accès à des données privées, à des outils qu’il peut appeler, et est exposé à des instructions potentiellement malveillantes (comme des e-mails et des messages de texte d’étrangers non fiables), il existe un risque significatif qu’un attaquant puisse subvertir ces outils et les utiliser pour endommager ou exfiltrer les données de l’utilisateur.

En d’autres termes, tromper GPT-3 pour obtenir des instructions sur la fabrication d’une bombe est un niveau de risque, mais tromper Siri pour qu’elle remette vos données personnelles est tout autre chose.

Le commentateur d’Apple John Gruber trouve cette théorie crédible, en disant que personne n’a encore réussi à arrêter les attaques par injection de commandes.

Une manière pessimiste de voir cette affaire de Siri personnalisée est qu’Apple ne peut pas se permettre de se tromper, mais que la nature de la susceptibilité des LLM aux injections de commandes pourrait signifier qu’il est impossible de faire correctement. Et si c’est possible, cela exigera des réalisations révolutionnaires. Il ne suffit pas qu’Apple « rattrape ». Ils doivent résoudre un problème complexe — encore non résolu par OpenAI, Google ou tout autre laboratoire d’IA de premier plan — pour livrer ce qu’ils ont déjà promis.

Il se demande à voix haute comment Apple a pu se permettre de promettre — et même de faire la publicité — de fonctionnalités qui pourraient s’avérer trop dangereuses pour jamais être lancées.

Notre analyse

Bien que je sois certain que les rapports précédents sont exacts, il semble tout à fait plausible que la sécurité soit également un facteur clé.

Apple a fait de la confidentialité un différenciateur clé et un argument de vente pour ses produits, donc toute vulnérabilité permettant à une application malveillante d’accéder à vos données personnelles et de les exporter serait un désastre complet pour le fabricant d’iPhone.

Bien que je ne m’attende pas à ce que le projet de Siri plus intelligente se transforme en un autre AirPower, il semble de plus en plus que Apple aurait dû simplement garder le silence quant aux délais jusqu’à ce qu’elle soit plus proche de résoudre tous les défis.

Mon avis :

Le retard de la sortie d’un Siri plus intelligent semble lié à des problèmes de sécurité, notamment des risques de prompt injection, préoccupant pour Apple dont la réputation en matière de confidentialité est cruciale. Bien que des fonctionnalités avancées soient prometteuses, l’intégration sécurisée reste un défi majeur. Les retards vocaux étaient inattendus mais nécessaires pour des raisons de protection des données.

Les questions fréquentes :

Pourquoi le lancement de Siri plus intelligent est-il retardé ?

Le lancement de Siri plus intelligent est retardé en raison de problèmes techniques liés à l’intégration des nouvelles fonctionnalités promises et à des préoccupations majeures concernant la sécurité, notamment la vulnérabilité aux attaques par injection de commandes.

Quelles sont les nouvelles fonctionnalités promises pour Siri ?

Apple a promis d’importantes améliorations pour Siri, notamment la sensibilisation contextuelle, la capacité de voir ce qui est à l’écran et de répondre en conséquence, ainsi que la réalisation d’actions au sein des applications en fonction des demandes de l’utilisateur.

Quels problèmes de sécurité pourraient affecter Siri ?

Simon Willison a suggéré que Siri puisse être exposé aux attaques par injection de commandes, un problème de sécurité bien connu dans les systèmes d’intelligence artificielle générative. Ces attaques pourraient permettre à un attaquant de contourner les mesures de sécurité intégrées et d’accéder aux informations confidentielles de l’utilisateur.

Quelles sont les hypothèses sur le développement futur de Siri ?

Il est possible que, en raison des défis techniques et de sécurité, Siri ne soit pleinement amélioré qu’avec le lancement d’iOS 19. Apple a mis l’accent sur la sécurité et la protection de la vie privée de ses utilisateurs, ce qui rend la résolution de ces problèmes cruciale avant toute mise en œuvre des nouvelles fonctionnalités de Siri.