Les e-mails de phishing sont de plus en plus difficiles à détecter, même pour les humains. Une étude récente a testé divers modèles linguistiques à grande échelle (LLM) afin d’évaluer leur capacité à reconnaître les intentions malveillantes dans les e-mails, révélant des différences significatives en termes de performances.
Claude 3.5 Sonnet s’est particulièrement distingué, avec un score supérieur à 90 % et un faible taux de faux positifs, et a même signalé des e-mails suspects que les humains avaient négligés. Lorsqu’on lui a explicitement demandé d’évaluer les soupçons, il a correctement classé tous les e-mails de phishing tout en évitant les fausses alertes sur les messages légitimes. Cependant, il a eu du mal avec les e-mails de phishing conventionnels, n’atteignant qu’un taux de vrais positifs de 81 % dans cette catégorie…