Dans l’attente d’une révolution, les attentes placées dans les outils d’IA générative pour les développeurs semblent déçues. Une étude récente révèle que malgré l’aide de Copilot, la productivité n’a pas connu d’améliorations significatives, et même une augmentation des bugs a été observée, donnant à réfléchir sur l’avenir de ces technologies.
En résumé, les développeurs étaient censés être parmi les plus grands bénéficiaires de l’engouement pour l’IA générative, car des outils spéciaux facilitaient la création de code plus rapidement. Cependant, selon une étude récente d’Uplevel, une entreprise qui analyse les métriques de codage, les gains de productivité ne se matérialisent pas – du moins pas encore.
L’étude a suivi environ 800 développeurs, en comparant leur production avec et sans l’assistant de codage Copilot de GitHub sur des périodes de trois mois. Fait surprenant, en mesurant des indicateurs clés tels que le temps de cycle des demandes de tirage et le débit, Uplevel n’a trouvé aucune amélioration significative pour ceux utilisant Copilot.
Matt Hoffman, analyste de données chez Uplevel, a expliqué à la publication CIO que leur équipe pensait initialement que les développeurs seraient capables d’écrire plus de code et que le taux de défaut pourrait diminuer grâce à l’utilisation des outils d’IA pour aider à la révision du code avant de le soumettre. Mais leurs résultats ont contredit ces attentes.
En effet, l’étude a révélé que les développeurs utilisant Copilot ont introduit 41 % de bugs supplémentaires dans leur code, selon CIO. Uplevel n’a également trouvé aucune preuve que l’assistant IA aidait à prévenir l’épuisement professionnel des développeurs.
Les révélations contredisent les affirmations des créateurs de Copilot chez GitHub et d’autres partisans vocaux des outils de codage IA concernant des gains de productivité massifs. Une étude parrainée par GitHub affirmait plus tôt que les développeurs écrivaient du code 55 % plus rapidement avec l’aide de Copilot.
Il est vrai que les développeurs pourraient observer des résultats positifs, étant donné qu’un rapport des débuts de Copilot montrait que près de 30 % du nouveau code impliquait une assistance IA – un chiffre qui a probablement augmenté. Cependant, une autre possibilité derrière l’augmentation de l’utilisation est que les programmeurs développent une dépendance et deviennent paresseux.
Dans le terrain, l’expérience avec les assistants de codage IA a été mitigée jusqu’à présent. Chez la société de logiciels sur mesure Gehtsoft USA, le PDG Ivan Gekht a déclaré à CIO qu’ils avaient trouvé le code généré par IA difficile à comprendre et à déboguer, rendant parfois plus efficace de réécrire à partir de zéro.
Une étude de l’année dernière, où ChatGPT a obtenu plus de la moitié des questions de programmation posées de manière erronée, semble corroborer ses observations, bien que le chatbot se soit considérablement amélioré depuis avec plusieurs mises à jour.
Gekht a ajouté que le développement de logiciels représente « 90 % de fonction cognitive – comprendre les exigences, concevoir le système et considérer les limitations et restrictions », tandis que convertir tout cela en code est la partie la plus simple du travail.
Cependant, chez le fournisseur de cloud Innovative Solutions, le CTO Travis Rehl a rapporté des résultats exceptionnels, avec une productivité des développeurs augmentant jusqu’à trois fois grâce à des outils comme Claude Dev et Copilot.
Les témoignages contradictoires soulignent que nous sommes probablement encore aux débuts des assistants de codage IA. Mais avec les outils qui progressent rapidement, qui sait où ils nous mèneront à l’avenir ?