ICYMI: Produit pour les ingénieurs est maintenant mode de constructionMême équipe, même poste. Nouvelle marque, nouvelle concentration. En savoir plus. Les gens font confiance à leurs agents pour faire plus de travail sans supervision, mais comment décidez-vous quand leur faire confiance? Certains pensent que la réponse dépend de la qualité du modèle – c'est-à-dire quand les modèles s'améliorent, vous pouvez leur faire confiance pour faire plus. Mais faire confiance à vos agents juste parce que les modèles sont plus intelligents est comme sauter votre ceinture parce que vous avez une voiture plus belle. La vraie réponse n'a rien à voir avec le modèle, et tout à voir avec le tâche. Vous devez construire un modèle mental pour quand déléguer et combien, que vous pouvez ensuite adapter. Voici un guide simple pour maximiser l'autonomie des agents, afin que vous puissiez expédier rapidement sans casser des choses. Les deux facteurs qui fixent le plafondVous devez d'abord vous poser deux questions : 1. Est-il facile de vérifier le travail de l'agent?Pour courir en toute sécurité, les agents ont besoin de rétroaction immédiate quand ils se trompent. Ceci est possible pour la plupart des codes avec des contrôles déterministes, comme les tests d'unité et d'intégration. Mais les tâches subjectives, comme renommer un paramètre de clarté, sont plus difficiles sans le goût et le jugement humains. 2. Est-ce pas cher de défaire une erreur d'agent?Tout comme dans l'ingénierie logicielle traditionnelle, si vous voulez faire confiance à un agent exécuté sans supervision, vous avez besoin d'un Ctrl+Z garanti pour les pires scénarios. Voilà pourquoi - C'est quoi ? notre agent d'approbation PR, conduit tout ce qui contient des mots clés de la liste de refus à un humain. Ensemble, ces deux facteurs1 vous pointez à l'un des quatre niveaux pour toute tâche:
Vous pouvez cartographier ces quatre niveaux à un arbre de décision très simple, que vous pouvez appliquer à n'importe quelle tâche:
Cela vous aide à prendre des décisions sur le montant à déléguer à vos agents, mais vous pouvez encore concevoir votre pipeline pour permettre une plus grande autonomie pour toute tâche spécifique. Niveau 0: Agent comme assistantQuand le travail est difficile à vérifier + coûteux à annuler C'est le niveau le plus bas d'autonomie des agents. Pensez à demander des conseils à ChatGPT, ou auto-complet dans Cursor, tout comme les bons jours de 2024. Mais juste parce qu'il est vieux jeu ne signifie pas qu'il est mauvais ; ce mode est idéal pour traiter des problèmes délicats dans les surfaces de code sensibles. Par exemple, lorsque Dylan mis à jour notre moteur de drapeau de fonction pour soutenir le ciblage de propriété générique l'année dernière, il a dû migrer une hypothèse qui a été indirectement cuit dans chaque drapeau de fonction à PostHog. Cela aurait été difficile pour les agents de vérifier de façon déterministe car il n'était pas possible de Comment monter à niveau d'iciBrisez la tâche. Les petits morceaux le rendent évident là où la délégation est sûre ou non. Dylan a transmis aux agents un travail moins critique, comme la propagation de la nouvelle logique de ciblage à travers nos SDK JavaScript, PHP, Ruby et Flutter, tout en faisant la migration de cœur plus risquée à la main. Niveau 1: Human-in-the-loopQuand le travail est difficile à vérifier + pas cher à annuler Ce niveau d'autonomie des agents est commun pour les tâches qui nécessitent une évaluation subjective puisqu'il est difficile d'enseigner le goût et le jugement aux agents (pour le moment, au moins).
Les tâches humaines dans la boucle sont considérées comme bon marché à annuler puisque le code reste en mode brouillon et n'est pas fusionné jusqu'à ce qu'il soit vérifié par un humain. Un défaire signifie juste lancer une autre itération. Ce facteur de lisibilité du code par Thomas C'est surtout fait à la main, mais c'est un bon exemple de quelque chose qu'un agent ne saurait pas classer. Ce n'est que quelques lignes qui ont facilité la compréhension des humains – en ajoutant des commentaires, en regroupant des actions, en échangeant des cordes contre un énum – et qui n'ont pas introduit de changement de rupture. Comment monter à niveau d'ici
Niveau 2: Délégation d'agentQuand le travail est facile à vérifier + coûteux à annuler
C'est le niveau que la plupart des tâches de développeur sont aujourd'hui. Un agent écrit un code qui peut être testé de façon déterministe, mais l'acte final de fusion est bloqué derrière un contrôle de sécurité final. Quand Robbie Réécrire notre analyseur SQL Dans Rust, il lisait à peine le code puisqu'il avait un oracle pour vérifier le travail. Mais comme l'analyseur touche toutes les requêtes de PostHog, le travail de l'agent a été bloqué derrière de multiples contrôles de sécurité: mode ombre en production, puis une coupe par étapes. Comment monter à niveau d'iciAppliquer les politiques et les garde-corps avec code. La plupart des gens ne sont pas en mesure de gérer les tâches de niveau 2 derrière un humain (alias eux-mêmes), mais cette habitude vous transforme en votre propre goulot d'étranglement. Au lieu de cela, encodez autant de vos garde-corps directement dans votre pipeline avec des politiques comme la conduite à sec par défaut, l'identification de la portée et la mise en place de changements drapeaux caractéristiques. Niveau 3: Mode d'autoconduiteQuand le travail est facile à vérifier + pas cher à annuler Il n'y a pas encore beaucoup de tâches dans cette catégorie – juste des plus petites comme les bosses de dépendance, les corrections de linte, l'ajout de la couverture de test au code existant. Mais la catégorie croît rapidement, surtout avec des agents de longue durée, des boucles axées sur les buts et une orchestration plus complexe. Nous allons tout faire à PostHog autoconduite mode une réalité pour les constructeurs. Le mois dernier, par exemple, nous avons lancé Scouts – les agents qui fonctionnent selon un calendrier, enquêtent sur les signaux provenant des données du produit et rédigent un PR en fonction de ce qu'ils trouvent. Comment monter à niveau d'ici
Mots par Jina Yoon, qui écrit ces bulletins au niveau 0. Faites parler vos agents à nos agentsPlus de façons de se mettre à niveau
1 Notez que l'échelle n'est pas un facteur pour déterminer les niveaux d'autonomie des agents. Les gens consolident souvent les deux parce que l'orchestration multi-agents rend l'autonomie urgente. Mais si vous obtenez l'autonomie au niveau des tâches, échelle prend soin d'elle-même. |
CORTEX
