Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Osobną sprawą pozostaje mechanizm oceny własnych działań. Dobrze zbudowany agent potrafi rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.