Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozciąga się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry zapisaną listę poleceń.
Oddzielną sprawą pozostaje mechanizm oceny własnych działań. Dobrze zbudowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do wcześniejszego etapu, by spróbować innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej oddaniem.