Nie jestem bynajmniej utalentowanym programistą, ale dzięki darmowemu programowi o nazwie Byłem agentem SWE po prostu jestem w stanie zdebugować i naprawić poważny problem związany z plikiem o błędnej nazwie w różnych repozytoriach kodu w witrynie GitHub hostującej oprogramowanie.
Wskazałem agentowi SWE problem w GitHub i obserwowałem, jak przechodzi przez kod i zastanawiał się, co może być nie tak. Poprawnie ustalił, że główną przyczyną błędu była linia wskazująca niewłaściwą lokalizację pliku, następnie nawigował po projekcie, zlokalizował plik i poprawił kod, tak aby wszystko działało poprawnie. Jest to rodzaj rzeczy, które niedoświadczony programista (taki jak ja) może spędzać godziny na próbach debugowania.
Wielu programistów wykorzystuje już sztuczną inteligencję do szybszego pisania oprogramowania. GitHub Copilot był pierwszym zintegrowanym środowiskiem programistycznym, które wykorzystało sztuczną inteligencję, ale wiele IDE będzie teraz automatycznie uzupełniać fragmenty kodu, gdy programista zacznie pisać. Możesz także zadawać AI pytania dotyczące kodu lub poprosić ją o sugestie, jak ulepszyć to, nad czym pracujesz.
Zeszłego lata John Yang i Carlos Jimenez, dwaj doktoranci z Princeton, rozpoczęli dyskusję na temat tego, czego potrzeba, aby sztuczna inteligencja została inżynierem oprogramowania w świecie rzeczywistym. To skłoniło ich i innych w Princeton do wymyślenia Ławka SWE, zestaw testów porównawczych do testowania narzędzi AI w szeregu zadań związanych z kodowaniem. Po opublikowaniu testu porównawczego w październiku zespół opracował własne narzędzie — agenta SWE — umożliwiające wykonanie tych zadań.
SWE-agent („SWE” to skrót od „inżynierii oprogramowania”) to jeden z wielu znacznie potężniejszych programów do kodowania AI, które wykraczają poza zwykłe pisanie wierszy kodu i działają jako tak zwani agenci oprogramowania, wykorzystując narzędzia potrzebne do rozwiązywania problemów , debugowania i organizowania oprogramowania. Startup Devin stał się wirusowy demonstracja wideo jednego z takich narzędzi w marcu.
Ofir Press, członek zespołu Princeton, twierdzi, że SWE-bench może pomóc OpenAI w testowaniu wydajności i niezawodności agentów oprogramowania. „To tylko moja opinia, ale sądzę, że wkrótce wypuszczą agenta oprogramowania” – mówi Press.
OpenAI odmówił komentarza, ale inne źródło posiadające wiedzę na temat działalności firmy, które prosiło o zachowanie anonimowości, powiedziało WIRED, że „OpenAI zdecydowanie pracuje nad agentami kodującymi”.
Tak jak GitHub Copilot pokazał, że duże modele językowe mogą pisać kod i zwiększać produktywność programistów, tak narzędzia takie jak SWE-agent mogą udowodnić, że agenci AI mogą działać niezawodnie, zaczynając od budowania i utrzymywania kodu.
Wiele firm testuje agentów do tworzenia oprogramowania. Na szczycie tabeli liderów SWE-bench, która mierzy wyniki różnych agentów kodujących w różnych zadaniach, znajduje się jeden z Fabryczna sztuczna inteligencjastart-up, a następnie AutoCodeRoverwpis o otwartym kodzie źródłowym autorstwa zespołu z National University of Singapore.
Wielcy gracze również wchodzą w grę. Narzędzie do pisania oprogramowania tzw Amazonka Q to kolejny czołowy zawodnik na ławce SWE. „Tworzenie oprogramowania to znacznie więcej niż tylko pisanie na klawiaturze” – mówi Deepak Singh, wiceprezes ds. rozwoju oprogramowania w Amazon Web Services.
Dodaje, że AWS wykorzystał agenta do przetłumaczenia całych stosów oprogramowania z jednego języka programowania na inny. „To tak, jakby mieć obok siebie naprawdę inteligentnego inżyniera, który razem z tobą pisze i tworzy aplikację” – mówi Singh. „Myślę, że to całkiem przemieniające”.
Zespół OpenAI pomógł niedawno załodze Princeton ulepszyć punkt odniesienia do pomiaru niezawodności i skuteczności narzędzi takich jak SWE-agent, sugerując, że firma może również doskonalić agentów do pisania kodu lub wykonywania innych zadań na komputerze.
Singh twierdzi, że wielu klientów już buduje złożone aplikacje backendowe przy użyciu Q. Moje własne eksperymenty z SWE-bench sugerują, że każdy, kto koduje, wkrótce będzie chciał używać agentów w celu zwiększenia swoich umiejętności programowania, w przeciwnym razie ryzykuje pozostanie w tyle.
