그동안 AI 업계에서 수많은 추측과 기대를 모았던 'AI 에이전트'가 마침내 그 모습을 드러냈다. 지난 22일 Anthropic이 공개한 Claude 3.5 Sonnet의 '컴퓨터 사용(Computer Use)' 기능을 통해서다. 오픈AI의 샘 올트먼이 "챗GPT는 에이전트에 비하면 멍청한 수준"이라고 말할 만큼 주목받아 온 AI 에이전트, 과연 어떤 모습일까?

"엑셀 파일에서 A사 정보를 찾아봐."

"없네요. CRM으로 이동해서 검색해볼게요."

"찾았습니다. 이제 양식을 작성할게요."

마치 유능한 비서와 대화하는 것 같지만, 실제로는 AI가 직접 마우스를 움직이고 키보드를 두드리며 업무를 처리하는 장면이다. 드디어 AI가 실제 사람처럼 컴퓨터를 다루기 시작한 것이다.

"이제 AI가 직접 컴퓨터를 조작합니다"

기존의 AI는 단순히 대화하거나 코드를 생성하는 수준이었다. 하지만 이제는 다르다. 화면을 보고 해석하고, 언제 어떤 작업을 수행할지 판단하며, 마우스 커서를 정확한 픽셀 위치로 이동시켜 클릭하는 등 실제 사람처럼 컴퓨터를 다룬다. Claude 3.5 Sonnet은 AI 에이전트 기능을 제공하는 최초의 AI 모델이다.

"90년대 감성의 개인 웹사이트를 만들어주세요"

Anthropic의 개발자 관계 책임자 Alex가 90년대 스타일의 웹사이트 제작을 요청하자 Claude가 움직이기 시작했다. Chrome 브라우저를 열고 claude.ai 사이트로 이동해 웹사이트 제작 프롬프트를 직접 입력했다.  잠시 후 오른쪽 Artifact 패널에 완성된 코드와 웹사이트가 나타났다.

이어진 "이 파일을 다운로드해서 VS Code로 열어줘"라는 요청에 Claude는 클립보드 아이콘 옆의 다운로드 버튼을 클릭했다. VS Code를 실행한 후 다운로드 폴더에서 파일을 찾아 열었다.

"이제 터미널을 열고HTML 파일을 실행할 서버를 시작해줘"라는 지시가 이어졌다. Claude는 VS Code의 메뉴 바에서 터미널을 선택해 열었고 서버 실행을 시도했다. 그러나 Python이 설치되어 있지 않아 오류가 발생했다. Claude는 터미널의 오류 메시지를 분석한 후 시스템에 설치된 Python3로 다시 시도해 성공적으로 서버를 실행했다.

웹사이트를 확인해보니 터미널에 오류가 보이고 상단에 누락된 파일 아이콘이 있었다. "터미널의 오류를 수정해줘"라는 요청에 Claude는 VS Code의 찾기 도구를 사용해 문제가 되는 코드 라인을 찾아냈다. 해당 라인을 제거하고 파일을 저장하자 오류가 해결됐다.

"Ant Equipment Co. 정보로 공급업체 등록 양식을 작성해주세요"

Anthropic의 연구원 Sam은 공급업체 등록 양식 작성 작업을 시연했다. "vendor 스프레드시트나 검색 포털에서 'Ant Equipment Co.'의 정보를 찾아서 양식을 작성해줘. 각 필드를 작성하면서 확인도 해줘"라는 요청했다.

Claude는 먼저 화면 캡처를 시작하며 스프레드시트에서 회사 정보를 검색했다. 원하는 정보를 찾지 못하자 CRM 시스템으로 전환해 회사명으로 검색을 시도했고, 드디어 매칭되는 결과를 발견했다. Claude는 페이지를 스크롤하며 필요한 모든 정보를 수집했고, 자동으로 양식의 각 필드를 하나씩 채워나갔다. 작성이 완료된 후에는 양식을 제출하는 것까지 자동으로 처리했다.

"내일 친구와 골든 게이트 브릿지에서 일출을 보고 싶어요"

Anthropic의 연구원 Pujaa가 시연한 마지막 데모는 일정 관리 작업이었다. "내일 친구와 함께 골든 게이트 브릿지에서 일출을 보려고 해요. Pacific Heights에서 출발할 건데, 좋은 전망 포인트를 찾아주고 운전 시간과 일출 시간을 확인해서 캘린더에 일정을 잡아줄래요?"

Claude는 먼저 Chrome 브라우저를 열어 구글 검색을 시작했다. 골든 게이트 브릿지가 잘 보이는 최적의 일출 감상 포인트를 찾아냈다. 이어서 Google Maps를 열어 Pacific Heights에서 선택한 장소까지의 경로를 검색했다. 예상 이동 시간을 확인한 후, 다음날의 일출 시간도 검색했다.

모든 정보를 수집한 Claude는 이동 시간을 고려해 출발 시간을 계산했고, 캘린더에 일정을 생성했다. 장소, 이동 경로, 소요 시간 등 필요한 정보를 모두 포함한 상세한 일정이 캘린더에 등록됐다.

AI 에이전트 시대의 서막

이제 AI 에이전트를 둘러싼 기술 전쟁이 본격화될 전망이다. 마이크로소프트는 이미 '자율 에이전트' 기능을 발표했고, 다음 달 코파일럿 스튜디오를 통해 맞춤형 AI 비서 제작 기능을 제공할 예정이다. IT 전문매체 디인포메이션에 따르면 오픈AI도 컴퓨터로 작업할 수 있는 에이전트를 개발 중이며, 내부 시연까지 마친 것으로 알려졌다. 심지어 배달 음식을 주문하거나 코딩 문제를 해결하기 위해 웹사이트를 검색하는 등의 기능도 구현했다고 한다.

물론 우려도 있다. Anthropic의 시연 중 Claude가 실수로 녹화를 중지하거나 엉뚱한 사진을 보는 '딴짓'을 하기도 했다. 이에 Anthropic은 소셜미디어 계정 생성, 정부 웹사이트 접근 등 고위험 동작은 차단했다. 특히 미국 대선을 앞두고 선거 관련 활동도 제한했다.

하지만 가능성은 이미 입증됐다. OSWorld 평가에서 Claude는 스크린샷 기반 컴퓨터 사용 부문에서 14.9%의 성능을 보이며 경쟁 시스템(7.8%)을 크게 앞섰다. 이미 Asana, Canva, DoorDash, Replit 등이 이 기술을 검토 중이며, 영국 반려동물 케어 기업 팻츠엣홈은 에이전트 도입으로 연간 수억 원의 비용 절감을 기대하고 있다.

AI가 실제로 컴퓨터를 다루며 우리의 업무를 도와주는 시대가 시작된 것이다. Anthropic이 AI 에이전트의 베일을 벗기며 시작된 혁신은 우리의 일하는 방식을 근본적으로 바꿀 것으로 보인다.

"이제 이거 좀 해줘"라는 말 한마디에 AI가 척척 일을 처리하는 진정한 AI 비서의 시대가 열린 것이다.