앤트로픽의 컴퓨터 유즈- AI 에이전트가 컴퓨터를 제어하다

배경 및 목적

• 10월 23일, 앤스로픽(Anthropic)에서 새로운 기능인 Claude 3.5 Sonnet과 Claude 3.5 Haiku를 포함하여 Computer Use 기능이 업데이트되었습니다. 그 중 특히 Computer Use 기능이 인상 깊어, 이를 소개하고자 합니다.
• 원본뉴스URL: https://www.anthropic.com/news/3-5-models-and-computer-use

컴퓨터 유즈 기능 소개

기능 개요

앤트로픽이 공개한 ‘컴퓨터 유즈’ 기능은 기존의 단순한 화면 인식이나 텍스트 추출 기능을 뛰어넘어, AI가 사람처럼 컴퓨터를 직접 제어할 수 있도록 설계되었습니다. 사용자가 앤트로픽 API를 통해 클로드에게 명령을 내리면, AI는 컴퓨터 화면을 캡처하여 내부의 객체들을 분석하고, 마치 사람이 커서를 움직이고 클릭하는 방식으로 작업을 수행합니다. 이 과정은 단순한 명령 전달을 넘어, 복잡한 작업의 단계별 실행 계획을 세우고, 이를 실제 행동으로 옮기는 일련의 과정을 포함합니다.

예를 들어, 사용자가 “특정 양식을 작성해줘”라는 명령을 내리면, 클로드는 스크린샷을 분석하여 해당 양식의 위치와 구성요소를 파악하고, 필요한 데이터를 입력하는 절차를 자동으로 수행합니다. 이와 같이 컴퓨터 유즈 기능은 다양한 업무 자동화, 데이터 수집 및 처리, 웹 브라우징 자동화 등 다채로운 작업에 활용될 수 있습니다.

기술적 원리

클로드 3.5 소네트에 탑재된 컴퓨터 유즈 기능은 AI가 시각적 정보를 처리하는 컴퓨터 비전 기술과, 행동 계획 및 실행을 위한 강화 학습(Deep Reinforcement Learning) 기술이 결합된 결과물입니다. AI는 스크린샷을 통해 현재 컴퓨터 화면의 상태를 파악한 후, 사용자의 명령에 맞추어 커서 이동, 클릭, 텍스트 입력 등의 행동을 단계별로 결정합니다. 이 과정은 사람이 컴퓨터 작업을 수행할 때의 인지 및 행동 패턴을 모방하도록 설계되어 있으며, 특히 복잡한 업무 흐름을 처리하는 데 최적화되어 있습니다.

또한, 앤트로픽은 해당 기능을 개발함에 있어 여러 벤치마크 테스트(OSWORLD 등)를 통해 성능을 평가하였으며, 기존 AI 모델들이 보여준 7.8%의 점수를 크게 뛰어넘어 14.9% 이상의 성능을 기록함으로써, AI의 도구 사용 능력이 한층 업그레이드되었음을 확인했습니다. 이와 같이 컴퓨터 유즈 기능은 단순히 화면 인식에 머무르지 않고, 실제 사용자가 작업하는 방식을 재현하는 데 집중하고 있습니다.

Computer Use에서 지원하는 주요 기능 요약

• 웹 브라우징 - 웹사이트 검색, 읽기 및 정보 추출 가능
• 파일 조작 - 파일 읽기, 쓰기, 수정 등의 기본적인 파일 작업 수행
• 코드 실행 - Python 코드를 실행하고 결과를 분석할 수 있음
• 데이터 분석 - 스프레드시트나 데이터셋 분석 가능
• API 호출 - 외부 API와 통신하여 데이터를 가져오거나 전송
• 이미지 처리 - 이미지 분석 및 기본적인 이미지 처리 작업 수행

미래 전망과 시사점

기술 발전의 가속화

현재 컴퓨터 유즈 기능은 초기 베타 버전이지만, 향후 기능 개선과 함께 더욱 정교하고 빠른 AI 에이전트가 등장할 것으로 기대됩니다. 기술 발전에 따라 AI가 수행할 수 있는 작업의 범위는 더욱 확장될 것이며, 일상 업무뿐만 아니라 전문적인 분야에서도 혁신적인 자동화 솔루션으로 자리 잡을 가능성이 큽니다.

업무 자동화 및 생산성 향상

컴퓨터 유즈 기능은 반복적이고 시간이 많이 소요되는 작업들을 자동화하여, 기업 및 개인의 업무 효율성을 크게 향상시킬 수 있습니다. 특히, 데이터 입력, 문서 작성, 정보 검색 등의 단순 작업은 AI 에이전트를 통해 자동화됨으로써, 사용자는 보다 창의적이고 고부가가치의 업무에 집중할 수 있게 될 것입니다.

윤리적 고려와 안전한 사용

기술의 발전과 함께 AI의 오용 가능성도 커지고 있는 만큼, 컴퓨터 유즈 기능의 안전한 활용을 위한 윤리적, 보안적 고려가 필수적입니다. 앤트로픽은 이미 보안 시스템 강화 및 사용 제어에 대한 노력을 기울이고 있으며, 향후 기술이 상용화되기 전까지 철저한 사전 검증과 규제 마련이 필요합니다.

AGI(인공 일반 지능)로의 발전 가능성

컴퓨터 유즈 기능은 AI가 단순한 명령 수행을 넘어서, 복잡한 문제 해결 및 자율적인 업무 수행을 가능하게 하는 중요한 단계로 평가됩니다. 일부 전문가들은 이러한 기술이 AGI의 등장에 한 걸음 더 다가서는 신호로 보고 있으며, 향후 AI 에이전트가 인간과 유사한 수준의 사고와 행동을 수행할 날이 머지않았다고 전망합니다.

결론

앤트로픽의 컴퓨터 유즈 기능은 AI 기술이 단순한 텍스트 생성이나 질문 응답을 넘어, 실제 컴퓨터 조작과 업무 자동화를 구현할 수 있는 혁신적인 기술입니다. 현재 베타 버전임에도 불구하고, 다양한 데모와 활용 사례를 통해 이미 그 가능성을 입증하였으며, 향후 기술 발전과 함께 보다 정교하고 빠른 AI 에이전트로 발전할 전망입니다.

이와 같은 기술 발전은 업무 효율성을 극대화하고, 새로운 비즈니스 모델 및 서비스 혁신을 가져올 뿐 아니라, 동시에 보안 및 윤리적 문제에 대한 심도 있는 논의와 대비가 필요함을 시사합니다. AI 에이전트가 실제 인간과 유사한 작업을 수행하는 시대가 도래함에 따라, 기술 발전의 혜택을 누리면서도 안전하고 윤리적인 사용을 보장할 수 있는 체계적인 관리가 필수적입니다.

향후 앤트로픽을 비롯한 여러 기업들이 이러한 기술의 상용화를 위해 어떠한 추가 연구와 개발을 진행할지 주목해볼 만하며, 이는 인공지능 기술이 인간의 일상과 업무 환경에 미치는 영향력을 한층 더 확대할 중요한 전환점이 될 것입니다.

---

[참고자료]

• 사람처럼 PC 조작한다…앤트로픽 클로드 3.5 소네트, 신기능 추가
• Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku
• AI, 또 한번의 혁신 “Computer Use”
• 인공지능에 ‘손과 눈’ 달아줬다… 앤트로픽, 컴퓨터 직접 조작하는 ‘클로드 3.5 소네트’
• ‘눈·손 달렸다’…앤트로픽, 사람 대신 컴퓨터 작업하는 AI 공개
• 앤트로픽, 사람처럼 마우스 커서 움직이는 ‘AI 비서’ 공개
• 테디노트 demo(공식자료를 fork하여 데모만든 자료): https://github.com/teddylee777/anthropic-quickstarts/tree/main/computer-use-demo