Claude가 직접 브라우저를 조작하게 하세요: 양식 작성, 게시물 작성, 심지어 슬라이더 CAPTCHA까지 드래그 가능

대부분의 사람들은 AI를 "질문하면 답해주는 도구"로만 사용합니다. 하지만 정말 짜증나는 작업들은 "답을 모르는 것"이 아니라 웹 페이지에서 단계별로 직접 손을 움직여야 하는 것입니다. 하나하나 필드를 채우고, 정리한 내용을 웹 편집기에 붙여넣어 게시하고, 수십 개의 페이지를 넘기며 정보를 복사하고, 로그인할 때마다 슬라이더 CAPTCHA를 수동으로 드래그해야 합니다. 이런 작업은 AI가 가장 잘 처리해줄 수 있어야 하지만, AI는 여러분의 브라우저에 닿지 못합니다.

PandaNpc의 Chrome 확장 프로그램이 이 '닿지 못함'을 해결합니다: Claude Code가 실제로 브라우저에 손을 뻗어 여러분을 대신해 클릭하고, 입력하고, 페이지를 넘기고, 심지어 CAPTCHA까지 드래그할 수 있게 해줍니다. 스크린샷을 보여주고 "여길 클릭하세요"라고 알려주는 것이 아니라, 직접 실행합니다.

무엇인가

한 문장으로: Chrome 확장 프로그램으로, Claude를 브라우저의 '운영자'로 만듭니다.

연결 구조는 간단합니다:

你的 Claude Code  →  cc-relay 中转  →  浏览器插件  →  操作你当前看的网页

대화에서 "이 내용을 게시해줘", "이 양식을 작성해줘", "이 사이트에 로그인해줘"라고 말하면, Claude가 확장 프로그램을 호출하여 여러분이 보고 있는 그 탭에서 실행합니다. 확장 프로그램은 Claude의 '손'이며, 여러분은 모든 과정을 지켜볼 수 있습니다.

무엇을 할 수 있나

확장 프로그램은 Claude에게 43개의 브라우저 조작 도구를 제공하며, 사람이 마우스와 키보드로 할 수 있는 거의 모든 작업을 포함합니다:

• 보기: 페이지 본문 읽기, 스크린샷, 특정 요소 구조 가져오기, 페이지 뒤의 네트워크 요청 데이터 캡처.
• 클릭 및 입력: 버튼/링크 클릭, 입력 필드 채우기, 체크박스 선택, 드롭다운 선택, 키 입력(Ctrl/Enter 등 조합키 포함), 스크롤, 호버, 드래그.
• 페이지 이동 및 탐색: 탭 열기/닫기/전환, 앞으로/뒤로 가기, URL 이동, 특정 요소 로드 대기.
• 전송: 이미지(예: 표지 이미지)를 URL로 직접 웹 페이지의 업로드 상자에 전송. 이미지 바이트가 대화를 거칠 필요 없음.
• CAPTCHA 통과: 슬라이더 갭 인식, 슬라이더 드래그, 텍스트/이미지 CAPTCHA 클릭(아래에 자세히 설명).

중요한 것은 "도구가 얼마나 많은가"가 아니라 이 도구들을 외울 필요가 없다는 것입니다. 여러분이 평범한 말로 말하면, Claude가 스스로 일련의 작업으로 분해하여 실행합니다. 추상적으로 말하면, 다음과 같은 작업을 처리할 수 있습니다:

• 지루하고 반복적인 웹 페이지 작업을 한 마디로 위임 – 양식 작성, 일괄 처리, 페이지 간 정보 이동;
• 정리한 내용을 한 번에 웹 편집기에 주입하여 게시;
• 로그인이나 CAPTCHA 통과가 필요한 프로세스 처리.

어느 사이트에서 무엇을 할지는 여러분이 결정합니다.

특징: 어떻게 CAPTCHA를 '드래그'하는가

이것이 확장 프로그램의 진가를 가장 잘 보여주는 부분이며, 일반 웹 스크립트/유저스크립트로는 불가능합니다.

먼저 일반 자동화가 CAPTCHA를 통과하지 못하는 이유를 설명합니다. 브라우저는 각 이벤트에 isTrusted라는 '진위 스탬프'를 찍습니다: 사람이 마우스로 클릭한 이벤트는 isTrusted=true이고, JavaScript 코드로 생성된 클릭(element.click(), dispatchEvent)은 isTrusted=false입니다. CAPTCHA 및 안티크롤링 시스템이 이 스탬프를 확인하면 생성된 이벤트는 즉시 드러납니다. 따라서 유저스크립트로 시뮬레이션한 클릭은 CAPTCHA가 인식하지 않습니다.

이 확장 프로그램은 다른 경로를 사용합니다 – Chrome DevTools Protocol(CDP)을 통해 브라우저 커널 레벨에서 입력 이벤트를 주입하여 isTrusted=true인 진짜 스탬프를 생성하므로 안티크롤링 시스템이 사람인지 구분할 수 없습니다. 이것이 real_click / real_drag / real_type 같은 '실제 입력' 도구의 힘입니다.

'진짜'인 것만으로는 충분하지 않으며, 사람처럼 드래그해야 합니다. 슬라이더 드래그 궤적은 특별히 계산된 의인화 곡선으로, 직선 순간 이동이 아닙니다:

• 가변 속도: 시작은 느리고, 중간은 빠르며, 갭에 가까워지면 다시 느려짐(실제 사람이 물건을 드래그할 때 이런 가속/감속 패턴을 보임), 일정 속도가 아님;
• 곡선 경로: 중간에 약간 위로 볼록했다가 다시 내려와, 사람이 절대 직선으로 움직이지 않는 것을 시뮬레이션;
• 미세 떨림: 각 단계마다 픽셀 단위의 무작위 미세 떨림 추가;
• 일시 정지: 누를 때 먼저 잠시 멈춤(시작), 놓기 전에 다시 잠시 멈춤, 각 단계 사이에도 무작위 밀리초 간격.

슬라이더 갭 위치도 확장 프로그램이 직접 인식합니다: CAPTCHA 이미지를 캡처하여 그레이스케일로 변환하고, 열별로 수직 에지의 '에너지'를 계산합니다 – 퍼즐 조각과 갭의 왼쪽/오른쪽 두 수직 에지가 가장 강한 에너지를 가지며, 이를 통해 갭 위치를 찾습니다. Claude가 좌표를 받아 드래그 거리를 계산하고 의인화 궤적으로 드래그한 후 스크린샷을 확인하여 잘못되면 미세 조정합니다.

• 퍼즐 슬라이더: 갭 인식 → 드래그.
• '끝까지 드래그' 직선 슬라이더: 핸들과 트랙 오른쪽 끝 측정 → 한 번에 끝까지 드래그.
• 텍스트/이미지 클릭형 CAPTCHA: 스크린샷을 통해 요구되는 클릭 순서와 각 글자의 위치를 확인 → 좌표 순서대로 클릭.

또 다른 숨겨진 어려움: 많은 사이트의 로그인 상자와 CAPTCHA가 교차 출처 iframe 안에 있어 일반 스크립트의 선택자로는 접근할 수 없습니다. 하지만 이 좌표 기반 실제 입력은 렌더링 레이어에서 작동하므로 동일 출처 정책의 제약을 받지 않아, 교차 출처 iframe 내에서도 직접 조작할 수 있습니다.

한 줄 비교:

참고: CAPTCHA 통과는 여러분이 직접 권한이 있는 작업(예: 본인 계정 로그인)을 완료하기 위한 것이며, 타인 웹사이트를 대량으로 해킹하거나 공격하는 용도가 아닙니다.

보안: 여러분 몰래 이상한 짓을 하지 않음

AI가 브라우저를 조작하게 할 때 가장 큰 우려는 "내가 모르는 사이에 나쁜 일을 하지는 않을까"입니다. 확장 프로그램은 여러 단계의 안전장치를 갖추고 있습니다:

• 모든 작업은 승인 필요: Claude가 클릭/입력하려고 하면 사이드바에 카드가 나타나 "어느 페이지에서 무엇을 하려고 합니다"를 알려주며, 허용 / 항상 허용(이 사이트, 이 작업) / 거부를 선택할 수 있습니다.
• 고위험 사이트는 바로 차단: 인터넷 뱅킹, 결제, 이메일, 계정 로그인 페이지(공상/건상/초상, PayPal/알리페이/위챗페이, Gmail/QQ메일/Outlook, Google/마이크로소프트 로그인 등)는 모두 블랙리스트에 등록되어 있으며, 모든 작업이 거부되고 묻지도 않습니다.
• 현재 탭만 조작: 백그라운드에서 열려 있는 다른 웹 페이지는 건드리지 않습니다.
• 일시 중지 버튼: 언제든지 누르면 모든 자동화가 즉시 중단됩니다.
• 작업 기록: 최근 100개의 작업(시간, 페이지, 내용, 성공 여부)이 저장되어 확인 가능합니다.
• 여러 브라우저 간 간섭 없음: 동일 계정이 여러 브라우저에 설치되어 있어도 각 세션의 명령은 해당 브라우저에만 전달되며, 브로드캐스트되지 않고 잘못 전송되지 않습니다.

즉: 무엇을 할 수 있는지는 여러분이 카드 하나하나 승인하고, 무엇을 했는지는 언제든지 확인할 수 있습니다.

세 단계로 시작하기

1. 확장 프로그램 설치: Chrome 스토어에서 한 번에 설치 👉 PandaNpc — Remote Control for Claude Code

2. Claude Code 연결: 개발 머신에 pandapaw를 설치하고 실행:

   bash복사

   # macOS / Linux
   curl -fsSL https://cos.pandanpc.com/pandapaw/install.sh | sh
   # Windows (PowerShell)
   iwr -useb https://cos.pandanpc.com/pandapaw/install.ps1 | iex

   그런 다음 pandapaw qr를 실행하여 2분 유효한 일회성 페어링 코드를 생성하고, 확장 프로그램 사이드바에 붙여넣고 '연결'을 클릭합니다.

3. 작업 지시: 조작하려는 웹 페이지를 열고 대화에서 평범한 말로 말하세요 – "이 양식을 작성해줘", "로그인하고 CAPTCHA는 네가 드래그해줘", "이 내용을 게시해줘". 나머지는 Claude가 스스리 처리하며, 승인이 필요한 경우 카드가 나타납니다.

요약

AI가 가장 유용한 순간은 생각을 대신해줄 때가 아니라, 직접 손을 움직여 줄 때입니다. 이 Chrome 확장 프로그램은 Claude를 '채팅 상자 속의 상담사'에서 '브라우저 속의 운영자'로 바꿔줍니다: 43개의 조작 도구, 슬라이더 및 클릭형 CAPTCHA 통과, 교차 출처 iframe 진입 가능, 완벽한 승인 + 블랙리스트 + 일시 정지 + 기록 보안 시스템을 갖추고 있습니다.

AI가 웹 페이지에서 실제로 작업을 처리하도록 하려면, 지금 확장 프로그램을 설치하고 Claude Code에 연결해보세요.