synun
개발시넌
synun
전체 방문자
오늘
어제
  • 분류 전체보기 (71)
    • javascript (5)
    • react (8)
    • web (1)
    • git (3)
    • aws (1)
    • project (0)
    • 개발일기 (36)
    • 항해99 (16)
    • 회고 (1)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

인기 글

태그

  • wil
  • github actions
  • SSE
  • gh-pages
  • react-query
  • Algorithm
  • Selenium
  • framer-motion
  • CI/CD
  • fout
  • 인프랩
  • React
  • 합성컴포넌트
  • Redux-toolkit
  • sipe
  • TIL
  • 알고리즘풀이
  • use-sound
  • GIT
  • githubactions
  • Vite
  • apt-fast
  • howler.js
  • life-cycle
  • javascript
  • 항해99
  • password authentication was removed
  • Howler
  • 인프콘
  • json-server

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
synun
aws

[AWS] ec2(ubuntu)에서 selenium 사용하기

[AWS] ec2(ubuntu)에서 selenium 사용하기
aws

[AWS] ec2(ubuntu)에서 selenium 사용하기

2022. 11. 21. 14:45

aws 환경에서 selenium을 사용해야하는 경우에는 크롬드라이버 관련 설치로 환경설정이 필요하다.

최근에 환경 설정을 하게 되어서 관련 자료들을 정리한다.

 

Ubuntu 업데이트 및 필수 패키지 설치

// Ubuntu 업데이트
$ sudo apt update && sudo apt upgrade -y

// 필수 패키지 설치
$ sudo apt install apt-transport-https ca-certificates curl software-properties-common wget -y

 

먼저 시스템 업데이트를 시작하기 전에 기존 패키지가 모두 최신 버전인지 확인하여 설치 중 충돌을 방지합니다.

그 다음 구글 크롬을 설치하기 위한 필수 패키지를 설치해야 합니다. 확실하지 않다면 명령어를 실행시켜도 문제가 없습니다.

구글 크롬 설치

// GPG 키 가져오기
$ wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -

// Google 크롬 저장소 가져오기
$ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list'

// stable version 설치
$ sudo apt update
$ sudo apt install google-chrome-stable -y

chrome을 설치하려면 인증을 위한 gpg키가 필요하다.

그 다음 구글 크롬 저장소를 가져온 뒤 apt 목록에 새로 추가된 목록을 반영해준다.

이후 구글 크롬 stable version을 설치해준다.

// 구글 크롬 버전 확인
$ google-chrome --version
> Google Chrome 107.0.5304.110

Unzip 설치

// unzip 설치
$ yum install unzip

// unzip 버전 확인
$ rpm -qa | grep unzip

크롬 드라이버 zip 파일을 압축해제하기 위해서 unzip 패키지가 필요하다.

설치 후 설치가 잘 되었는지 버전을 확인해보자

크롬 드라이버 설치

 

ChromeDriver - WebDriver for Chrome

WebDriver for Chrome

sites.google.com

해당 사이트는 deprecated되었으니 최신 버전의 드라이버는 찾을 수가 없다.

대신 밑의 migrated된 사이트를 이용하자.

사이트도 훨씬 깔끔하고 보기 좋아졌다.

 

명색의 전세계 대표 브라우저 크롬인데 너무 무신경하기는 했다.

 

ChromeDriver - WebDriver for Chrome

WebDriver is an open source tool for automated testing of webapps across many browsers. It provides capabilities for navigating to web pages, user input, JavaScript execution, and more. ChromeDriver is a standalone server that implements the W3C WebDriver

sites.google.com

 

 

자신이 설치한 크롬의 버전에 맞게 드라이버를 찾아 준다.

 

chromedriver_linux64.zip의 링크를 복사한다.

 

wget -N 다음에 복사한 링크를 붙여넣기해서 다운로드 받아주면 된다.

// 크롬드라이버 zip 파일 설치
$ wget -N https://chromedriver.storage.googleapis.com/107.0.5304.62/chromedriver_linux64.zip

// 크롬드라이버 파일 압축해제
$ unzip chromedriver_linux64.zip

// 크롬드라이버 /usr/bin 경로로 이동
$ sudo mv chromedriver /usr/bin/chromedriver

// 크롬드라이버 버전 확인
$ chromedriver -version

필요 라이브러리 설치

$ sudo pip install xlrd
$ sudo apt-get install xvfb
$ sudo pip install pyvirtualdisplay

위 세가지 라이브러리를 설치해주지 않으면 오류가 날 수 있다.

셀레니움 실행

from selenium import webdriver
from pyvirtualdisplay import Display

display = Display(visible=0, size=(1920, 1080))
display.start()

path='/usr/bin/chromedriver'
driver = webdriver.Chrome(path)

프로젝트에 셀레니움을 설정하는 부분에 코드를 알맞게 추가해주면 된다.

 

▶Reference

더보기

https://ko.linuxcapable.com/how-to-install-google-chrome-on-ubuntu-20-04/

 

Ubuntu 20.04 LTS에 Google 크롬을 설치하는 방법 - LinuxCapable

안정, 베타 및 불안정 옵션이 있는 명령줄 터미널을 사용하여 Ubuntu 20.04 LTS Focal Fossa에 Google Chrome을 설치하는 방법을 알아보세요.

ko.linuxcapable.com

https://incomeplus.tistory.com/266

 

AWS에 크롬드라이버 설치 selenium 돌리기

아마존 EC2에서 셀레니움 작업을 하기 위해서는 서버에 크롬드라이버 및 구글 크롬 브라우저를 설치 해줘야 한다. 파이썬으로 셀레니움을 아마존 EC2에서 돌려보자. 아래 명령어를 실행하는 기본

incomeplus.tistory.com

https://jeonyoungho.github.io/posts/InstallChromeInCentOs/

 

[AWS-EC2] Ec2에 Chrome 및 ChromeDriver 설치

Chrome 설치 1) yum 저장소 생성

jeonyoungho.github.io

https://somjang.tistory.com/entry/Ubuntu-Ubuntu-%EC%84%9C%EB%B2%84%EC%97%90-Selenium-%EC%84%A4%EC%B9%98%ED%95%98%EA%B3%A0-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0

 

[Ubuntu] Ubuntu 서버에 Selenium 설치하고 사용하기

Mac에서 Selenium을 활용하여 열심히 크롤링 코드를 작성하여 제대로 동작하는지 확인한 후 호기롭게 Ubuntu 서버에 그대로 파일을 옮긴 뒤 selenium 라이브러리를 설치하고 Linux용 chromedriver를 다운받

somjang.tistory.com

 

 

  • Ubuntu 업데이트 및 필수 패키지 설치
  • 구글 크롬 설치
  • Unzip 설치
  • 크롬 드라이버 설치
  • 필요 라이브러리 설치
  • 셀레니움 실행
synun
synun

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.