[AWS] ec2(ubuntu)에서 selenium 사용하기

aws 환경에서 selenium을 사용해야하는 경우에는 크롬드라이버 관련 설치로 환경설정이 필요하다.

최근에 환경 설정을 하게 되어서 관련 자료들을 정리한다.

 

Ubuntu 업데이트 및 필수 패키지 설치

// Ubuntu 업데이트
$ sudo apt update && sudo apt upgrade -y

// 필수 패키지 설치
$ sudo apt install apt-transport-https ca-certificates curl software-properties-common wget -y

 

먼저 시스템 업데이트를 시작하기 전에 기존 패키지가 모두 최신 버전인지 확인하여 설치 중 충돌을 방지합니다.

그 다음 구글 크롬을 설치하기 위한 필수 패키지를 설치해야 합니다. 확실하지 않다면 명령어를 실행시켜도 문제가 없습니다.

구글 크롬 설치

// GPG 키 가져오기
$ wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -

// Google 크롬 저장소 가져오기
$ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list'

// stable version 설치
$ sudo apt update
$ sudo apt install google-chrome-stable -y

chrome을 설치하려면 인증을 위한 gpg키가 필요하다.

그 다음 구글 크롬 저장소를 가져온 뒤 apt 목록에 새로 추가된 목록을 반영해준다.

이후 구글 크롬 stable version을 설치해준다.

// 구글 크롬 버전 확인
$ google-chrome --version
> Google Chrome 107.0.5304.110

Unzip 설치

// unzip 설치
$ yum install unzip

// unzip 버전 확인
$ rpm -qa | grep unzip

크롬 드라이버 zip 파일을 압축해제하기 위해서 unzip 패키지가 필요하다.

설치 후 설치가 잘 되었는지 버전을 확인해보자

크롬 드라이버 설치

ChromeDriver - WebDriver for Chrome

해당 사이트는 deprecated되었으니 최신 버전의 드라이버는 찾을 수가 없다.

대신 밑의 migrated된 사이트를 이용하자.

사이트도 훨씬 깔끔하고 보기 좋아졌다.

 

명색의 전세계 대표 브라우저 크롬인데 너무 무신경하기는 했다.

ChromeDriver - WebDriver for Chrome

 

 

자신이 설치한 크롬의 버전에 맞게 드라이버를 찾아 준다.

 

chromedriver_linux64.zip의 링크를 복사한다.

 

wget -N 다음에 복사한 링크를 붙여넣기해서 다운로드 받아주면 된다.

// 크롬드라이버 zip 파일 설치
$ wget -N https://chromedriver.storage.googleapis.com/107.0.5304.62/chromedriver_linux64.zip

// 크롬드라이버 파일 압축해제
$ unzip chromedriver_linux64.zip

// 크롬드라이버 /usr/bin 경로로 이동
$ sudo mv chromedriver /usr/bin/chromedriver

// 크롬드라이버 버전 확인
$ chromedriver -version

필요 라이브러리 설치

$ sudo pip install xlrd
$ sudo apt-get install xvfb
$ sudo pip install pyvirtualdisplay

위 세가지 라이브러리를 설치해주지 않으면 오류가 날 수 있다.

셀레니움 실행

from selenium import webdriver
from pyvirtualdisplay import Display

display = Display(visible=0, size=(1920, 1080))
display.start()

path='/usr/bin/chromedriver'
driver = webdriver.Chrome(path)

프로젝트에 셀레니움을 설정하는 부분에 코드를 알맞게 추가해주면 된다.

 

▶Reference

https://ko.linuxcapable.com/how-to-install-google-chrome-on-ubuntu-20-04/

Ubuntu 20.04 LTS에 Google 크롬을 설치하는 방법 - LinuxCapable

https://incomeplus.tistory.com/266

AWS에 크롬드라이버 설치 selenium 돌리기

https://jeonyoungho.github.io/posts/InstallChromeInCentOs/

[AWS-EC2] Ec2에 Chrome 및 ChromeDriver 설치

https://somjang.tistory.com/entry/Ubuntu-Ubuntu-%EC%84%9C%EB%B2%84%EC%97%90-Selenium-%EC%84%A4%EC%B9%98%ED%95%98%EA%B3%A0-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0

[Ubuntu] Ubuntu 서버에 Selenium 설치하고 사용하기