Selenium爬虫报错
代码功能:第一次使用selenium模仿浏览器操作,爬取Boss直聘的招聘信息(requests容易被反爬虫)
Error:
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
Error分析:
使用selenium打开浏览器部分报错,显示chromedriver驱动需要在路径下,即需要对驱动做操作,错误部分为:
Error解决:
先说下背景:由于本人使用的是Microsoft Edge浏览器,电脑本身并没有安装谷歌浏览器,selenium版本为3.141.0
因此解决错误的思路从edge浏览器入手,具体过程有三步:
1.查看浏览器版本:
方法一:直接在浏览器查询
方法二 :浏览器>设置>
2. 下载edge浏览器驱动(驱动的版本与电脑中edge版本对应,以本人114.0.1823.58 (正式版本) (64 位)为例 )
下载链接:Microsoft Edge WebDriver - Microsoft Edge Developer
下载后解压,为以下文件
3.将文件放入Python目录下,并重命名为MicrosoftWebDriver.exe
测试是否解决
from time import sleep
from selenium import webdriver
driver = webdriver.Edge()##注意,报错的.Chromedriver()改成.Edge(),因为用的Edge浏览器
driver.get(r'https://www.baidu.com/')
sleep(5)
driver.close()
运行结果:成功!