返回
科技
python爬虫学习:selenium提取数据
2023-02-17 16:39  浏览:220
知识点：
  • 了解 driver对象得常用属性和方法
  • 掌握 driver对象定位标签元素获取标签对象得方法
  • 掌握 标签对象提取文本和属性值得方法1. driver对象得常用属性和方法

    在使用selenium过程中，实例化driver对象后，driver对象有一些常用得属性和方法

    1. driver.page_source 当前标签页浏览器渲染之后得网页源代码
    2. driver.current_url 当前标签页得url
    3. driver.close() 关闭当前标签页，如果只有一个标签页则关闭整个浏览器
    4. driver.quit() 关闭浏览器
    5. driver.forward() 页面前进
    6. driver.back() 页面后退
    7. driver.screen_shot(img_name) 页面截图
    知识点：了解 driver对象得常用属性和方法2. driver对象定位标签元素获取标签对象得方法

    在selenium中可以通过多种方式来定位标签，返回标签元素对象

    find_element_by_id (返回一个元素)find_element(s)_by_class_name (根据类名获取元素列表)find_element(s)_by_name (根据标签得name属性值返回包含标签对象元素得列表)find_element(s)_by_xpath (返回一个包含元素得列表)find_element(s)_by_link_text (根据连接文本获取元素列表)find_element(s)_by_partial_link_text (根据链接包含得文本获取元素列表)find_element(s)_by_tag_name (根据标签名获取元素列表)find_element(s)_by_css_selector (根据css选择器来获取元素列表)

  • 注意：
  • find_element和find_elements得区别：
  • 多了个s就返回列表，没有s就返回匹配到得第壹个标签对象
  • find_element匹配不到就抛出异常，find_elements匹配不到就返回空列表
  • by_link_text和by_partial_link_tex得区别：全部文本和包含某个文本
  • 以上函数得使用方法
  • driver.find_element_by_id('id_str')知识点：掌握 driver对象定位标签元素获取标签对象得方法3. 标签对象提取文本内容和属性值

    find_element仅仅能够获取元素，不能够直接获取其中得数据，如果需要获取数据需要使用以下方法

  • 对元素执行操作element.click()
  • 对定位到得标签对象进行操作
  • 向输入框输入数据element.send_keys(data)
  • 对定位到得标签对象输入数据
  • 获取文本element.text
  • 通过定位获取得标签对象得text属性，获取文本内容
  • 获取属性值element.get_attribute("属性名")
  • 通过定位获取得标签对象得get_attribute函数，传入属性名，来获取属性得值
  • 代码实现，如下：
  • from selenium import webdriver

    driver = webdriver.Chrome()

    driver.get('特别itcast/')

    ret = driver.find_elements_by_tag_name('h2')
    print(ret[0].text) #

    ret = driver.find_elements_by_link_text('黑马程序员')
    print(ret[0].get_attribute('href'))

    driver.quit()知识点：掌握 元素对象得操作方法