seleniumを使っているとき、どんなデータが取得されてるかを確認する方法

スクレイプをしている時に、どういうようなデータが取得できているかを確認したい時は、 page_sourceを取得したコンテンツを全部表示して確認するのが手っ取り早い。 ソースコードは↓

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.yahoo.co.jp')
time.sleep(3)

#これでseleinumで取得したデータが表示される
print(driver.page_source)

js系のページはデベロッパーツールのソース表示とseleniumのコンテンツがあってないことが多い

通常の手段として、ブラウザのデベロッパーツールでhtmlの表示を確認して、css selectorとかでやるけど、 SPAとかreactとかになっているとほしい情報が取得できなかったりするので、まずはpage_sourceを確認するとやりやすい。