【Webスクレイピング】Python自作ツールでブログの競合サイトを調査する方法

pip install selenium

pip install xlwings

from Function import BlogKeywordFunc

# ユーザー定義
# 調べたいキーワードを入力
keyword = "調べたいキーワードをこちらにいれてください"

# 何ページ目まで調べたいかを入力
require_page_num = 1

# chrome driverのパスを入力
chrome_driver_path = "chrome driverを保存したフォルダのパスをいれてください"

# google アカウントのプロフィールパス定義
profile_path = "使用したいgoogle アカウントのプロフィールのパスを入力してください"

# Excelファイル名定義 必要に応じて適宜変更ください。
excelfile_name = "competitor_site_info.xlsx"

# プログラム実行
#　google検索で、サイト名、タイトル、サイトのURLを取得する。
result_list = BlogKeywordFunc.google_search_result(
    keyword, require_page_num, chrome_driver_path, profile_path)

# どのセルに結果を出力するか定義
startcell = "A1"

# シート名を定義
sht_name = keyword
BlogKeywordFunc.save2excel(result_list, startcell, sht_name, excelfile_name)

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import xlwings as xw
import pandas as pd


# seliniumによるwebスクレイピング「サイト名」、「記事タイトル」、「サイトのURL」を取得する
def google_search_result(keyword, require_page_num, chrome_driver_path, profile_path):
    # 待機時間の設定[s]
    wait_time = 3

    # google chrome プロフィールパス定義
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument("--user-data-dir="+profile_path)

    # chrome driverを使って、googleサイトにアクセス
    driver = webdriver.Chrome(
        executable_path=chrome_driver_path, options=chrome_options)
    driver.get("https://www.google.co.jp/")

    # INTERVAL秒間待つ
    time.sleep(wait_time)

    # 検索欄にキーワードを入力
    elem = driver.find_element(By.NAME, "q")
    elem.send_keys(keyword)

    # INTERVAL秒間待つ
    time.sleep(wait_time)

    # 検索実行ボタンをクリックする
    driver.find_elements_by_name('btnK')[0].click()

    # 変数の初期化
    page = 1  # ページ数の初期値
    site_name_list = []  # 　サイト名のリスト初期化
    title_list = []  # 　タイトルのリスト初期化
    site_url_list = []  # 　URLのリスト初期化

    while page <= require_page_num:

        # INTERVAL秒間待つ
        time.sleep(wait_time)

        # サイト名、タイトル、サイトのURLが入った箇所を取得
        serch_result_list = driver.find_elements_by_css_selector('.yuRUbf')

        # サイト名、タイトル、サイトのURLを取得する。
        for serch_result in serch_result_list:
            # 取得したサイト名が空でない場合に、それぞれのリストに情報を追加
            try:
                if serch_result.find_element_by_class_name('VuuXrf').text:
                    site_name_list.append(
                        serch_result.find_element_by_class_name('VuuXrf').text)
                    title_list.append(
                        serch_result.find_element_by_tag_name('h3').text)
                    site_url_list.append(serch_result.find_element_by_tag_name(
                        'a').get_attribute('href'))
            except:
                pass

        # ページの遷移
        if page < require_page_num:
            next_page_url = driver.find_element_by_id(
                'pnnext').get_attribute('href')
            driver.get(next_page_url)

        page += 1

    # chrome driveを修了する
    driver.close()

    # サイト名、タイトル、サイトのURLを一つのデータフレームにする
    # 順位を示すリストを作成する。
    order_list = []
    for i in range(len(site_name_list)):
        order_list.append("順位"+str(i+1))

    # pandasデータフレームを作成
    result_list = [site_name_list, title_list, site_url_list]
    result = pd.DataFrame(result_list, index=[
                          "サイト名", "タイトル", "サイトのURL"], columns=order_list).T

    return result

# 取得した情報をエクセルに出力する


def save2excel(data_in, startcell, sht_name, excelfile_name):
    wb = xw.Book()
    wb.sheets.add(sht_name)
    xw.Range(startcell).value = data_in
    wb.save(excelfile_name)
    wb.close()