Веб-скрейпер – це інструмент, який використовується для автоматичного витягування даних з веб-сайтів. Він здійснює навігацію по веб-сторінках, збирає інформацію та зберігає її у структурованому форматі. Цей процес часто використовується для різних цілей, таких як маркетингові дослідження, аналіз даних та агрегація контенту. Веб-скрейпінг – це ефективний спосіб швидко збирати великі обсяги даних, уникнувши необхідності вручного введення даних. Однак важливо переконатися, що веб-скрейпінг виконується відповідно до умов і положень цільових веб-сайтів, щоб уникнути будь-яких юридичних або етичних проблем.
Ідея
Я хочу зробити Python веб-скрейпер на Raspberry Pi. Алгоритм його роботи полягатиме в тому, що Raspberry Pi повинна кожної години гуглити фразу “чому кішки так багато сплять?”, відбирати 5 новин і надсилати мені їх у телеграм через бот. Ви можете обрати будь-яку фразу і не одну, а також змінити періодичність запуску веб-скрейпінгу – це дуже просто налаштувати в коді скрейпера.
Конфігурація телеграм бота
Для початку на потрібно створити й налаштувати бота, який надсилатиме нам результати пошуку Google. Механізм та послідовність такого налаштування я детально описував у статті про Raspberry Pi OpenCV тому зараз на цьому зупинятися не буду. Ви можете перейти за посиланням і переглянути деталі. Вам обов’язково треба виконати описані там інструкції, щоб отримати токен бота й ідентифікатор чату, адже вони нам знадобляться для надсилання повідомлень.
Програмний код веб-скрейпера
Не буду описувати процес встановлення операційної системи на Raspberry Pi, вважатиму, що у вас вже є готова Raspberry Pi із встановленою OS Raspbian. В процесі роботи над даним проектом, я використав фрагменти програмного коду веб-скрейпера із цього веб-сайту. Мені довелося додати коректний парсинг URL адреси посилання, а також власне надсилання короткого опису результатів пошуку із посиланнями на веб-сторінки за допомогою телеграм бота.
Що ж, розглянема код та опишемо ключові моменти в ньому:
import requests
from bs4 import BeautifulSoup
from time import sleep
TOKEN = "YOUR_TELEGRAM_BOT_TOKEN"
CHAT_ID = "YOUR_TELEGRAM_CHAT_ID"
query = "чому кішки так багато сплять?"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
def get_search_results(query):
url = 'https://www.google.com.ua/search?gl=us&q=' + query
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# Find all the search result this div wrapper
result_divs = soup.find_all('div', class_='Gx5Zad fP1Qef xpd EtOod pkphOe')
results = []
for div in result_divs:
# Only get the organic_results
if div.find('div', class_='egMi0 kCrYT') is None:
continue
# Extracting the title (linked text) from h3
title = div.find('h3').text
# Extracting the URL
link = div.find('a')['href']
# Extracting the brief description
description = div.find('div', class_='BNeawe s3v9rd AP7Wnd').text
results.append({'title': title, 'link': link, 'description': description})
return results
def send_message(message):
url = f"https://api.telegram.org/bot{TOKEN}/sendMessage"
params = {
"chat_id": CHAT_ID,
"text": message
}
response = requests.post(url, json=params)
# print(response.json())
search_results = get_search_results(query)
counter = 1
for result in search_results:
if counter <=5:
print(result['title'] + "\n" + result['link'] + "\n" + result['description'])
print("-------------")
send_message(f"Знайдено збіг для фрази '{query}':\n\n" + result['description'] + "\n\n" + str(result['link'].split("url=",1)[1]).split("&ved=")[0])
else:
break
counter += 1
sleep(10)
Як ви бачите вище, вам потрібні токен телеграм бота та ідентифікатор чату, які ви можете отримати з інструкцій за посиланням у попередньому кроці. Також ми маємо дві основні функції: get_search_results – для скрейпінгу, а також send_message – для надсилання результатів пошуку в телеграм. В моєму коді Raspberry Pi здійснює скрейпинг, розпаршує результат і надсилає ботом в телеграм коротку інформацію та посилання на кожен із п’яти результатів пошуку із періодичністю в 10 секунд між повідомленнями.
Тепер налаштуємо виконання нашого Python-скрипта з періодичністю в одну годину за допомогою крону:
crontab -e
І додаємо наш скрипт і правило для його виконання (див. більше налаштувань тут):
00 * * * * /usr/bin/python /home/raspberrypi/web_scraper.py
Перевіряємо роботу веб-скрейпера на Raspberry Pi
При запуску нашого Python-скрипта ми бачимо вивід результату його роботи в консолі:
Також паралельно телеграм бот надсилає результат роботи веб-скрейпера у телеграм. Виглядає це таким чином:
Замість висновку
Насправді даний проект можна цікаво розширити. Наприклад можна навчити Raspberry Pi очікувати на повідомлення, яке ви пишете телеграм боту і вже на основі цього повідомлення здійснювати пошукові запити і повертати вам результат, а не робити це по крону. Є багато цікавих можливостей, які ви можете реалізувати для власних потреб. Ви можете сміливо ділитися вашими ідеями й думками у коментарях 😉
