BeautifulSoup হল একটি 서드-পার্টি পাইথন লাইব্রেরি যা ওয়েব পেজ থেকে ডেটা পার্স করতে ব্যবহৃত হয়। এটি ওয়েব স্ক্র্যাপিংয়ে সহায়তা করে, যা বিভিন্ন উৎস থেকে ডেটা বের করার, ব্যবহার করার এবং ম্যানিপুলেট করার একটি প্রক্রিয়া।
ওয়েব স্ক্র্যাপিং গবেষণা উদ্দেশ্যে ডেটা বের করতে, বাজার প্রবণতা বুঝতে/তুলনা করতে, SEO মনিটরিং করার ইত্যাদি কাজে ব্যবহৃত হতে পারে।
ইনস্টলেশন
Windows-এ BeautifulSoup ইনস্টল করতে নিচের কমান্ডটি চালান:
pip install beautifulsoup4
উদাহরণ
import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import urllib
url = 'https://en.wikipedia.org/wiki/Algorithm'
html = urlopen(url).read()
print("ওয়েবপেজ পড়া হচ্ছে...")
soup = BeautifulSoup(html, features="html.parser")
print("ওয়েবপেজ পার্স করা হচ্ছে...")
# স্ক্রিপ্ট এবং স্টাইল ট্যাগ সরিয়ে ফেলা
for script in soup(["script", "style"]):
script.extract()
print("ওয়েবপেজ থেকে টেক্সট বের করা হচ্ছে...")
text = soup.get_text()
print("ডেটা পরিষ্কার করা হচ্ছে...")
# অতিরিক্ত স্পেস এবং অবৈধ শব্দ সরানো
lines = (line.strip() for line in text.splitlines())
chunks = (phrase.strip() for line in lines for phrase in line.split(" "))
text = '\n'.join(chunk for chunk in chunks if chunk)
text = str(text)
print(text)
আউটপুট
ওয়েবপেজ পড়া হচ্ছে... ওয়েবপেজ পার্স করা হচ্ছে... ওয়েবপেজ থেকে টেক্সট বের করা হচ্ছে... ডেটা পরিষ্কার করা হচ্ছে... উপরের ফ্লোচার্ট থেকে ইউক্লিডের অ্যালগরিদমের রিকারসিভ C বাস্তবায়ন রিকারসন একটি রিকারসিভ অ্যালগরিদম হলো যা নিজে নিজেকে বারবার আহ্বান করে (রেফারেন্স দেয়) যতক্ষণ না নির্দিষ্ট শর্ত (টার্মিনেশন কন্ডিশন নামেও পরিচিত) মেলে, যা ফাংশনাল প্রোগ্রামিং-এ সাধারণ একটি পদ্ধতি… ….. ডেভেলপাররা পরিসংখ্যান কুকি স্টেটমেন্ট
ব্যাখ্যা
- প্রয়োজনীয় প্যাকেজগুলি ইম্পোর্ট করা হয়েছে এবং অ্যালিয়াস করা হয়েছে।
- ওয়েবসাইটটি সংজ্ঞায়িত করা হয়েছে।
- URL খোলা হয়েছে এবং 'script' ট্যাগসহ অন্যান্য অপ্রাসঙ্গিক HTML ট্যাগ সরানো হয়েছে।
- ওয়েবপেজ ডেটা থেকে টেক্সট বের করতে 'get_text' ফাংশন ব্যবহার করা হয়েছে।
- অতিরিক্ত স্পেস এবং অবৈধ শব্দগুলি এনিমেশন করা হয়েছে।
- কনসোলে টেক্সট প্রিন্ট করা হয়েছে।
