কম্পিউটার টিউটোরিয়াল

বিউটিফুলসুপ (BeautifulSoup) ব্যবহার করে ওয়েবপেজ থেকে টাইটেল এক্সট্র্যাক্ট করার পদ্ধতি


বিউটিফুলসуп (BeautifulSoup) একটি থার্ড-পার্টি পাইথন লাইব্রেরি যা ওয়েব পেজ থেকে ডেটা পার্স (parse) করতে ব্যবহৃত হয়। এটি ডেভেলপারদের ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (Natural Language Processing) অ্যাপ্লিকেশন, ডেটা বিশ্লেষণ এবং অর্থপূর্ণ ইনসাইট এক্সট্র্যাক্ট করতে সাহায্য করে।

ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) মেশিন লার্নিং-এর একটি অংশ যা টেক্সট ডেটা এবং সেটিকে প্রি-প্রসেস (pre-process) করে মেশিন লার্নিং সমস্যার ইনপুট হিসেবে দেওয়ার পদ্ধতির সাথে সম্পর্কিত।

ওয়েব স্ক্রেপিং গবেষণা উদ্দেশ্যে ডেটা এক্সট্র্যাক্ট করতে, মার্কেট ট্রেন্ড বুঝতে/তুলনা করতে, SEO মনিটরিং (monitoring) করা ইত্যাদিতে ব্যবহার করা যায়।

Windows-এ বিউটিফুলসুপ ইনস্টল করার জন্য নিচের লাইন চালান:

pip install beautifulsoup4

নিচে একটি উদাহরণ দেওয়া হলো:

উদাহরণ

from bs4 import BeautifulSoup
import requests
url = "https://en.wikipedia.org/wiki/Algorithm"
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
print("The titles are :")
print(soup.title)

আউটপুট

The titles are : Algorithm − Wikipedia</pre>
<h2>ব্যাখ্যা</h2>
<ul class="list">
<li><p>প্রয়োজনীয় প্যাকেজ আমদানি করা হয়েছে এবং আলায়াস দেওয়া হয়েছে।</p></li>
<li><p>ওয়েবসাইটটি ডিফাইন করা হয়েছে।</p></li>
<li><p>URL ওপেন করা হয়েছে এবং সেখান থেকে ডেটা পড়া হয়েছে।</p></li>
<li><p>ওয়েবপেজ থেকে টেক্সট এক্সট্র্যাক্ট করতে 'BeautifulSoup' ফাংশন ব্যবহার করা হয়েছে।</p></li>
<li><p>'title' অ্যাট্রিবিউট ব্যবহার করে টাইটেলগুলো এক্সট্র্যাক্ট করা হয়েছে।</p></li>
<li><p>টাইটেলগুলো কনসোলে প্রিন্ট করা হয়েছে।</p></li>
</ul>
<br>
            </article>
            <div class="ad5">
 <script language='javascript' src='/ad/w.js'></script>
            </div>
            <section id="turn-page" class="t-over">
                <div class="f-start f-align">
                    <i><img loading='lazy' src="https://bd.wsxdn.com/css/img/sanjiao.svg" alt="ত্রিভুজ"></i>
                    <a class='LinkPrevArticle' href='https://bd.wsxdn.com/ge064y/db648w/202204/1006103645.html' >পাইথনে দেওয়া স্ট্রিং চারটি আলাদা স্ট্রিংয়ে বিভক্ত করা সম্ভব কিনা যাচাই করার পদ্ধতি</a> 
                </div>
                <div class="f-start f-align">
                    <i><img loading='lazy' src="https://bd.wsxdn.com/css/img/sanjiao.svg" alt="ত্রিভুজ"></i>
                    <a class='LinkNextArticle' href='https://bd.wsxdn.com/ge064y/db648w/202204/1006103647.html'  >পাইথনে BeautifulSoup প্যাকেজ ব্যবহার করে ওয়েবপেজ থেকে ডেটা পার্স করার পদ্ধতি</a> 
                </div>
            </section>
        </div>
        <aside class="box-r">
            <section class="box42">
                <ol>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006101968.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="Python দিয়ে MySQL টেবিল থেকে রেকর্ড ডিলিট করা">Python দিয়ে MySQL টেবিল থেকে রেকর্ড ডিলিট করা</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006101969.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="Python দিয়ে MySQL-এ WHERE ক্লজ ব্যবহার করে শর্তভিত্তিক ডেটা সিলেক্ট করা">Python দিয়ে MySQL-এ WHERE ক্লজ ব্যবহার করে শর্তভিত্তিক ডেটা সিলেক্ট করা</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006101972.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="Python দিয়ে MySQL টেবিল থেকে সব ডেটা সিলেক্ট করা">Python দিয়ে MySQL টেবিল থেকে সব ডেটা সিলেক্ট করা</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103315.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="পাইথনে টেনসরফ্লো দিয়ে ডেটা মডেলে ফিট (fit) করা">পাইথনে টেনসরফ্লো দিয়ে ডেটা মডেলে ফিট (fit) করা</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103414.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে ডেটা স্ট্যান্ডার্ডাইজ (standardize) করতে ব্যবহৃত হয়?">টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে ডেটা স্ট্যান্ডার্ডাইজ (standardize) করতে ব্যবহৃত হয়?</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103445.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="টেনসরফ্লোতে আবালোন ডেটাসেট থেকে স্যাম্পল ডেটা দেখানো">টেনসরফ্লোতে আবালোন ডেটাসেট থেকে স্যাম্পল ডেটা দেখানো</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103582.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="পাইথনে টেনসরফ্লো ব্যবহার করে ইলিয়ড (Iliad) ডেটাসেট থেকে র‍ স্ট্রিংস (raw strings) এর ডেটাসেট তৈরি করার পদ্ধতি">পাইথনে টেনসরফ্লো ব্যবহার করে ইলিয়ড (Iliad) ডেটাসেট থেকে র‍ স্ট্রিংস (raw strings) এর ডেটাসেট তৈরি করার পদ্ধতি</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103644.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="বিউটিফুলসুপ (BeautifulSoup) ব্যবহার করে ওয়েবসাইট থেকে 'href' লিংক এক্সট্র্যাক্ট করার পদ্ধতি">বিউটিফুলসুপ (BeautifulSoup) ব্যবহার করে ওয়েবসাইট থেকে 'href' লিংক এক্সট্র্যাক্ট করার পদ্ধতি</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006103647.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="পাইথনে BeautifulSoup প্যাকেজ ব্যবহার করে ওয়েবপেজ থেকে ডেটা পার্স করার পদ্ধতি">পাইথনে BeautifulSoup প্যাকেজ ব্যবহার করে ওয়েবপেজ থেকে ডেটা পার্স করার পদ্ধতি</p>
                        </a>
                    </li>
 <li>
                        <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006104045.html" class="f-start">
                            <span></span>
                            <p class="r-over r-over-2" title="পাইথনে scikit-learn দিয়ে L2 নর্মালাইজেশন ইমপ্লিমেন্ট করার পদ্ধতি">পাইথনে scikit-learn দিয়ে L2 নর্মালাইজেশন ইমপ্লিমেন্ট করার পদ্ধতি</p>
                        </a>
                    </li>

                </ol>
            </section>
        </aside>
    </section>
    <section class="box13 content box44">
        <ol class="f-between">
           
<li class="ibox">
                <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006104025.html" class="i-text">
                    <p class="r-over r-over-2">পাইথনে Seaborn দিয়ে লিনিয়ার রিলেশনশিপ ভিজ্যুয়ালাইজ করার পদ্ধতি</p>
                </a>
            </li>

<li class="ibox">
                <a href="https://bd.wsxdn.com/ge064y/db648w/202204/1006104044.html" class="i-text">
                    <p class="r-over r-over-2">পাইথনে Seaborn লাইব্রেরি দিয়ে ডেটা ভিজ্যুয়াল রিপ্রেজেন্টেশনের পদ্ধতি</p>
                </a>
            </li>

<li class="ibox">
                <a href="https://bd.wsxdn.com/xv067p/vt639o/202204/1006120346.html" class="i-text">
                    <p class="r-over r-over-2">অ্যান্ড্রয়েডে অ্যাপগুলোর মোবাইল ডেটা ব্যবহার বন্ধ করার পদ্ধতি</p>
                </a>
            </li>

<li class="ibox">
                <a href="https://bd.wsxdn.com/jh066c/zw642r/202210/1006132548.html" class="i-text">
                    <p class="r-over r-over-2">মাস্টার ডেটা ব্যাকআপ: ফাইল রক্ষার প্রমাণিত কৌশল</p>
                </a>
            </li>

        </ol>
    </section>
    <ul class="types box23 content f-start">
        <li><a class='childclass' href='https://bd.wsxdn.com/ge064y/ca644u/' target="_self">C প্রোগ্রামিং</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/mk645f/' target="_self">C++</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/hf646z/' target="_self">Redis</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/fd647x/' target="_self">Bash প্রোগ্রামিং</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/db648w/' target="_self">Python</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/vs649n/' target="_self">Java</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/tr650l/' target="_self">তথ্যশালা</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/hf651z/' target="_self">HTML</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/mj652e/' target="_self">JavaScript</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/ki653c/' target="_self">প্রোগ্রামিং</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/bz654t/' target="_self">CSS</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/zx655s/' target="_self">Ruby</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/nl656f/' target="_self">SQL</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/sq657k/' target="_self">iOS</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/qo658j/' target="_self">Android</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/vt659n/' target="_self">MongoDB</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/us660m/' target="_self">MySQL</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/by661t/' target="_self">C#</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/mk665e/' target="_self">PHP</a></li>
<li><a class='childclass' href='https://bd.wsxdn.com/ge064y/he671z/' target="_self">SQL Server</a></li>
    </ul>
    <footer>
        <section class="msg f-center content">
           <span class="f-start">
                কপিরাইট ©
                <a href="https://bd.wsxdn.com">https://bd.wsxdn.com</a>
                সমস্ত অধিকার সংরক্ষিত
            </span>

        </section>
    </footer>
</body>
</html>