PolyBase-র সাথে ইউনিফাইড ডেটা প্ল্যাটফর্ম: ডেটা ভার্চুয়ালাইজেশন ফান্ডামেন্টালস – পার্ট ১

আমি চমৎকারভাবে অনুভব করছি আমার আগের ব্লগ পোস্ট Unified Data Platform - SQL 2019-র ওপর নির্মাণ করতে।

এই সিরিজে, আমি গভীরে যাব কীভাবে PolyBase®-এর মাধ্যমে ডেটা ভার্চুয়ালাইজেশন অর্জন করতে হয়। এই পোস্টটি পরিচিতি এবং ডেমো পূর্বশর্ত কভার করে, এবং পার্ট টু-তে ডেমোটি থাকবে।

রিক্যাপ

আপনার মেমরি রিফ্রেশ করতে, স্মরণ করুন আগের পোস্টটি নিচের আইটেমগুলো কভার করেছিল:

1. SQL Server®-র ডিবি ইঞ্জিন থেকে ইউনিফাইড ডেটা প্ল্যাটফর্মে বিবর্তন
2. SQL 2019 ইউনিফাইড ডেটা প্ল্যাটফর্ম উপস্থাপন করে ব্যবহার করে:
   • OLTP-এর জন্য SQL DB Engine
   • Polybase-এর মাধ্যমে ডেটা ভার্চুয়ালাইজেশন
   • কলামার স্টোরের মাধ্যমে Data Mart
   • HDFS-এর মাধ্যমে Data Lake
   • Apache Spark-এর মাধ্যমে Big Data, ML, Streaming
3. Azure® Data Studio (ADS) ব্যবহার করে ম্যানেজমেন্ট এবং মনিটরিং

ভূমিকা

ডেটা সর্বত্র থাকায়, আমরা liên tục চ্যালেঞ্জের সম্মুখীন হই ডেটা অন্য লোকেশনে সরানোর বা কপি করার জন্য যাতে আরও প্রসেস করা যায়। ছোট ডেটা সেটের জন্য, এটি সহজ, কিন্তু ক্রমবর্ধমান ডেটা আকারের সাথে এটি সমস্যা হতে পারে। এছাড়া, সংস্থাগুলির ডেটা মাইনিং-এর প্রগতিশীল বর্ধনের সাথে, ডেটা লিডাররা ডেটা এক জায়গায় রাখার পক্ষে না। একইভাবে, স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড ডেটা এবং Big Data-এর ভিন্ন ডেটা স্টোর থেকে ডেটা ফেচ বা ব্যবহার করা জটিল হতে পারে।

ডেটা ভার্চুয়ালাইজেশন এই সমস্যার সমাধান।

ডেটা ভার্চুয়ালাইজেশন কী?

ডেটা ভার্চুয়ালাইজেশন হলো ডেটা ম্যানেজমেন্টের একটি পদ্ধতি যা একটি অ্যাপ্লিকেশনকে ডেটা রিট্রিভ ও ম্যানিপুলেট করতে সক্ষম করে ডেটা সম্পর্কে টেকনিক্যাল ডিটেইল জানতে ছাড়া, যেমন কীভাবে সোর্সে এটি ফরম্যাট করা আছে বা ফিজিক্যালি কোথায় লোকেটেড। এটি সমগ্র ডেটার একটি সিঙ্গেল কাস্টমার ভিউ প্রদান করতে পারে।

বাজারে অনেক ডেটা ভার্চুয়ালাইজেশন টুল রয়েছে, যেমন নিচের টুলগুলো:

• Microsoft® Polybase®
• Actifio® Virtual Data Pipe (VDP)
• Informatica® Powercenter
• IBM® Cloud Pak for Data
• RedHat® JBoss Data Virtualization

এই সিরিজের জন্য, আমি PolyBase-র ওপর ফোকাস করব, যা Microsoft SQL 2016-এ চালু করেছিল এবং প্রতিটি পরবর্তী SQL সংস্করণে উন্নত করেছে।

Polybase SQL Server কে সক্ষম করে Transact-SQL কোয়েরি এক্সটার্নাল ডেটা সোর্সের ওপর রান করতে যেমন Azure® Blob, Hadoop®, Oracle®, MongoDB®, এবং আরও। একই Transact-SQL যা এক্সটার্নাল ডেটা প্রসেস করতে ব্যবহৃত হয় সেটি রিলেশনাল ডেটাবেসের ওপরও রান করতে পারে। এই ক্ষমতা এক্সটার্নাল সোর্স থেকে ডেটা আপনার ডেটাবেসের রিলেশনাল ডেটার সাথে ইন্টিগ্রেট করতে সাহায্য করে। নিচের ছবিটি SQL Polybase-এর একটি সহজ ইলাস্ট্রেশন দেখাচ্ছে:

Figure 1

এখন আপনি Polybase-এর বেসিকস জানেন, আমি একটি ডেমো শেয়ার করতে চাই যা Azure blob এক্সটার্নাল সোর্স থেকে ডেটা ফেচ করে SQL PolyBase ব্যবহার করে। এই পোস্টটি ডেমোর পূর্বশর্তগুলো কভার করে।

ডেমো পূর্বশর্ত

ডেমো রান করার আগে, আপনাকে নিচের পূর্বশর্ত টাস্কগুলো সম্পন্ন করতে হবে:

1. PolyBase ফিচারসহ SQL 2016 বা তার পরে ইনস্টল করুন।
2. SQL Server-এ PolyBase সক্রিয় করুন।
3. একটি Azure Storage অ্যাকাউন্ট তৈরি করুন।
4. একটি Azure blob কন্টেইনার তৈরি করুন।
5. ব্লব কন্টেইনারে একটি ডেটা ফাইল রাখুন।

১. SQL Polybase ইনস্টল করুন

আপনি একটি মেশিনে শুধু একটি SQL ইনস্ট্যান্সের সাথে Polybase ইনস্টল করতে পারেন।

বর্তমানে, আমার লোকাল মেশিনে একটি ডিফল্ট SQL 2019 ইনস্ট্যান্স চলছে। যাঁব, আমি ইনস্টলেশনের সময় Polybase সিলেক্ট করিনি। নিচের ছবিটি SQL Server কনফিগারেশন ম্যানেজার দেখাচ্ছে:

Figure 2

আমাকে SQL সেটআপ রি-রান করতে হয়েছে এবং ফিচার সিলেকশন উইন্ডোতে নিচের এলিমেন্টগুলো সিলেক্ট করতে হয়েছে Polybase ইনস্টল করতে:

• PolyBase Query Service for external data
• Java Connector for HDFS data sources

আগে বড়ুন এবং SQL Setup চালান এবং নিচের ধাপগুলো করুন PolyBase ফিচার ইনস্টল করতে। Next ক্লিক করুন যাবতীয় কেউ চলে ছবির যেন খুব লাস্ট স্ক্রিন। তারপর, Finish Installation ট্যাবে ক্লিক করুন, গাড় লালে হাইলাইট করা ট্যাবগুলো সিলেক্ট করে।

1. সাইডবারে Installation-এ ক্লিক করুন এবং New SQL Server Stand-alone installation or add features to an existing installation সিলেক্ট করুন।

Figure 3

2. Installation Type উইন্ডোতে পৌঁছালে, Add features to an existing instance সিলেক্ট করুন, এবং ড্রপ-ডাউন মেনু থেকে প্রয়োজনীয় ইনস্ট্যান্স সিলেক্ট করুন।

Figure 4

3. Feature Selection উইন্ডোতে পৌঁছালে, PolyBase ফিচারগুলো সিলেক্ট করুন।

Figure 5

4. Polybase Configuration উইন্ডোতে, Use this SQL Server as standalone Polybase-enabled instance সিলেক্ট করুন।

Figure 6

5. বাকি সাইডবার অপশনগুলোর জন্য, ডিফল্ট সিলেক্ট করুন এবং Install-এ ক্লিক করুন। ইনস্টলেশন সম্পন্ন হলে, নিচের উইন্ডো প্রদর্শিত হবে:

Figure 7

এই মুহূর্তে, আপনি SQL কনফিগারেশন ম্যানেজারে দেখতে পাবেন যে আমাদের দুটি ফিচার ইনস্টল হয়েছে। যাঁব, আপনি এখনও এরর মেসেজ Polybase not installed in SSMS পেতে পারেন Polybase সক্রিয় করার চেষ্টা করার সময়। এটিকে ফিক্স করতে, Polybase ইনস্টল করার পর সার্ভার রিস্টার্ট করুন।

Figure 8

২. SQL Polybase সক্রিয় করুন

PolyBase সক্রিয় করতে নিচের ধাপগুলো চালান:

1. SSMS-এ SQL Server-এ কানেক্ট করুন এবং নিচের কোয়েরি চালান Polybase সফলভাবে ইনস্টল হয়েছে কিনা কনফার্ম করতে।

    SELECT SERVERPROPERTY ('IsPolyBaseInstalled') AS IsSuccessfullyInstalled; 

   নিচের ছবিটি সফল ইনস্টলেশনের আউটপুট দেখাচ্ছে:

Figure 9

2. Polybase সক্রিয় করতে নিচের কোয়েরিগুলো চালান:

    EXEC sp_configure 'polybase enabled', 1; Go 

3. নিচের কোয়েরি চালান:

    Reconfigure 

   এই কোয়েরিটি গুরুত্বপূর্ণ। এই ধাপ ছাড়া, এই সিরিজের পার্ট থ্রি-তে কভার করা এক্সটার্নাল ফাইল ফরম্যাট তৈরির সময় এরর আসতে পারে।

Figure 10

৩. একটি Azure Storage অ্যাকাউন্ট তৈরি করুন

একটি Azure Storage অ্যাকাউন্ট তৈরি করতে নিচের ধাপগুলো অনুসরণ করুন:

1. আপনার শংসাপত্র ব্যবহার করে Azure Portal-এ লগ ইন করুন।

2. Azure Storage অ্যাকাউন্ট সার্ভিস খুঁজুন এবং স্টোরেজ অ্যাকাউন্ট তৈরি করতে নিচের ধাপগুলো করুন। Next ক্লিক করুন যাবতীয় খুব লাস্ট স্ক্রিনে পৌঁছান। তারপর, Review and Create অপশন ক্লিক করুন। গাড় লালে হাইলাইট করা ট্যাবগুলো সিলেক্ট করুন।

3. Azure Portal search bar-এ, Azure Storage account সিলেক্ট করুন এবং + Add ক্লিক করুন একটি নতুন স্টোরেজ অ্যাকাউন্ট তৈরি করতে।

Figure 11

4. Basics ট্যাবে, প্রয়োজনীয় ডিটেইল এন্টার করুন এবং Next: Networking-এ ক্লিক করুন।

Figure 12

5. Networking, Data Protection, Advanced, এবং Tags স্ক্রিনের জন্য ডিফল্ট সেটিংস রাখুন।

6. পরবর্তীতে, Review+Create ক্লিক করুন এবং, যাচাই সফল হলে, Create Tab ক্লিক করুন স্টোরেজ অ্যাকাউন্ট তৈরি করতে, নিচের ছবিতে দেখানো মতে:

Figure 13

7. সফল ডিপ্লয়মেন্টের পর, Go To Resource ক্লিক করুন, যা আপনাকে তৈরি করা স্টোরেজ অ্যাকাউন্টে নিয়ে যাবে।

Figure 14

৪. একটি Azure কন্টেইনার তৈরি করুন

একটি Azure কন্টেইনার তৈরি করতে, তৈরি করা Azure storage account-এ যান, বাম প্যানে Containers-এ ক্লিক করুন, এবং তারপর +Container-এ ক্লিক করুন।

Figure 15

৫. কন্টেইনারে একটি ডেটা ফাইল রাখুন

এই স্টেজে, একটি টেক্সট ডেটা ফাইল তৈরি করুন এবং কন্টেইনারে আপলোড করুন।

1. নিচের ফাইলটির মত একটি টেক্সট ফাইল তৈরি করুন:

Figure 16

নোট: আপনি CSV, Excel®, বা অন্যান্য এক্সটার্নাল ডেটা সোর্সও ব্যবহার করতে পারেন। যাঁব, এক্সটার্নাল ডেটা সোর্সের উপর নির্ভর করে, আপনাকে কিছু অতিরিক্ত ধাপ নেওয়া প্রয়োজন। উদাহরণস্বরূপ, CSV বা Excel ডেটা সোর্সের জন্য, আপনাকে SQL Server-এ উপযুক্ত ড্রাইভার ইনস্টল করতে হবে এবং কানেকশন প্রপার্টি একটি ODBC ডেটা সোর্স নেম (DSN)-এ যোগ করতে হবে। আপনি Microsoft ODBC Data Source Administrator ব্যবহার করে ODBC DSNs তৈরি ও কনফিগার করতে পারেন।

2. আপনার তৈরি করা কন্টেইনার, polybasedemocontainer-এ যান, Upload ক্লিক করুন, ডান হাতের সাইডের ফোল্ডার আইকনে ক্লিক করুন, এবং আপলোড করার ফাইলটি সিলেক্ট করুন।

Figure 17

পরবর্তী ধাপ

আপনি সফলভাবে PolyBase ডেমোর পূর্বশর্তগুলো সম্পন্ন করেছেন। পার্ট টু ডেমোটি উপস্থাপন করবে।

ফিডব্যাক ট্যাব ব্যবহার করে মন্তব্য করুন বা প্রশ্ন করুন। আপনি আমাদের সাথে কথা বলতে পারেন।