PolyBase-এ ডেটা ভার্চুয়ালাইজেশন বাস্তবায়ন: ধাপে ধাপে গাইড (Part 2)

UDP ডেটা ভার্চুয়ালাইজেশন through PolyBase সিরিজের Part One-এ, আমি PolyBase পরিচয় করিয়েছিলাম এবং এই ডেমোর জন্য প্রেরিকুইজিটস প্রদান করলাম। এই ফাইনাল ইনস্টলমেন্টে, আপনি ডেমোতে ডুবতে পারেন।

Demo: SQL Polybase সেট আপ করার ধাপ Azure blob থেকে ডেটা ফেচ করতে

ডেমো কান্ডাক্ট করতে নিচের ধাপগুলো সম্পন্ন করুন:

১. SQL Server® কনফিগার করুন এক্সটার্নাল টেক্সট ফাইল অ্যাক্সেস করতে ব্লাবে রাখা

SQL Server-কে Azure® blob-এ রাখা এক্সটার্নাল টেক্সট ফাইল অ্যাক্সেস করতে দিতে, নিচের কুয়েরি চালান:

EXEC sp_configure @configname = 'hadoop connectivity', @configvalue = 7; Go 

Figure 1

২. SQL Server ডেটাবেস, ডেটাবেস মাস্টার কী, এবং ক্রেডেনশিয়াল সেট আপ করুন

এখন, আপনাকে অথবা একটি এক্সিস্টিং ডেটাবেস ব্যবহার করতে হবে বা একটি নতুন তৈরি করতে হবে। আমি এই ডেমোর জন্য PolybaseTestDB নামে একটি নতুন তৈরি করলাম।

আপনার DB পাওয়ার পর, নিচের কুয়েরি ব্যবহার করে ডেটাবেস মাস্টার কী এবং ক্রেডেনশিয়াল তৈরি করুন:

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'Welcome@3452'; USE PolybaseTestDB Go CREATE DATABASE SCOPED CREDENTIAL [Polybasecred] WITH IDENTITY = ‘Polybaseaccount’, SECRET=’qdfAVoBN+yr2rHN796gXFtpfhxKgAW3JDAtSPi0RnWcWgy9YRSwyGQR7BoINTHSgjiorUFTCmZpLTZspCbXesg==’; 

উপরোক্ত কুয়েরিতে, SECRET হলো আপনি আগে তৈরি করা স্টোরেজ অ্যাকাউন্টের এক্সেস কী। আপনি নিচের ধাপগুলো করে পেতে পারেন:

1. Azure Portal -> Storage Accounts-এ যান।
2. আপনার স্টোরেজ অ্যাকাউন্টে ক্লিক করুন।
3. বাম প্যানেলে, Access Key সিলেক্ট করুন।
4. ডান প্যানেলে কীগুলো দেখাবে।
5. কপি করুন এবং উপরের কুয়েরিতে ব্যবহার করুন।

৩. আপনার তৈরি করা ক্রেডেনশিয়াল ব্যবহার করে একটি এক্সটার্নাল ডেটা সোর্স তৈরি করুন

এক্সটার্নাল ডেটা সোর্স তৈরি করতে নিচের কুয়েরি চালান। তৈরি হলে, আপনি DB এক্সটার্নাল রিসোর্সের অধীনে এক্সটার্নাল ডেটা সোর্স খুঁজে পাবেন।

CREATE EXTERNAL DATA SOURCE AzureStorage WITH ( TYPE = HADOOP, LOCATION = 'wasbs://polybasedemocontainer@polybasedemo1.blob.core.windows.net', CREDENTIAL = [Polybasecred] ); 

Figure 2

দ্রষ্টব্য: Azure Storage Blob Hadoop® Distributed File System (HDFS) APIs-র ওপর তৈরি একটি এক্সটেনশন, তাই উপরের কুয়েরিতে TYPE হলো Hadoop।

৪. একটি এক্সটার্নাল ফাইল ফরম্যাট তৈরি করুন

নিচের কুয়েরি চালান:

CREATE EXTERNAL FILE FORMAT TextFileFormat WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT = TRUE)) 

Figure 3

দ্রষ্টব্য: কারণ এটি একটি কমা-সেপারেটেড টেক্সট ফাইল, FIELD_TERMINATOR হলো ‘,’।

৫. একটি এক্সটার্নাল টেবিল তৈরি করুন

নিচের কুয়েরি চালান:

CREATE EXTERNAL TABLE dbo.SQLPolybaseTable ( [Name] varchar(500), [Subject] varchar(500), [Education] varchar(500) ) WITH ( LOCATION='/Data.txt', This is the name of the file uploaded to the container. DATA_SOURCE=AzureStorage, The Data Source created in previous steps. FILE_FORMAT=TextFileFormat The File Format Name created in previous steps. ); 

Figure 4

৬. এক্সটার্নাল টেবিল কুয়েরি করুন

আপনার SQL Server-এ যেকোনো অন্য টেবিলের মতো এক্সটার্নাল টেবিল কুয়েরি করুন। ফলাফল যাচাই করে যে PolyBase আমাদের এক্সটার্নাল ডেটা ফেচ করতে সাহায্য করে। নিচের কুয়েরি চালান:

Select * from <Tablename> 

Figure 5

উপসংহার

ভবিষ্যতের পোস্টগুলোতে, আমি নিচের কনসেপ্টগুলোর গভীরে এক্সপ্লোর করার পরিকল্পনা করছি:

• Data Mart through Columnar store
• Data Lake through HDFS
• Big Data, ML, Streaming through Apache Spark

এছাড়া, যেহেতু এই ডেমোতে আমি কয়েকটি সমস্যা মুখোমুখি হয়েছিলাম, আমি সেসব অভিজ্ঞতা কনসোলিডেট করে একটি আপকামিং ব্লগে উপস্থাপন করব।

Stay Tuned!

আমাদের ডেটা সার্ভিস সম্পর্কে আরও জানুন।

যেকোনো মন্তব্য বা প্রশ্নের জন্য Feedback ট্যাব ব্যবহার করুন। আপনি আমাদের সাথে কথা বলা শুরু করতে পারেন।