পলিবেসের মাধ্যমে ইউনিফাইড ডেটা প্ল্যাটফর্ম এবং ডেটা ভার্চুয়ালাইজেশন:প্রথম অংশ

আমি শেষ পর্যন্ত আমার আগের ব্লগ পোস্ট ইউনিফাইড ডেটা প্ল্যাটফর্ম - SQL 2019-এ তৈরি করতে পেরে উত্তেজিত৷

এই সিরিজে, আমি PolyBase®-এর মাধ্যমে কীভাবে ডেটা ভার্চুয়ালাইজেশন অর্জন করতে হয় তা গভীরভাবে খনন করি৷ এই পোস্টটি ভূমিকা এবং ডেমো পূর্বশর্তগুলি কভার করে, এবং ডেমোরই অংশ টুগেট৷

রিক্যাপ

আপনার মেমরি রিফ্রেশ করতে, মনে রাখবেন যে পূর্ববর্তী পোস্টটি নিম্নলিখিত আইটেমগুলিকে কভার করেছিল:

1. DB ইঞ্জিন থেকে ইউনিফাইড ডেটা প্ল্যাটফর্মে SQL Server® এর বিবর্তন
2. SQL 2019 ব্যবহার করে ইউনিফাইড ডেটা প্ল্যাটফর্ম উপস্থাপন করে:
   • OLTP-এর জন্য এসকিউএল ডিবি ইঞ্জিন
   • পলিবেসের মাধ্যমে ডেটা ভার্চুয়ালাইজেশন
   • কলামার স্টোরের মাধ্যমে ডেটা মার্ট
   • HDFS এর মাধ্যমে ডেটা লেক
   • বিগ ডেটা, ML, Apache Spark এর মাধ্যমে স্ট্রিমিং
3. Azure® ডেটা স্টুডিও (ADS) ব্যবহার করে ব্যবস্থাপনা এবং পর্যবেক্ষণ

পরিচয়

ডেটা সর্বব্যাপী হওয়ার সাথে সাথে, আমরা এটিকে আরও প্রক্রিয়া করার জন্য এটিকে অন্য অবস্থানে স্থানান্তর বা অনুলিপি করার জন্য ক্রমাগত চ্যালেঞ্জের মুখোমুখি হই। একটি ছোট ডেটা সেটের সাথে, এটি যথেষ্ট সহজ, তবে এটি ক্রমবর্ধমান ডেটা আকারের সাথে সমস্যা হতে পারে। এছাড়াও, সংস্থাগুলির দ্বারা ডেটামাইনিংয়ের প্রগতিশীল বৃদ্ধির সাথে, ডেটা নেতারা ডেটা এক জায়গায় রাখার পক্ষে সমর্থন করেন না। একইভাবে, স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড ডেটা এবং বিগ ডেটার বিভিন্ন ডেটা স্টোর থেকে ডেটা আনা বা ব্যবহার করা ক্লান্তিকর হতে পারে।

ডেটা ভার্চুয়ালাইজেশন এই সমস্যার সমাধান।

ডেটা ভার্চুয়ালাইজেশন কি?

ডেটা ভার্চুয়ালাইজেশন হল ডেটা ম্যানেজমেন্টের একটি পদ্ধতি যা একটি অ্যাপ্লিকেশনকে ডেটা সম্পর্কে প্রযুক্তিগত বিবরণের প্রয়োজন ছাড়াই ডেটা পুনরুদ্ধার এবং ম্যানিপুলেট করতে সক্ষম করে, যেমন দেখায় এটি উৎসে ফর্ম্যাট করা হয়েছে বা শারীরিকভাবে অবস্থিত। এটি সামগ্রিক ডেটার একক গ্রাহক দর্শন প্রদান করতে পারে৷

বাজারে প্রচুর ডেটা ভার্চুয়ালাইজেশন টুল রয়েছে, যেমন নিম্নলিখিত টুলগুলি:

• Microsoft® Polybase®
• Actifio® ভার্চুয়াল ডেটা পাইপ (VDP)
• Informatica® Powercenter
• ডেটার জন্য IBM® ক্লাউড পাক
• RedHat® JBoss ডেটা ভার্চুয়ালাইজেশন

এই সিরিজের জন্য, আমি PolyBase-এ ফোকাস করি, যা Microsoft SQL 2016-এ চালু করেছিল এবং পরবর্তী প্রতিটি SQL সংস্করণের সাথে উন্নতি করেছে।

পলিবেস এসকিউএল সার্ভারকে বাহ্যিক ডেটা উৎস যেমন Azure® Blob, Hadoop®, Oracle®, MongoDB® ইত্যাদিতে Transact-SQL কোয়েরি চালাতে সক্ষম করে। বহিরাগত ডেটা প্রক্রিয়া করতে ব্যবহৃত একই ট্রানজ্যাক্ট-এসকিউএল রিলেশনাল ডাটাবেসেও চলতে পারে। এই ক্ষমতা আপনার ডাটাবেসের রিলেশনাল ডেটার সাথে বাহ্যিক উত্স থেকে ডেটা একীভূত করতে সহায়তা করে। নিম্নলিখিত চিত্রটি SQL পলিবেসের একটি সাধারণ চিত্র দেখায়:

চিত্র 1

এখন যেহেতু আপনি পলিবেসের মূল বিষয়গুলি জানেন, আমি একটি ডেমো শেয়ার করতে চাই যা এসকিউএল পলিবেস ব্যবহার করে অ্যাজ্যুর ব্লব বাহ্যিক উত্স থেকে ডেটা নিয়ে আসে। এই পোস্টটি ডেমোর পূর্বশর্তগুলি কভার করে৷

ডেমো পূর্বশর্ত

আপনি ডেমো চালানোর আগে, আপনাকে নিম্নলিখিত পূর্বশর্ত কাজগুলি সম্পাদন করতে হবে:

1. পলিবেস বৈশিষ্ট্য সহ SQL 2016 বা তার পরে ইনস্টল করুন।
2. এসকিউএল সার্ভারে পলিবেস সক্ষম করুন।
3. একটি Azure স্টোরেজ অ্যাকাউন্ট তৈরি করুন।
4. একটি Azure ব্লব কন্টেইনার তৈরি করুন।
5. ব্লব পাত্রে একটি ডেটা ফাইল রাখুন।

1. এসকিউএল পলিবেস ইনস্টল করুন

আপনি একটি মেশিনে শুধুমাত্র একটি SQL ইন্সট্যান্স দিয়ে পলিবেস ইনস্টল করতে পারেন।

বর্তমানে, আমার স্থানীয় মেশিনে চলমান একটি ডিফল্ট SQL 2019 উদাহরণ রয়েছে। যাইহোক, ইনস্টলেশনের সময় পলিবেস নির্বাচন করা হয়নি। নিম্নলিখিত চিত্রটি SQL সার্ভার কনফিগারেশন ম্যানেজার দেখায়:

চিত্র 2

পলিবেস ইনস্টল করার জন্য আমাকে এসকিউএল সেটআপ পুনরায় চালাতে হয়েছিল এবং বৈশিষ্ট্য নির্বাচন উইন্ডোর সময় নিম্নলিখিত উপাদানগুলি নির্বাচন করতে হয়েছিল:

• বাহ্যিক ডেটার জন্য পলিবেস কোয়েরি পরিষেবা
• HDFS ডেটা উৎসের জন্য জাভা সংযোগকারী

এগিয়ে যান এবং এসকিউএল সেটআপ চালান এবং পলিবেস ফিচার ইনস্টল করার জন্য নিম্নলিখিত পদক্ষেপগুলি সম্পাদন করুন। পরবর্তী ক্লিক করতে থাকুন যতক্ষণ না আপনি একেবারে শেষ পর্দায় পৌঁছান। তারপর, ইনস্টলেশন শেষ করুন ক্লিক করুন৷ ট্যাব, গাঢ় লাল রঙে হাইলাইট করা ট্যাবগুলি নির্বাচন করে৷

1. ইনস্টলেশন এ ক্লিক করুন সাইডবারে এবং নতুন SQL সার্ভার স্ট্যান্ড-অলোন ইনস্টলেশন বা বিদ্যমান ইনস্টলেশনে বৈশিষ্ট্য যোগ করুন নির্বাচন করুন .

চিত্র 3

2. আপনি ইন্সটলেশন টাইপ এ পৌঁছানোর পর উইন্ডোতে, একটি বিদ্যমান উদাহরণে বৈশিষ্ট্য যোগ করুন নির্বাচন করুন ,এবং ড্রপ-ডাউন মেনু থেকে প্রয়োজনীয় উদাহরণ নির্বাচন করুন।

চিত্র 4

3. আপনি বৈশিষ্ট্য নির্বাচন এ পৌঁছানোর পর উইন্ডো, পলিবেস বৈশিষ্ট্য নির্বাচন করুন।

চিত্র 5

4. পলিবেস কনফিগারেশনে উইন্ডোতে, এই SQL সার্ভারটিকে স্বতন্ত্র পলিবেস-সক্ষম উদাহরণ হিসাবে ব্যবহার করুন নির্বাচন করুন .

চিত্র 6

5. বাকী সাইডবার বিকল্পগুলির জন্য, ডিফল্টগুলি নির্বাচন করুন এবং ইনস্টল করুন ক্লিক করুন . ইনস্টলেশন সম্পূর্ণ হওয়ার পরে, ফলোইং উইন্ডোটি প্রদর্শিত হবে:

চিত্র 7

এই মুহুর্তে, আপনি SQL কনফিগারেশন ম্যানেজারে দেখতে পারেন যে আমাদের আরও দুটি বৈশিষ্ট্য ইনস্টল করা আছে। যাইহোক, আপনি এখনও ত্রুটি বার্তা পেতে পারেন SSMS-এ পলিবেস ইনস্টল করা নেই৷ পলিবেস সক্ষম করার চেষ্টা করার সময়। এটি ঠিক করতে, পলিবেস ইনস্টল করার পরে সার্ভারটি পুনরায় চালু করুন।

চিত্র 8

2. এসকিউএল পলিবেস সক্ষম করুন

পলিবেস সক্ষম করতে, নিম্নলিখিত পদক্ষেপগুলি চালান:

1. SSMS-এ SQL সার্ভারের সাথে সংযোগ করুন এবং পলিবেস সফলভাবে ইনস্টল হয়েছে তা নিশ্চিত করতে নিম্নলিখিত ক্যোয়ারী চালান৷

    SELECT SERVERPROPERTY ('IsPolyBaseInstalled') AS IsSuccessfullyInstalled;
   

   নিম্নলিখিত চিত্রটি একটি সফল ইনস্টলেশনের আউটপুট দেখায়:

চিত্র 9

2. নিম্নলিখিত প্রশ্নগুলি চালিয়ে পলিবেস সক্ষম করুন:

    EXEC sp_configure 'polybase enabled', 1;
    Go
   

3. নিম্নলিখিত ক্যোয়ারী চালান:

    Reconfigure
   

   এই প্রশ্নটি গুরুত্বপূর্ণ। এই ধাপটি ছাড়া, এই সিরিজের তৃতীয় অংশে কভার করা ধাপে বাহ্যিক ফাইল ফরম্যাট তৈরির সময় ত্রুটি দেখা দিতে পারে।

চিত্র 10

3. একটি Azure স্টোরেজ অ্যাকাউন্ট তৈরি করুন

একটি Azure স্টোরেজ অ্যাকাউন্ট তৈরি করতে নিম্নলিখিত পদক্ষেপগুলি সম্পাদন করুন:

1. আপনার শংসাপত্র ব্যবহার করে Azure পোর্টালে লগ ইন করুন।

2. Azure স্টোরেজ অ্যাকাউন্ট পরিষেবা অনুসন্ধান করুন এবং স্টোরেজ অ্যাকাউন্ট তৈরি করতে নিম্নলিখিত পদক্ষেপগুলি সম্পাদন করুন। পরবর্তী ক্লিক করতে থাকুন যতক্ষণ না আপনি একেবারে শেষ পর্দায় পৌঁছান। তারপর, পর্যালোচনা এবং তৈরি করুন ক্লিক করুন৷ বিকল্প গাঢ় লালে হাইলাইট করা ট্যাবগুলি নির্বাচন করুন৷

   ৷

3. Azure Portal সার্চ বারে , Azure স্টোরেজ অ্যাকাউন্ট নির্বাচন করুন এবং + যোগ করুন ক্লিক করুন একটি নতুন স্টোরেজ অ্যাকাউন্ট তৈরি করতে।

চিত্র 11

4. বেসিক-এ ট্যাবে, প্রয়োজনীয় বিবরণ লিখুন এবং পরবর্তী:নেটওয়ার্কিং-এ ক্লিক করুন .

চিত্র 12

5. নেটওয়ার্কিং-এর জন্য ডিফল্ট সেটিংস রাখুন , ডেটা সুরক্ষা , উন্নত , এবংট্যাগগুলি৷ পর্দা।

6. এরপরে, পর্যালোচনা+তৈরি করুন এ ক্লিক করুন এবং, যাচাইকরণ সফল হওয়ার পর, ট্যাব তৈরি করুন ক্লিক করুন স্টোরেজ অ্যাকাউন্ট তৈরি করতে, যেমনটি নিম্নলিখিত ছবিতে দেখানো হয়েছে:

চিত্র 13

7. সফল স্থাপনে, সম্পদ-এ যান ক্লিক করুন , যা আপনাকে তৈরি স্টোরেজ অ্যাকাউন্টে নিয়ে যায়।

চিত্র 14

4. একটি Azure কন্টেইনার তৈরি করুন

একটি Azure কন্টেইনার তৈরি করতে, তৈরি করা Azure স্টোরেজ অ্যাকাউন্টে যান, পাত্রে ক্লিক করুন বাম ফলকে, এবং তারপর +ধারক-এ ক্লিক করুন .

চিত্র 15

5. কন্টেইনারে একটি ডেটা ফাইল রাখুন

এই পর্যায়ে, একটি পাঠ্য ডেটা ফাইল তৈরি করুন এবং এটি কন্টেইনারে আপলোড করুন৷

1. নিম্নলিখিত ফাইলের মতো একটি টেক্সট ফাইল তৈরি করুন:

চিত্র 16

দ্রষ্টব্য :আপনি CSV, Excel®, বা অন্যান্য বাহ্যিক ডেটা উত্সগুলিও ব্যবহার করতে পারেন৷ যাইহোক, বাহ্যিক ডেটা উৎসের উপর নির্ভর করে, আপনাকে কয়েকটি অতিরিক্ত পদক্ষেপ নিতে হবে। উদাহরণস্বরূপ, CSV বা এক্সেল ডেটা উত্সের জন্য, আপনাকে SQL সার্ভারে সঠিক ড্রাইভার ইনস্টল করতে হবে এবং সংযোগের বৈশিষ্ট্যগুলি একটি ODBC ডেটা উৎস নাম (DSN) এ যোগ করতে হবে। আপনি ODBC DSN তৈরি এবং কনফিগার করতে Microsoft ODBCData সোর্স অ্যাডমিনিস্ট্রেটর ব্যবহার করতে পারেন।

2. আপনার তৈরি করা কন্টেইনারে যান, পলিবেসডেমোকন্টেইনার , আপলোড এ ক্লিক করুন , ডানদিকের ফোল্ডার আইকনে ক্লিক করুন, এবং আপলোড করার জন্য ফাইলটি নির্বাচন করুন।

চিত্র 17

পরবর্তী ধাপ

আপনি পলিবেস ডেমোর পূর্বশর্তগুলি সফলভাবে সম্পন্ন করেছেন৷ দ্বিতীয় অংশটি ডেমোটি উপস্থাপন করে৷

কোনো মন্তব্য করতে বা প্রশ্ন জিজ্ঞাসা করতে প্রতিক্রিয়া ট্যাব ব্যবহার করুন। আপনি আমাদের সাথে একটি কথোপকথনও শুরু করতে পারেন৷