পাইস্পার্ক SQL ফলাফল প্লট করার ধাপাবলী
Matplotlib ব্যবহার করে PySpark SQL ফলাফল ভিজ্যুয়ালাইজ করতে নিচের ধাপগুলো অনুসরণ করুন:
- ফিগার আকার সেট করুন এবং সাবপ্লটের চারপাশে প্যাডিং সামঞ্জস্য করুন।
- Spark কার্যকারিতার মূল এন্ট্রি পয়েন্টের ইন্সট্যান্স পান।
- Hive-এ সংরক্ষিত ডেটার সাথে ইন্টিগ্রেটেড Spark SQL-এর ভেরিয়েন্টের ইন্সট্যান্স পান।
- টাপল হিসেবে রেকর্ডের একটি তালিকা তৈরি করুন।
- স্থানীয় পাইথন সংগ্রহ বিতরণ করে একটি RDD গঠন করুন।
- তালিকা রেকর্ডকে ডাটাবেস স্কিমায় ম্যাপ করুন।
- "my_table" তে এন্ট্রি করার জন্য স্কিমা ইন্সট্যান্স পান।
- টেবিলে একটি রেকর্ড যোগ করুন।
- SQL ক্যোয়ারি পড়ে রেকর্ড পুনরুদ্ধার করুন।
- আনকৃত রেকর্ডকে ডেটাফ্রেমে রূপান্তর করুন।
- name অ্যাট্রিবিউটের সাথে ইনডেক্স সেট করুন এবং প্লট করুন।
- ফিগার প্রদর্শনের জন্য show() মেথড ব্যবহার করুন।
উদাহরণ
from pyspark.sql import Row
from pyspark.sql import HiveContext
import pyspark
import matplotlib.pyplot as plt
plt.rcParams["figure.figsize"] = [7.50, 3.50]
plt.rcParams["figure.autolayout"] = True
sc = pyspark.SparkContext()
sqlContext = HiveContext(sc)
test_list = [(1, 'John'), (2, 'James'), (3, 'Jack'), (4, 'Joe')]
rdd = sc.parallelize(test_list)
people = rdd.map(lambda x: Row(id=int(x[0]), name=x[1]))
schemaPeople = sqlContext.createDataFrame(people)
sqlContext.registerDataFrameAsTable(schemaPeople, "my_table")
df = sqlContext.sql("Select * from my_table")
df = df.toPandas()
df.set_index('name').plot()
plt.show()
আউটপুট
উপরের কোড চালানোর পর একটি লাইন প্লট তৈরি হবে যেখানে X-অক্ষে নাম এবং Y-অক্ষে ID দেখানো হবে।
