Boto3 ব্যবহার করে AWS অ্যাকাউন্টে সমস্ত ক্রলারের তালিকা পাওয়া

ভূমিকা

AWS Glue-এ তৈরি সব ক্রলারের নাম তালিকা পাওয়ার জন্য list_crawlers API ব্যবহার করা হয়। এটি কোনো প্যারামিটার নেয় না।

সমস্যা বিবরণ

পাইথনে boto3 লাইব্রেরি ব্যবহার করে সব ক্রলারের তালিকা পাওয়া।

অ্যালগরিদম / ধাপসমূহ

boto3 এবং botocore.exceptions ইম্পোর্ট করুন।
ফাংশনটি কোনো প্যারামিটার নেয় না।
AWS সেশন এবং Glue ক্লায়েন্ট তৈরি করুন।
glue_client.list_crawlers() কল করুন।
রেসপন্সে CrawlerNames লিস্ট এবং ResponseMetadata থাকবে।
এক্সেপশন হ্যান্ডল করুন।

উদাহরণ কোড

import boto3
from botocore.exceptions import ClientError

def list_of_crawlers():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        crawler_details = glue_client.list_crawlers()
        return crawler_details
    except ClientError as e:
        raise Exception("boto3 client error in list_of_crawlers: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in list_of_crawlers: " + e.__str__())

print(list_of_crawlers())

আউটপুট

{'CrawlerNames': ['crawler_for_s3_file_job', 'crawler_for_employee_data', 'crawler_for_security_data'], 'ResponseMetadata': {'RequestId': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 14:04:03 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '830', 'connection': 'keep-alive', 'x-amzn-requestid': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d'}, 'RetryAttempts': 0}}

ব্যাখ্যা

CrawlerNames তালিকায় সব ক্রলারের নাম থাকে।
ক্রলারের বিস্তারিত মেটাডেটা (রোল, টার্গেট, শিডিউল ইত্যাদি) পাওয়ার জন্য get_crawler বা batch_get_crawlers ব্যবহার করুন।
পেজিনেশন হ্যান্ডল করতে NextToken ব্যবহার করুন।