স্ন্যাপশটের জন্য S3 ব্যবহার করতে ইলাস্টিক সার্চ কনফিগার করুন

মূলত 2 মার্চ, 2017 তারিখে ObjectRocket.com/blog-এ প্রকাশিত হয়েছে

ডেটা প্ল্যাটফর্মগুলি প্রসারিত এবং রূপান্তর অব্যাহত রাখে, কিন্তু একটি দিক কখনই পরিবর্তিত হয় বলে মনে হয় না—সবাই এখনও তাদের ডেটার একটি ব্যাকআপ কপি চায়! এই ওয়াকথ্রু আপনাকে দেখায় কিভাবে Elasticsearch® উদাহরণের জন্য আপনার Rackspace ObjectRocket দিয়ে S3 রিপোজিটরি প্লাগইন ব্যবহার করতে হয়।

যেহেতু ডেটা প্ল্যাটফর্মগুলি প্রসারিত এবং রূপান্তর করতে থাকে একটি দিক একই থাকে&mdassh;প্রত্যেকে এখনও তাদের ডেটার একটি ব্যাকআপ অনুলিপি চায়! প্রযুক্তির বিবর্তন এখনও স্থানীয় উন্নয়ন পরিবেশে পুনরুদ্ধার করার জন্য ব্যাকআপগুলিতে অ্যাক্সেসের দাবি করে, সুরক্ষা বা সম্মতির জন্য একটি অনুলিপি, এবং অন্যান্য ক্ষেত্রে . ইলাস্টিকসার্চ ইনস্ট্যান্সের জন্য আপনার Rackspace® ObjectRocket®-এর সাহায্যে কীভাবে S3 রিপোজিটরি প্লাগইন ব্যবহার করবেন তা এই পোস্টে বর্ণনা করা হয়েছে।

স্ন্যাপশট উপাদান

ইলাস্টিক সার্চ স্ন্যাপশট তিনটি প্রধান উপাদান নিয়ে গঠিত:একটি সংগ্রহস্থল, স্ন্যাপশট(গুলি), এবং একটি অনন্য স্ন্যাপশট নাম। আপনি স্ন্যাপশট কোথায় এবং কীভাবে সংরক্ষণ করবেন সে সম্পর্কে একটি সংগ্রহস্থলে নির্দিষ্ট বিবরণ থাকে। আপনার ডিফল্ট রাতের অবজেক্ট রকেট ব্যাকআপের ধরন হল:fs , এবং S3 ব্যাকআপের প্রকার:S3 . এই উভয় একটি সামান্য ভিন্ন সেটিংস গঠন আছে. এখানে একটি সংগ্রহস্থলের একটি উদাহরণ স্নিপেট:

GET /_snapshot?pretty
...
{
  "s3_repository" : {
    "type" : "s3",
    "settings" : {
      "bucket" : "MYBUCKETNAME",
      "server_side_encryption" : "false",
      "region" : "us-east-1",
      "compress" : "false"
    }
  }
}
...

প্রদর্শিত প্রতিটি সংগ্রহস্থল একটি অ্যারে তালিকাভুক্ত এক বা একাধিক স্ন্যাপশট নিয়ে গঠিত:

GET /_snapshot/s3_repository/_all?pretty
[... 
  {
    "snapshot" : "20170208225601",
    "uuid" : "t6R6jxLJTIueQizv9clJYg",
    "version_id" : 5010499,
    "version" : "5.1.1",
    "indices" : [ ".triggered_watches", ".watch_history-2016.10.26", "elastalert_status", "coffee-2016.10.301", ".kibana", "coffee-2016.10.305", "coffee-2016.10.304", "coffee-2016.10.303", "coffee-2016.10.302", ".watches" 
    ],
    "state" : "SUCCESS",
    "start_time" : "2017-02-09T06:56:01.191Z",
    "start_time_in_millis" : 1486623361191,
    "end_time" : "2017-02-09T06:56:12.179Z",
    "end_time_in_millis" : 1486623372179,
    "duration_in_millis" : 10988,
    "failures" : [ ],
    "shards" : {
      "total" : 57,
      "failed" : 0,
      "successful" : 57
    }
  }]

সকল _snapshot এর জন্য অপারেশন, আপনাকে সঠিক সংগ্রহস্থল, স্ন্যাপশট এবং স্ন্যাপশট শনাক্তকারী উল্লেখ করতে হবে। পূর্ববর্তী উদাহরণ থেকে, snapshot : 20170208225601 ব্যবহার করুন অনন্য শনাক্তকারী হিসাবে।

#### S3 এ ব্যাকআপ পাঠানো হচ্ছে

Elasticsearch এর সাথে আপনার S3 সংগ্রহস্থল সেট আপ করা একটি অপেক্ষাকৃত সহজ প্রক্রিয়া। আপনার S3 বালতিতে আপনার ব্যাকআপ পাঠানোর জন্য শুধুমাত্র কয়েকটি পূর্বশর্ত রয়েছে:

1. repository-s3 ইনস্টল করুন প্লাগইন।
2. নিশ্চিত করুন যে আপনার ক্লাস্টার বাহ্যিকভাবে S3-এ পৌঁছাতে পারে।
3. S3-এর জন্য যথাযথ শংসাপত্র (বালতি, গোপন এবং কী) থাকতে হবে।

আপনার যদি অবজেক্ট রকেট ইলাস্টিকসার্চ উদাহরণ থাকে, প্রথম দুটি ধাপ ডিফল্টভাবে থাকা উচিত এবং তৃতীয় উপাদানটির জন্য আপনার S3 শংসাপত্র থাকতে হবে। আপনি যদি ইলাস্টিকসার্চ স্ন্যাপশট প্রক্রিয়া সীমাবদ্ধ করতে চান তবে একটি কাস্টম নীতি তৈরি করুন AWS® IAM কনসোলের সাথে। নীতি দস্তাবেজটি নিম্নলিখিত উদাহরণের অনুরূপ হওয়া উচিত (MYBUCKETNAME প্রতিস্থাপন):

{
  "Statement": [
    {
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::MYBUCKETNAME"
      ]
    },
    {
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::MYBUCKETNAME/*"
      ]
    }
  ],
  "Version": "2012-10-17"

পূর্বশর্তগুলি সম্পূর্ণ না হওয়াতে, প্রথম ধাপ হল আপনার S3 সংগ্রহস্থল তৈরি করা:

PUT /_snapshot/s3_repository
{
  "type": "s3",
  "settings": {
    "bucket": "MYBUCKETNAME",
    "region": "us-east-1",
    "access_key": "KEY",
    "secret_key": "SECRET"
  }
}'

আপনি সংগ্রহস্থল তৈরি করার পরে, আপনি সমস্ত স্ট্যান্ডার্ড _snapshot অপারেশন সম্পাদন করতে পারেন। আপনি যদি একটি নতুন স্ন্যাপশট নিতে চান, তাহলে নিম্নলিখিত এন্ডপয়েন্টটি অ্যাক্সেস করুন এবং আপনার SNAPSHOT_NAME সংজ্ঞায়িত করুন :

PUT /_snapshot/s3_repository/SNAPSHOT_NAME?wait_for_completion=false

স্ন্যাপশটগুলি কখনও কখনও চালানোর জন্য কিছু সময় নেয়, তাই আপনি একটি ইন-ফ্লাইট এর স্থিতি পরীক্ষা করতে চাইতে পারেন স্ন্যাপশট এই এন্ডপয়েন্ট ব্যবহার করে আপনি বর্তমানে চলমান যেকোনো স্ন্যাপশট বা পুনরুদ্ধার ক্রিয়াকলাপ সম্পর্কে আরও বিশদ দেখায়:

GET /_snapshot/_status

এখন ধরা যাক আমাদের শেষ স্ন্যাপশটটি সম্পূর্ণ হওয়ার পরেই আমরা আমাদের সমস্ত সূচী মুছে দিয়েছি এবং আমাদের সিদ্ধান্তের জন্য দ্রুত অনুশোচনা করেছি। একটি S3 স্ন্যাপশট থেকে সমস্ত সূচী পুনরুদ্ধার করতে, নিম্নলিখিত কমান্ডটি চালান:

POST /_snapshot/s3_repository/SNAPSHOT_NAME/_restore

আপনি যদি বেছে বেছে সূচীগুলি পুনরুদ্ধার করতে চান তবে বিন্যাসটি কিছুটা পরিবর্তন করুন। যেমন:

POST /_snapshot/s3_repository/SNAPSHOT_NAME/_restore
{
  "indices": "myindex_1,myindex_2",
  "ignore_unavailable": true
}

এটা উল্লেখ করার মতো যে এক সময়ে একটি ক্লাস্টারে শুধুমাত্র একটি স্ন্যাপশট বা পুনরুদ্ধার অপারেশন চলতে পারে। উপরন্তু, আপনার ক্লাস্টারে স্ন্যাপশটগুলির একটি সামান্য কার্যক্ষমতার প্রভাব রয়েছে, তাই নিশ্চিত করুন যে আপনার ব্যাকআপ নীতি খুব বেশি আক্রমণাত্মক নয়!

বরাবরের মতো, [email protected]

কোনো মন্তব্য করতে বা প্রশ্ন জিজ্ঞাসা করতে প্রতিক্রিয়া ট্যাব ব্যবহার করুন। এছাড়াও আপনি সেলস চ্যাট এ ক্লিক করতে পারেন এখন চ্যাট করতে এবং কথোপকথন শুরু করতে।