এক্সেলে সঠিক ডেটা অ্যানালিসিসের জন্য ডুপ্লিকেট রেকর্ড ম্যানেজ করা অত্যন্ত গুরুত্বপূর্ণ। এক্সেলে ডুপ্লিকেট ডেটা অYथর্ক ক্যালকুলেশন, ফাইল সাইজ বাড়াতে, এবং বিভ্রান্তি সৃষ্টি করতে পারে। এক্সেল ডুপ্লিকেট রিমুভ করার একাধিক উপায় অফার করে।
এই টিউটোরিয়ালে, আমরা ৮টি উপায় দেখব এক্সেলে ডেটা হারানো ছাড়াই ডুপ্লিকেট রিমুভ করার।
১. Remove Duplicates টুল
এক্সেলের বিল্ট-ইন Remove Duplicates ফিচার একটি কুইক সমাধান অফার করে ব্যবহারকারী-বান্ধব ইন্টারফেস সহ।
ধাপসমূহ:
- হেডারসহ আপনার ডেটা রেঞ্জ সিলেক্ট করুন।
- Data ট্যাবে যান >> Data Tools গ্রুপ থেকে Remove Duplicates সিলেক্ট করুন।
- কোন কম্বিনেশন ডুপ্লিকেট তৈরি করে সেটা নির্ধারণ করতে কলাম চেক/আনচেক করুন।
- OK-এ ক্লিক করুন।
কেস:
- যদি আমরা সকল কলাম সিলেক্ট করি, শুধু রো ৬ (OrderID 1002) রিমুভ হবে কারণ এটি রো ১-এর একজ্যাক্ট ডুপ্লিকেট।
- এক্সেল একটি মেসেজ দেখাবে যে ১টি ডুপ্লিকেট ভ্যালু পাওয়া গেছে এবং রিমুভ করা হয়েছে।
- যদি আমরা OrderID আনচেক করি এবং বাকি সব কলাম চেক করি।
- রো ৫, ৬ এবং ৮ ডুপ্লিকেট হিসেবে রিমুভ হবে।
সুবিধা:
- বিজ্যুয়াল ইন্টারফেস সহ সিম্পল ব্যবহার।
- সরাসরি আপনার ডেটায় কাজ করে।
- কোন কলাম চেক করবে সেটা স্পেসিফাই করা যায়।
বিবেচনা:
- পার্মানেন্টলি ডুপ্লিকেট রো ডিলিট করে।
- প্রতিটি রেকর্ডের প্রথম ইনস্ট্যান্স রেখে থাকে।
- অরিজিনাল ডেটা রিকভার করা যায় না যদি না ব্যাকআপ নেওয়া থাকে।
প্রো টিপ: আপনি যদি অরিজিনাল ডেটাসেট সংরক্ষণ করতে চান তবে এই টুল ব্যবহার করার আগে আপনার ডেটা অন্য শীতে কপি করে রাখুন।
২. Advanced Filter (Unique Records Only)
Advanced Filter আরও কন্ট্রোল দেয় ইউনিক রেকর্ড অন্য লোকেশনে কপি করার মাধ্যমে।
ধাপসমূহ:
- হেডারসহ আপনার ডেটা সংগঠিত করুন।
- Data ট্যাবে যান >> Sort & Filter গ্রুপ থেকে Advanced সিলেক্ট করুন।
- Copy to another location সিলেক্ট করুন।
- List range: এ আপনার ডেটা রেঞ্জ সিলেক্ট করুন A1:G12।
- Copy to: J1-এ।
- Unique records only চেক করুন।
- OK-এ ক্লিক করুন।
ডুপ্লিকেট রো ৬ (OrderID 1002) ফলাফল থেকে বাদ থাকবে। ডেটা J1 সেল এবং তার নিচে কপি হবে, ডুপ্লিকেট রো বাদ দিয়ে।
অ্যাডভান্সড উদাহরণ: OrderID নির্বিশেষে ডুপ্লিকেট প্রোডাক্ট ইনফো वाले ট্রানজ্যাকশন চিহ্নিত করতে, আপনি:
- হেডারসহ একটি ক্রাইটেরিয়া রেঞ্জ সেট আপ করুন (B1:G1)।
- এই ক্রাইটেরিয়া রেঞ্জের সাথে Advanced Filter প্রয়োগ করুন একই ট্রানজ্যাকশন খুঁজে বের করতে।
সুবিধা:
- অরিজিনাল ডেটা সংরক্ষণ করে।
- শুধু ইউনিক রেকর্ড অন্য লোকেশনে কপি করে।
- জটিল ক্রাইটেরিয়া কাজ করে যদি দরকার হয়।
বিবেচনা:
- ফিল্টারড রেজাল্টের জন্য উপলব্ধ স্পেস দরকার।
- সোর্স ডেটা পরিবর্তন হলে ম্যানুয়াল রিফ্রেশ দরকার।
৩. Power Query (Get & Transform)
Power Query একটি রোবাস্ট সমাধান অফার করে যা অরিজিনাল ডেটা সংরক্ষণ করে এবং বড় ডেটাসেট হ্যান্ডেল করতে পারে।
ধাপসমূহ:
- আপনার ডেটা সিলেক্ট করুন।
- Data ট্যাবে যান >> Get & Transform Data গ্রুপ থেকে From Table/Range সিলেক্ট করুন।
- তুলনার জন্য কলাম সিলেক্ট করুন (আপনি সকল কলাম বা শুধু নির্দিষ্ট কিছু সিলেক্ট করতে পারেন)।
- Home ট্যাবে যান >> Remove Rows গ্রুপ >> Remove Duplicates।
- Close & Load-এ ক্লিক করুন রেজাল্ট নতুন শীতে ইম্পোর্ট করার জন্য।
উদাহরণ:
- যদি আমরা সকল কলামের ভিত্তিতে ডুপ্লিকেট রিমুভ করি, শুধু রো ৬ (OrderID 1002) রিমুভ হবে।
- যদি আমরা শুধু Customer, Product, Quantity, Price, এবং Date (OrderID বাদ দিয়ে) এর ভিত্তিতে ডুপ্লিকেট রিমুভ করি, রো ৪ এবং ৮ উভয়ই ডুপ্লিকেট হিসেবে চিহ্নিত হবে।
আউটপুট:
সুবিধা:
- রিফ্রেশ করা যাওয়া একটি আলাদা রেজাল্ট সেট তৈরি করে।
- বড় ডেটাসেট দক্ষতার সাথে হ্যান্ডেল করে।
- অরিজিনাল ডেটা সংরক্ষণ করে।
- রিপিটেবল প্রসেসের অংশ হতে পারে।
- উন্নত ট্রান্সফরমেশন ক্ষমতা।
বিবেচনা:
- Power Query-এর বেসিক বোঝাপড়া দরকার।
- খুব বড় ডেটাসেটের জন্য বেশি রিসোর্স ব্যবহার করে।
- জটিল ডিউপ্লিকেশন লজিকের জন্য অতিরিক্ত স্টেপ দরকার।
৪. UNIQUE ফাংশন (Excel 365/2021)
নতুন এক্সেল ভার্সনের জন্য, UNIQUE ফাংশন ডাইনামিকভাবে ডISTINCT ভ্যালু এক্সট্রাক্ট করে।
ডুপ্লিকেট রো রিমুভ করুন:
- সেল I1 সিলেক্ট করুন এবং নিচের ফর্মুলা ইনসার্ট করুন।
ফর্মুলা:
আপনি সমস্ত ইউনিক রো সহ একটি স্পিল রেঞ্জ পাবেন। সোর্স ডেটা পরিবর্তন করলে এই লিস্ট আপডেট হবে। এটি আমাদের ডেটাসেট থেকে ডুপ্লিকেট রো ৬ বাদ দিয়ে সব ইউনিক রো রিটার্ন করে।
ক্যাটাগরি অনুযায়ী ইউনিক প্রোডাক্ট: Product এবং Category-এর ইউনিক কম্বিনেশন এক্সট্রাক্ট করতে।
- একটি সেল সিলেক্ট করুন এবং নিচের ফর্মুলা ইনসার্ট করুন।
ফর্মুলা:
এই ফর্মুলা সমস্ত ইউনিক প্রোডাক্ট লিস্ট সহ একটি স্পিল রেঞ্জ রিটার্ন করবে।
ইউনিক কাস্টমার লিস্ট: ইউনিক কাস্টমারের তালিকা পেতে।
- একটি সেল সিলেক্ট করুন এবং নিচের ফর্মুলা ইনসার্ট করুন।
ফর্মুলা:
এই ফর্মুলা সমস্ত ইউনিক কাস্টমার নাম সহ একটি স্পিল রেঞ্জ রিটার্ন করবে।
সুবিধা:
- সোর্স ডেটা পরিবর্তন হলে অটোমেটিক আপডেট হওয়া ডাইনামিক রেজাল্ট তৈরি করে।
- সোর্স ডেটাকে নন-ডেস্ট্রাক্টিভ।
- অন্য ফাংশনের সাথে কম্বাইন করা যায়।
- একাধিক কলাম জুড়ে ইউনিক কম্বিনেশন রিটার্ন করে।
বিবেচনা:
- শুধু Excel 365 এবং Excel 2021-এ উপলব্ধ।
- একটি স্পিলড অ্যারে ফর্মুলা তৈরি করে (অটোমেটিক্যালি এক্সপ্যান্ড করে)।
- ওয়ার্কস্পেস প্ল্যানিং দরকার হতে পারে।
- খুব জটিল ডিউপ্লিকেশন লজিক হ্যান্ডেল করতে পারে না।
৫. Conditional Formatting + Filter
এই ভিজ্যুয়াল পদ্ধতি ডুপ্লিকেট হাইলাইট করতে এবং তারপর ফিল্টার করতে সাহায্য করে।
ধাপসমূহ:
- আপনার ডেটা রেঞ্জ সিলেক্ট করুন।
- Home ট্যাবে যান >> Conditional Formatting থেকে >> Highlight Cells Rules >> Duplicate Values সিলেক্ট করুন।
- ফরম্যাটিং স্টাইল বেছে নিন: Light Red Fill with Dark Red Text।
- OK-এ ক্লিক করুন।
- এক্সেল ডুপ্লিকেট সেলগুলো হাইলাইট করে (কলাম অনুযায়ী)।
- Data ট্যাবে যান >> Filter সিলেক্ট করুন।
- সেল কালার দিয়ে ফিল্টার করুন ডুপ্লিকেট বা ইউনিক ভ্যালু দেখানোর জন্য।
- ইউনিক এর জন্য Automatic এবং ডুপ্লিকেটের জন্য Color সিলেক্ট করুন।
ইউনিক:
ডুপ্লিকেট:
যদি আপনি পুরো ডুপ্লিকেট রো হাইলাইট করতে চান, নিচের ফর্মুলা রুল ব্যবহার করুন:
- Home ট্যাবে যান >> Conditional Formatting থেকে >> New Rule সিলেক্ট করুন।
- Use a formula to determine which cells to format সিলেক্ট করুন।
- নিচের ফর্মুলা ইনসার্ট করুন:
=COUNTIFS($A$2:$A$12, $A2, $B$2:$B$12, $B2, $C$2:$C$12, $C2, $D$2:$D$12, $D2, $E$2:$E$12, $E2, $F$2:$F$12, $F2, $G$2:$G$12, $G2)>1
- ফিল কালার সিলেক্ট করুন।
- OK-এ ক্লিক করুন।
সুবিধা:
- রিমুভ করার আগে ডুপ্লিকেট ভিজ্যুয়ালি আইডেন্টিফাই করে।
- সকল ডেটা সংরক্ষণ করে।
- সিলেক্টিভ রিমুভ্যাল অনুমতি দেয়।
- সব এক্সেল ভার্সনে কাজ করে।
- ডুপ্লিকেট প্যাটার্ন বোঝাতে সাহায্য করে।
বিবেচনা:
- মাল্টি-স্টেপ প্রসেস।
- ম্যানুয়াল ফিল্টারিং দরকার।
- অটোমেটিক্যালি আপডেট হয় না।
- ডেটা পরিবর্তন হলে ফিল্টার রি-অ্যাপ্লাই দরকার।
৬. Pivot Table পদ্ধতি
Pivot Tables প্রাকৃতিকভাবে ডেটা অ্যাগ্রিগেট করে, প্রক্রিয়ায় ডুপ্লিকেট কার্যকরভাবে রিমুভ করে।
ধাপসমূহ:
- আপনার ডেটা সিলেক্ট করুন।
- Insert ট্যাবে যান >> PivotTable সিলেক্ট করুন।
- Existing Worksheet এবং লোকেশন সিলেক্ট করুন।
- OK-এ ক্লিক করুন।
- PivotTable Fields List থেকে;
- এই ফিল্ডগুলো Rows-এ টেনে আনুন:
- Order ID, Customer, Product, Category, Date।
- এই ফিল্ডগুলো Values-এ টেনে আনুন:
- Quantity, Price।
ডুপ্লিকেট রো (৩ এবং ৬) কম্বাইন হয়ে গেছে, Quantity-এর যোগফল (৫+৫=১০) এবং Price-এর যোগফল (১২৯.৫+১২৯.৫=২৫৯) দেখাচ্ছে।
যদি OrderID বাদ দিয়ে ডুপ্লিকেট প্রোডাক্ট এবং কাস্টমার দেখাতে চান:
- Rows এলাকা থেকে OrderID রিমুভ করুন।
- ফলস্বরূপ পিভট টেবিল শুধু সেই ট্রানজ্যাকশন দেখাবে যেখানে OrderID ছাড়া সবকিছু একই।
সুবিধা:
- শুধু রিমুভ করার বদলে ডুপ্লিকেট ডেটা সারসংক্ষেপ করতে পারে।
- বড় ডেটাসেট দক্ষতার সাথে হ্যান্ডেল করে।
- নামেরিক ভ্যালু স্বয়ংক্রিয়ভাবে অ্যাগ্রিগেট করে।
বিবেচনা:
- Pivot Tables-এর বেসিক বোঝাপড়া দরকার।
- এক্সট্রাকশনের পর আরও ফরম্যাটিং দরকার হতে পারে।
- ডিফল্টভাবে নামেরিক ভ্যালু অ্যাগ্রিগেট করে (কিছু ফিল্ডের জন্য এটি ইচ্ছিত নাও হতে পারে)।
৭. COUNTIF হেল্পার কলাম
এই পদ্ধতিতে প্রতিটি রেকর্ডের প্রথম ঘটনাকে চিহ্নিত করার জন্য একটি কলাম যোগ করা হয়।
ধাপসমূহ:
- একটি হেল্পার কলাম (কলাম H) যোগ করুন "Duplicate Check" হেডারের সাথে।
- ইউনিক রো চিহ্নিত করার জন্য একটি ফর্মুলা ব্যবহার করুন।
- উপযুক্ত মান ফিল্টার করুন শুধু ইউনিক রেকর্ড দেখতে।
সম্পূর্ণ ডুপ্লিকেট চিহ্নিত করা:
- সেল H2 সিলেক্ট করুন, এবং এই ফর্মুলা লিখুন।
ফর্মুলা:
=IF((COUNTIFS($A$2:$A$12, $A2, $B$2:$B$12, $B2, $C$2:$C$12, $C2, $D$2:$D$12, $D2, $E$2:$E$12, $E2, $F$2:$F$12, $F2, $G$2:$G$12, $G2))=1, "Unique","Duplicate")
এই ফর্মুলা সে রোগুলাকে ডুপ্লিকেট চিহ্নিত করে যেখানে পুরো রো ডুপ্লিকেট।
OrderID উপেক্ষা করা: OrderID নির্বিশেষে ট্রানজ্যাকশন ডিটেইলের ভিত্তিতে ডুপ্লিকেট চিহ্নিত করতে:
=IF((COUNTIFS($B$2:$B$12, $B2, $C$2:$C$12, $C2, $D$2:$D$12, $D2, $E$2:$E$12, $E2, $F$2:$F$12, $F2, $G$2:$G$12, $G2))=1, "Unique","Duplicate")
এই ফর্মুলা রো ২,৩,৫,৬, এবং ১০ কে "Duplicate" হিসেবে চিহ্নিত করে যেহেতু তারা ট্রানজ্যাকশন ডিটেইল ডুপ্লিকেট করে।
সুবিধা:
- কোন রেকর্ড ডুপ্লিকেট এবং অরিজিনাল ডেটা রাখে তা দেখায়।
- জটিল কন্ডিশনে কাস্টমাইজ করা যায়।
- কোন রোগুলো ডুপ্লিকেট সেটা চিহ্নিত করে।
বিবেচনা:
- একটি অতিরিক্ত কলাম দরকার।
- একাধিক কলামের জন্য ফর্মুলা জটিল হতে পারে।
- ডেটা পরিবর্তন হলে অ্যাডজাস্ট করতে হয়।
- নতুন ডেটার জন্য কপি ডাউন করতে হয়।
৮. ফর্মুলা-ভিত্তিক এক্সট্রাকশন (INDEX/MATCH বা FILTER)
অ্যাডভান্সড ব্যবহারকারীদের জন্য, INDEX, MATCH, এবং অন্যান্য ফাংশনের কম্বিনেশন ইউনিক ভ্যালু এক্সট্রাক্ট করতে পারে।
INDEX/MATCH ব্যবহার করুন (পুরানো এক্সেল ভার্সন): আলাদা লোকেশনে ইউনিক কাস্টমার নাম এক্সট্রাক্ট করতে।
- একটি সেল সিলেক্ট করুন এবং নিচের ফর্মুলা ইনসার্ট করুন।
ফর্মুলা:
=IFERROR(INDEX($B$2:$B$12,MATCH(0,COUNTIF($I$1:I1,$B$2:$B$12),0)),"")
FILTER ব্যবহার করুন (Excel 365/2021): সকল কলাম রেখে ইউনিক রেকর্ড এক্সট্রাক্ট করতে।
- একটি সেল সিলেক্ট করুন এবং নিচের ফর্মুলা ইনসার্ট করুন।
ফর্মুলা:
=FILTER(A2:G12, MATCH(A2:A12&B2:B12&C2:C12&D2:D12&E2:E12&F2:F12&G2:G12, A2:A12&B2:B12&C2:C12&D2:D12&E2:E12&F2:F12&G2:G12, 0)=ROW(A2:A12)-ROW(A2)+1)
সুবিধা:
- হাইلي কাস্টমাইজেবল।
- অন্য পদ্ধতি ফেল করলে কাজ করে।
- জটিল লজিক ইনক্লুড করতে পারে।
- সোর্স ডেটাকে নন-ডেস্ট্রাক্টিভ।
- সোর্স ডেটা পরিবর্তন হলে ডাইনামিক্যালি আপডেট হয়।
বিবেচনা:
- অ্যাডভান্সড এক্সেল নলেজ দরকার।
- ইম্প্লিমেন্ট এবং মেইনটেইন করা বেশি জটিল।
- পুরানো এক্সেল ভার্সনে অ্যারে ফর্মুলা দরকার হতে পারে।
- বড় ডেটাসেটের জন্য রিসোর্স-ইনটেনসিভ হতে পারে।
উপসংহার
এক্সেলে ডুপ্লিকেট রিমুভ করা রিস্কি বা জটিল হতে পারে না। আপনি ছোট রিপোর্ট বা বড় ডেটাসেটের সাথে কাজ করছেন হোক না কেন, এক্সেল ডুপ্লিকেট চিহ্নিত ও উচ্ছেদ করার একাধিক নিরাপদ এবং ফ্লেক্সিবল মেথড অফার করে। আপনার ডেটা টাইপের ভিত্তিতে, আপনি ডেটা হারানো ছাড়াই এক্সেলে ডুপ্লিকেট রিমুভ করার এই ৮টি উপায় ব্যবহার করতে পারেন। সেরা মেথড আপনার এক্সেল ভার্সন, ডেটা সাইজ, এবং আপনি ফর্মুলা পছন্দ করেন কিনা টুল পছন্দ করেন তার ওপর নির্ভর করে। এই ৮টি টেকনিক মাস্টার করলে আপনি যেকোনো ডুপ্লিকেট-ক্লিনিং চ্যালেঞ্জের জন্য প্রস্তুত থাকবেন। ডেটা সরাসরি মডিফাই করার মেথড ব্যবহার করার আগে সর্বদা আপনার ডেটা ব্যাকআপ নিন।
