ডেটা ইন্টিগ্রেশন হলো বহুতর ভিন্ন ソース থেকে ডেটা একত্রিত করার ধাপ। ডেটা ইন্টিগ্রেশন বাস্তবায়ন করার সময় ডেটা রিডান্ডান্সি, ইনকনসিস্টেন্সি, ডুপ্লিকেসি ইত্যাদি নিয়ে কাজ করা দরকার। ডেটা মাইনিং-এ, ডেটা ইন্টিগ্রেশন একটি ডেটা প্রি-প্রসেসিং কৌশল যাতে বহুতর হেটেরোজিনিয়াস ডেটা সোর্স থেকে ডেটা মার্জ করে একটি কোহেরেন্ট ডেটা তৈরি করা হয় যাতে তথ্যের একটি সমন্বিত দৃষ্টিভঙ্গি রক্ষা ও সমর্থন করা যায়।
এটি বিভিন্ন সোর্স থেকে ডেটা একত্রিত করে একটি কোহেরেন্ট ডেটা স্টোরে রূপান্তরিত করে, যাতে ডেটা ওয়ারহাউজিং থাকে। এই সোর্সগুলোতে একাধিক ডেটাবেস, ডেটা কিউব, বা ফ্ল্যাট ফাইল ইত্যাদি থাকতে পারে। ডেটা ইন্টিগ্রেশনের সময় বিবেচনা করার জন্য একাধিক বিষয় রয়েছে।
স্কিমা ইন্টিগ্রেশন ও অবজেক্ট ম্যাচিং জটিল হতে পারে। উদাহরণস্বরূপ, এন্টিটি আইডেন্টিফিকেশন ম্যাচ করা (এক ডেটাবেসে emp_id আরেকটাতে emp_no), এ ধরনের সমস্যাগুলো মেটাডেটা ব্যবহার করে পরিহার করা যায়।
রিডান্ডান্সি আরেকটি সমস্যা। वार্ষিক রেভিনিউ जैसा একটি অ্যাট্রিবিউট রিডান্ডান্ট হতে পারে যদি এটি অন্য অ্যাট্রিবিউট বা অ্যাট্রিবিউট সেট থেকে ডেরাইভ করা যায়। অ্যাট্রিবিউট বা ডাইমেনশন নেমিং-এ ইনকনসিস্টেন্সি ও ফলস্বরূপ ডেটাসেটে রিডান্ডান্সি সৃষ্টি করতে পারে।
কुछ রিডান্ডান্সি কোরিলেশন অ্যানালাইসিস দিয়ে আবিষ্কার করা যায়। দুটি অ্যাট্রিবিউট দেওয়া থাকলে, সেটি হিসাব করতে পারে একটি অ্যাট্রিবিউট অন্যটিকে কতটুকু ইমপ্লাই করে, উপলব্ধ ডেটা ভিত্তিক করে। সংখ্যাসূচক অ্যাট্রিবিউটের জন্য, দুই অ্যাট্রিবিউট A এবং B-এর মধ্যে কোরিলেশন বের করা যায় কোরিলেশন কোইফিশিয়েন্ট (পিয়ারসনের প্রোডাক্ট-মোমেন্ট কোইফিশিয়েন্ট, এর আবিষ্কারকারী কার্ল পিয়ারসনের নামানুসারে) হিসাব করে। সূত্র:
$$r_{A,B}=\frac{\sum_{i=1}^{n}(a_{i}-A')(b_{i}-B')}{N\sigma _{A}\sigma _{B}}=\frac{\sum_{i=1}^{n}(a_{i}b_{i})-NA'B'}{N\sigma _{A}\sigma _{B}}$$
যেখানে N হলো টাপল সংখ্যা, a_i এবং b_i হলো টাপল i-তে A এবং B-এর মান, A' এবং B' হলো A এবং B-এর মিন মান, σ_A এবং σ_B হলো A এবং B-এর স্ট্যান্ডার্ড ডেভিয়েশন, এবং Σ(a_i b_i) হলো AB ক্রস-প্রোডাক্টের যোগফল, অর্থাৎ প্রতিটি টাপলে A-এর মান B-এর মান দিয়ে গুণ করা হয়।
কোরিলেশন কস্যালিটি ইমপ্লাই করে না। অর্থাৎ, যদি A এবং B কোরিলেটেড হয়, এটা অনুariamente ইমপ্লাই করে না যে A, B-কে কজ করছে বা B, A-কে। উদাহরণস্বরূপ, একটি ডেমোগ্রাফিক ডেটাবেস অ্যানালাইসিসে দেখা যেতে পারে যে একটি অঞ্চলে হাসপাতাল এবং কার চুরির সংখ্যা কোরিলেটেড। এটা বোঝায় না যে একটিই অন্যটির কারণ। উভয়ই সাধারণত একটি তৃতীয় অ্যাট্রিবিউটের সাথে জড়িত, যেমন জনসংখ্যা।
ডেটা ইন্টিগ্রেশনে তৃতীয় গুরুত্বপূর্ণ বিষয় হলো ডেটা ভ্যালু কনফ্লিক্ট সনাক্ত ও সমাধান। উদাহরণস্বরূপ, একই রিয়েল-ওয়ার্ল্ড এন্টিটির জন্য, বিভিন্ন সোর্স থেকে অ্যাট্রিবিউট মান ভিন্ন হতে পারে। এটা রিপ্রেজেন্টেশন, স্কেলিং, বা এনকোডিং-এ পার্থক্যের কারণে হতে পারে।
