Data Mining

1. 1. தரவு ஆய்வாக்கம்: ஒரு அறிமுகம்

தரவு ஆய்வாக்கம் என்பது பெரிய தரவுத் தொகுப்பிலிருந்து பயனுள்ள தகவல்களை வெளிக்கொணரும் ஒரு செயல்முறையாகும். இது கணினி அறிவியல், புள்ளியியல், தரவுத்தள மேலாண்மை மற்றும் வணிக நுண்ணறிவு ஆகியவற்றின் கலவையாகும். இன்றைய உலகில், தரவு அதிவேகமாக பெருகி வருகிறது. இந்த தரவுகளை பகுப்பாய்வு செய்து, அதிலிருந்து மதிப்புமிக்க நுண்ணறிவுகளைப் பெறுவது வணிகங்கள் மற்றும் பிற நிறுவனங்களுக்கு முக்கியமானதாகிறது.

1. 1. 1. தரவு ஆய்வாக்கத்தின் முக்கிய கூறுகள்

தரவு ஆய்வாக்கம் பல முக்கிய கூறுகளை உள்ளடக்கியது. அவை பின்வருமாறு:

• **தரவு சேகரிப்பு:** தரவு ஆய்வாக்கத்தின் முதல் படி, தொடர்புடைய தரவுகளை சேகரிப்பதாகும். இந்த தரவு பல்வேறு மூலங்களிலிருந்து வரலாம், அதாவது தரவுத்தளங்கள், வலைத்தளங்கள், சமூக ஊடகங்கள் மற்றும் சென்சார்கள்.
• **தரவு சுத்தம்:** சேகரிக்கப்பட்ட தரவு பெரும்பாலும் முழுமையற்றதாகவோ அல்லது தவறானதாகவோ இருக்கலாம். தரவு சுத்தம் என்பது தரவை துல்லியமாகவும், முழுமையாகவும், நம்பகத்தன்மையுடனும் மாற்றுவதற்கான ஒரு செயல்முறையாகும்.
• **தரவு மாற்றம்:** தரவு மாற்றத்தில், தரவு பகுப்பாய்வுக்கு ஏற்ற வடிவத்திற்கு மாற்றப்படுகிறது. இதில் தரவை ஒருங்கிணைத்தல், தரவை சாதாரணமாக்குதல் மற்றும் புதிய பண்புகளை உருவாக்குதல் ஆகியவை அடங்கும்.
• **தரவு பகுப்பாய்வு:** தரவு பகுப்பாய்வு என்பது தரவுகளிலிருந்து வடிவங்கள் மற்றும் போக்குகளைக் கண்டறியும் ஒரு செயல்முறையாகும். இதில் பல்வேறு புள்ளியியல் மற்றும் இயந்திர கற்றல் நுட்பங்களைப் பயன்படுத்தலாம்.
• **முறைப்படுத்தல்:** கண்டறியப்பட்ட வடிவங்கள் மற்றும் போக்குகளைப் புரிந்துகொள்ளக்கூடிய வடிவத்தில் வழங்குவது முறைப்படுத்தல் ஆகும். இது விளக்கப்படங்கள், வரைபடங்கள் மற்றும் அறிக்கைகள் மூலம் செய்யப்படலாம்.

1. 1. 1. தரவு ஆய்வாக்கத்தின் வகைகள்

தரவு ஆய்வாக்கத்தில் பல வகைகள் உள்ளன. அவை பின்வருமாறு:

• **விளக்க தரவு ஆய்வாக்கம் (Descriptive Data Mining):** இந்த வகை தரவு ஆய்வாக்கம் தரவைப் பற்றி விவரிக்கிறது. அதாவது, தரவில் என்ன இருக்கிறது என்பதைப் புரிந்துகொள்ள உதவுகிறது. எடுத்துக்காட்டாக, ஒரு விற்பனைத் தரவுத் தொகுப்பிலிருந்து எந்த பொருட்கள் அதிகம் விற்பனையாகின்றன என்பதைக் கண்டறியலாம்.
• **முன்னறிவிப்பு தரவு ஆய்வாக்கம் (Predictive Data Mining):** இந்த வகை தரவு ஆய்வாக்கம் எதிர்கால நிகழ்வுகளை கணிக்கிறது. அதாவது, தரவைப் பயன்படுத்தி என்ன நடக்கலாம் என்பதைப் புரிந்துகொள்ள உதவுகிறது. எடுத்துக்காட்டாக, கடன் வாங்கியவர்களின் தரவைப் பயன்படுத்தி, யார் கடனைத் திருப்பிச் செலுத்த வாய்ப்புள்ளது என்பதைக் கணிக்கலாம்.
• **விதிமுறைக் கண்டுபிடிப்பு (Association Rule Mining):** இந்த வகை தரவு ஆய்வாக்கம் தரவுகளுக்கு இடையிலான தொடர்புகளைக் கண்டறிகிறது. அதாவது, எந்த பொருட்கள் ஒன்றாக வாங்கப்படுகின்றன அல்லது எந்த நோய்கள் ஒன்றாக ஏற்படுகின்றன என்பதைக் கண்டறிய உதவுகிறது. சந்தை கூடை பகுப்பாய்வு இதற்கு ஒரு சிறந்த எடுத்துக்காட்டு.
• **குழு பகுப்பாய்வு (Cluster Analysis):** இந்த வகை தரவு ஆய்வாக்கம் ஒத்த தரவுப் புள்ளிகளை குழுக்களாகப் பிரிக்கிறது. அதாவது, வாடிக்கையாளர்களை அவர்களின் வாங்கும் பழக்கங்களின் அடிப்படையில் குழுக்களாகப் பிரிக்கலாம்.
• **அடையாளம் காணும் பகுப்பாய்வு (Anomaly Detection):** இந்த வகை தரவு ஆய்வாக்கம் தரவுகளில் உள்ள வழக்கத்திற்கு மாறான தரவுப் புள்ளிகளைக் கண்டறிகிறது. அதாவது, மோசடி பரிவர்த்தனைகளைக் கண்டறியலாம்.

1. 1. 1. தரவு ஆய்வாக்க நுட்பங்கள்

தரவு ஆய்வாக்கத்தில் பயன்படுத்தப்படும் பல நுட்பங்கள் உள்ளன. அவற்றில் சில முக்கியமானவை இங்கே:

• **முடிவு மரங்கள் (Decision Trees):** இவை தரவை கிளைகளாகப் பிரித்து முடிவுகளை எடுக்கும் ஒரு வழிமுறை.
• **நரம்பியல் வலைப்பின்னல்கள் (Neural Networks):** இவை மனித மூளையின் செயல்பாட்டைப் பிரதிபலிக்கும் ஒரு வழிமுறை.
• **ஆதரவு திசையன் இயந்திரங்கள் (Support Vector Machines):** இவை தரவை வகைப்படுத்த பயன்படுத்தப்படும் ஒரு வழிமுறை.
• **பின்னடைவு பகுப்பாய்வு (Regression Analysis):** இது இரண்டு அல்லது அதற்கு மேற்பட்ட மாறிகளுக்கு இடையிலான தொடர்பை ஆராயும் ஒரு வழிமுறை.
• **K-சராசரி கிளஸ்டரிங் (K-Means Clustering):** இது தரவுப் புள்ளிகளை குழுக்களாகப் பிரிக்கும் ஒரு வழிமுறை.

1. 1. 1. தரவு ஆய்வாக்கத்தின் பயன்பாடுகள்

தரவு ஆய்வாக்கத்திற்கு பல பயன்பாடுகள் உள்ளன. அவற்றில் சில இங்கே:

• **சந்தைப்படுத்தல்:** வாடிக்கையாளர்களின் தேவைகளை புரிந்து கொள்ளவும், இலக்கு சந்தைப்படுத்தல் பிரச்சாரங்களை உருவாக்கவும் தரவு ஆய்வாக்கம் பயன்படுத்தப்படுகிறது.
• **நிதி:** மோசடி கண்டறிதல், கடன் அபாய மதிப்பீடு மற்றும் பங்குச் சந்தை கணிப்பு போன்றவற்றுக்கு தரவு ஆய்வாக்கம் பயன்படுத்தப்படுகிறது.
• **சுகாதாரம்:** நோய்களைக் கண்டறிதல், நோயாளிகளின் சிகிச்சையை மேம்படுத்துதல் மற்றும் புதிய மருந்துகளைக் கண்டுபிடித்தல் போன்றவற்றுக்கு தரவு ஆய்வாக்கம் பயன்படுத்தப்படுகிறது.
• **சில்லறை வணிகம்:** வாடிக்கையாளர் கொள்முதல் முறைகளை பகுப்பாய்வு செய்தல், சரக்குகளை நிர்வகித்தல் மற்றும் விற்பனையை அதிகரித்தல் போன்றவற்றுக்கு தரவு ஆய்வாக்கம் பயன்படுத்தப்படுகிறது.
• **உற்பத்தி:** உற்பத்தி செயல்முறைகளை மேம்படுத்துதல், தரத்தை கட்டுப்படுத்துதல் மற்றும் இயந்திரங்களின் தோல்விகளை முன்கூட்டியே கண்டறிதல் போன்றவற்றுக்கு தரவு ஆய்வாக்கம் பயன்படுத்தப்படுகிறது.
• விவசாயம்: பயிர் விளைச்சலை அதிகரிக்கவும், பூச்சி தாக்குதலை முன்கூட்டியே கண்டறியவும் தரவு ஆய்வாக்கம் பயன்படுகிறது.
• போக்குவரத்து: போக்குவரத்து நெரிசலைக் குறைக்கவும், விபத்துகளைத் தடுக்கவும் தரவு ஆய்வாக்கம் பயன்படுகிறது.

1. 1. 1. தரவு ஆய்வாக்க கருவிகள்

தரவு ஆய்வாக்கத்திற்கு உதவும் பல கருவிகள் உள்ளன. அவற்றில் சில பிரபலமானவை இங்கே:

• **R:** இது புள்ளியியல் கணக்கீடு மற்றும் கிராஃபிக்ஸ் க்கான ஒரு நிரலாக்க மொழி மற்றும் மென்பொருள் சூழல். R நிரலாக்கம் தரவு அறிவியல் மற்றும் புள்ளிவிவர பகுப்பாய்வில் பரவலாகப் பயன்படுத்தப்படுகிறது.
• **Python:** இது ஒரு பொது நோக்கத்திற்கான நிரலாக்க மொழி, இது தரவு ஆய்வாக்கம் உட்பட பல்வேறு பயன்பாடுகளுக்கு பயன்படுத்தப்படுகிறது. பைதான் நிரலாக்கம் தரவு விஞ்ஞானிகளிடையே மிகவும் பிரபலமானது.
• **Weka:** இது இயந்திர கற்றல் பணிகளுக்கான ஒரு திறந்த மூல மென்பொருள் தொகுப்பு.
• **RapidMiner:** இது தரவு அறிவியல், இயந்திர கற்றல் மற்றும் முன்னறிவிப்பு பகுப்பாய்வுக்கான ஒரு தளம்.
• **KNIME:** இது தரவு ஒருங்கிணைத்தல், தரவு பகுப்பாய்வு மற்றும் அறிக்கையிடலுக்கான ஒரு திறந்த மூல தளம்.
• **Tableau:** இது தரவு காட்சிப்படுத்தலுக்கான ஒரு சக்திவாய்ந்த கருவி.
• **Power BI:** இது மைக்ரோசாஃப்ட் நிறுவனத்தால் உருவாக்கப்பட்ட ஒரு வணிக நுண்ணறிவு கருவி.
• Apache Spark: இது பெரிய தரவு செயலாக்கத்திற்கான ஒரு திறந்த மூல விநியோகிக்கப்பட்ட கணினி கட்டமைப்பு.

1. 1. 1. தரவு ஆய்வாக்கத்தின் சவால்கள்

தரவு ஆய்வாக்கம் பல சவால்களை உள்ளடக்கியது. அவற்றில் சில இங்கே:

• **தரவு தரம்:** தரவு தவறானதாகவோ அல்லது முழுமையற்றதாகவோ இருந்தால், தரவு ஆய்வாக்கத்தின் முடிவுகள் துல்லியமாக இருக்காது.
• **தரவு அளவு:** பெரிய தரவுத் தொகுப்புகளை பகுப்பாய்வு செய்வது கடினம் மற்றும் அதிக கணினி வளங்கள் தேவைப்படலாம்.
• **தனியுரிமை:** தனிப்பட்ட தரவைப் பகுப்பாய்வு செய்யும் போது, தனியுரிமையை உறுதி செய்வது முக்கியம்.
• **விளக்கமளிக்கும் திறன்:** தரவு ஆய்வாக்கத்தின் முடிவுகளைப் புரிந்துகொள்வது மற்றும் விளக்குவது கடினமாக இருக்கலாம்.
• தரவு பாதுகாப்பு: தரவு ஆய்வாக்கத்தில் பயன்படுத்தப்படும் தரவுகளைப் பாதுகாப்பது முக்கியம்.

1. 1. 1. எதிர்கால போக்குகள்

தரவு ஆய்வாக்கம் தொடர்ந்து வளர்ந்து வரும் ஒரு துறையாகும். எதிர்காலத்தில் நாம் காணக்கூடிய சில போக்குகள் இங்கே:

• **ஆழமான கற்றல் (Deep Learning):** இது இயந்திர கற்றலின் ஒரு துணைக்குழு ஆகும், இது சிக்கலான தரவுப்Patterns ஐக் கண்டறியப் பயன்படுகிறது.
• **இயற்கை மொழி செயலாக்கம் (Natural Language Processing):** இது கணினிகள் மனித மொழியைப் புரிந்துகொள்ளவும், செயலாக்கவும் உதவும் ஒரு துறை.
• **பெரிய தரவு பகுப்பாய்வு (Big Data Analytics):** இது பெரிய தரவுத் தொகுப்புகளை பகுப்பாய்வு செய்வதற்கான ஒரு செயல்முறையாகும்.
• தானியங்கி இயந்திர கற்றல் (AutoML): இது இயந்திர கற்றல் மாதிரிகளை தானாக உருவாக்க உதவும் ஒரு தொழில்நுட்பம்.
• விளக்கக்கூடிய செயற்கை நுண்ணறிவு (XAI): இது செயற்கை நுண்ணறிவு மாதிரிகளின் முடிவுகளைப் புரிந்துகொள்ள உதவும் ஒரு துறை.

தரவு ஆய்வாக்கம் என்பது வணிகங்கள் மற்றும் பிற நிறுவனங்களுக்கு மதிப்புமிக்க நுண்ணறிவுகளை வழங்கக்கூடிய ஒரு சக்திவாய்ந்த கருவியாகும். இந்தத் துறையில் தொடர்ந்து புதிய தொழில்நுட்பங்கள் உருவாகி வருவதால், தரவு ஆய்வாக்கம் எதிர்காலத்தில் இன்னும் முக்கியமானதாக இருக்கும்.

தரவு காட்சிப்படுத்தல், தரவு மாதிரியாக்கம், தரவு ஒருங்கிணைப்பு, தரவு மேலாண்மை, தரவு பாதுகாப்பு, இயந்திர கற்றல், புள்ளியியல் பகுப்பாய்வு போன்ற பிற தொடர்புடைய தலைப்புகளைப் பற்றி மேலும் அறிந்து கொள்வது தரவு ஆய்வாக்கத்தைப் பற்றிய உங்கள் புரிதலை மேம்படுத்த உதவும்.

குளோமராட்டிவ் பகுப்பாய்வு, சமூக வலைப்பின்னல் பகுப்பாய்வு, உரைச் சுரங்கம், பட தரவு ஆய்வாக்கம், நேரத் தொடர் பகுப்பாய்வு போன்ற குறிப்பிட்ட தரவு ஆய்வாக்க நுட்பங்களையும் நீங்கள் ஆராயலாம்.

கூகிள் தரவு ஸ்டுடியோ, அமேசான் வலை சேவைகள் (AWS), மைக்ரோசாஃப்ட் அஸூர், சஸ் நிறுவனம் போன்ற தரவு ஆய்வாக்க சேவைகளை வழங்கும் நிறுவனங்களைப் பற்றியும் தெரிந்து கொள்ளுங்கள்.

கார்டிங் டேட்டா சயின்ஸ், டேட்டா கேம்ப், கேகல் போன்ற தரவு அறிவியல் பயிற்சி மற்றும் சான்றிதழ் திட்டங்களும் உள்ளன.

ஹார்வர்ட் பிசினஸ் ரிவியூ, MIT டெக்னாலஜி ரிவியூ, டேட்டா சயின்ஸ் சென்ட்ரல் போன்ற தரவு அறிவியல் தொடர்பான பிரபலமான வெளியீடுகளைப் படியுங்கள்.

தரவு அறிவியல் மாநாடுகள் மற்றும் தரவு ஆய்வாக்க கருத்தரங்குகள் ஆகியவற்றில் கலந்துகொள்வது இந்தத் துறையில் உள்ள சமீபத்திய போக்குகளைப் பற்றி அறிய உதவும்.

தரவு ஆய்வாக்க நெறிமுறைகள் மற்றும் தரவு பயன்பாட்டு வழிகாட்டுதல்கள் போன்ற சட்ட மற்றும் ஒழுங்குமுறை அம்சங்களையும் கருத்தில் கொள்வது அவசியம்.

தரவு ஆய்வாக்கத்திற்கான சிறந்த நடைமுறைகள் மற்றும் தரவு ஆய்வாக்க திட்ட மேலாண்மை போன்ற தொழில்முறை தரநிலைகளையும் பின்பற்ற வேண்டும்.

தரவு ஆய்வாக்கத்தின் வணிக மதிப்பு மற்றும் தரவு ஆய்வாக்க முதலீட்டின் வருவாய் ஆகியவற்றை அளவிடுவது முக்கியம்.

தரவு ஆய்வாக்கத்தின் அபாயங்கள் மற்றும் தரவு ஆய்வாக்கத்தின் குறைபாடுகள் ஆகியவற்றை அறிந்து கொள்வது அவசியம்.

தரவு ஆய்வாக்கத்தின் எதிர்காலம் மற்றும் தரவு ஆய்வாக்கத்தின் தாக்கம் பற்றிய கணிப்புகளை ஆராய்வது பயனுள்ளதாக இருக்கும்.

தரவு ஆய்வாக்கத்தின் தற்போதைய நிலை மற்றும் தரவு ஆய்வாக்கத்தின் வளர்ச்சி பற்றிய புள்ளிவிவரங்களைச் சேகரிப்பது முக்கியம்.

தரவு ஆய்வாக்கத்தின் வரையறை மற்றும் தரவு ஆய்வாக்கத்தின் நோக்கம் ஆகியவற்றைத் தெளிவாகப் புரிந்துகொள்வது அவசியம்.

தரவு ஆய்வாக்கத்தின் வரலாறு மற்றும் தரவு ஆய்வாக்கத்தின் பரிணாமம் ஆகியவற்றை அறிவது இந்தத் துறையின் பின்னணியைப் புரிந்துகொள்ள உதவும்.

தரவு ஆய்வாக்கத்தின் முக்கியத்துவம் மற்றும் தரவு ஆய்வாக்கத்தின் நன்மைகள் ஆகியவற்றை எடுத்துக்காட்டுவது அவசியம்.

பரிந்துரைக்கப்பட்ட எதிர்கால சந்தை பதிவு தளங்கள்

தளம்	எதிர்கால செயல்பாடுகள்	பதிவு
Binance Futures	125x வரை மூலதனம், USDⓈ-M ஒப்பந்தங்கள்	இங்கு பதிவு செய்யவும்
Bybit Futures	நிரந்தர தலைகீழ் ஒப்பந்தங்கள்	வணிகத்தை தொடங்கு
BingX Futures	நகல் வணிகம்	BingX இல் சேர்
Bitget Futures	USDT உறுதியான ஒப்பந்தங்கள்	கணக்கை திற
BitMEX	கிரிப்டோ சந்தை, 100x வரை மூலதனம்	BitMEX

நமது சமூகத்தில் சேர்க்கை

@strategybin என்ற Telegram சேனலுக்கு குழுசேர்க்கை செய்து மேலும் தகவல்களைப் பெறுங்கள். சிறந்த இலாப தளங்கள் – இங்கு பதிவு செய்யவும்.

நமது சமூகத்தில் பங்கேற்கவும்

@cryptofuturestrading என்ற Telegram சேனலுக்கு குழுசேர்க்கை செய்து பகுப்பாய்வு, இலவச சமிக்ஞைகள் மற்றும் மேலும் தகவல்களைப் பெறுங்கள்!