ലക്ഷ്യം
നമുക്ക് ഒരു ഡാറ്റാസെറ്റ് നൽകിയിട്ടുണ്ട്, അതിൽ ഫീച്ചർ വെക്ടറുകൾ ഉം ക്ലാസ് ലേബലുകൾ ഉം അടങ്ങിയിരിക്കുന്നു. എന്നത് ക്ലാസിലെ ഫീച്ചറുകളുടെ സെറ്റ് ആയി സൂചിപ്പിക്കുക. ഇനിപ്പറയുന്നവ ഞങ്ങൾ അനുമാനിക്കുന്നു:
- . അതായത്, ഒരു ക്ലാസ് ലേബൽ നൽകിയാൽ, ആ ക്ലാസിൽ ഉൾപ്പെടുന്ന ഫീച്ചറുകളുടെ വിതരണം മീൻ ഉം കോവേറിയൻസ് ഉം ഉള്ള ഒരു ഗോസിയൻ ആയിരിക്കും.
- ലെ സാമ്പിളുകൾ ഈ അനുമാനിച്ച ഗോസിയൻ വിതരണം അനുസരിച്ച് സ്വതന്ത്രവും സമാനമായി വിതരണം ചെയ്യപ്പെട്ടവ (i.i.d.) ആണ്.
MLE പരിഹരിക്കാൻ ശ്രമിക്കുന്ന പ്രശ്നം എന്നത്, ഡാറ്റ നൽകിയിരിക്കുന്നതിന് ഏറ്റവും സാധ്യതയുള്ള പാരാമീറ്ററുകളായ കണ്ടെത്തുക എന്നതാണ്. ഞങ്ങൾ സൂചിപ്പിക്കുന്നത്
ഇതിൽ ഓരോ ക്ലാസിനും മീനുകളും കോവേറിയൻസുകളും ഉൾപ്പെടുന്നു. ന്റെ സാധ്യത
ഉം ന്റെ MLE, , ആണ്
പ്രായോഗികമായി, കണക്കുകൂട്ടൽ ലളിതമാക്കാൻ ഞങ്ങൾ ലോഗ്-സാധ്യത ഉപയോഗിക്കുന്നു:
കാരണം ലോഗ്-സാധ്യതയെ പരമാവധി ചെയ്യുന്നത് സാധ്യതയെ പരമാവധി ചെയ്യുന്നതിന് തുല്യമാണ്. വാക്കുകളിൽ പറഞ്ഞാൽ, സാധ്യത എന്നത് നിർവചിച്ച വിതരണത്തിൽ നിന്ന് ഓരോ ഡാറ്റാപോയിന്റും സ്വതന്ത്രമായി വരച്ചാൽ നമ്മുടെ ഡാറ്റാസെറ്റ് ഉണ്ടാകാനുള്ള സാധ്യതയാണ്. ഈ സാധ്യത പരമാവധി ചെയ്യുന്ന ആണ് വരച്ച യഥാർത്ഥ വിതരണം നിർവചിക്കുന്നത്.
ന്റെ ഗ്രേഡിയന്റ് ആയി സജ്ജമാക്കി പരിഹാരം പരമാവധി ആണെന്ന് പരിശോധിച്ചുകൊണ്ട് കണ്ടെത്താൻ ശ്രമിക്കാം. എന്നിരുന്നാലും, ഇത് ഒരു ഗ്ലോബൽ മാക്സിമം ഉറപ്പാക്കുന്നില്ല.
ഉദാഹരണം: അജ്ഞാത $\boldsymbol{\mu}$
നമുക്ക് അനുമാനിക്കാം, ഡാറ്റാസെറ്റ് ലെ ഓരോ ഘടകവും അറിയപ്പെടുന്ന കോവേറിയൻസ് ഉള്ള ഒരു മൾട്ടിവേറിയേറ്റ് ഗൗസിയൻ ഡിസ്ട്രിബ്യൂഷനിൽ നിന്ന് വരുന്നു, പക്ഷേ മീൻ അജ്ഞാതമാണ്. ന്റെ MLE എന്താണ്?
ന്റെ MLE കണ്ടെത്താൻ, ലൈക്ലിഹുഡ് ഫംഗ്ഷൻ മാക്സിമൈസ് ചെയ്യുന്നു. ഒരു മൾട്ടിവേറിയേറ്റ് ഗൗസിയൻ ഡിസ്ട്രിബ്യൂഷനായി:
ഇവിടെ എന്നത് ന്റെ ഡൈമെൻഷൻ ആണ്.
സാമ്പിളുകൾ സ്വതന്ത്രമാണെന്ന് അനുമാനിച്ചതിനാൽ, ഡാറ്റാസെറ്റ് ന്റെ ലൈക്ലിഹുഡ് ഓരോ ന്റെ ലൈക്ലിഹുഡുകളുടെ ഗുണനഫലമാണ്. ഇത് ലോഗ്-സ്പേസിൽ ഒരു തുകയായി മാറുന്നു:
ഗ്രേഡിയന്റ് എടുത്ത് പൂജ്യത്തിന് തുല്യമാക്കുമ്പോൾ:
ഗ്രേഡിയന്റിന്റെ ഡെറിവേഷൻ
ക്വാഡ്രാറ്റിക് ഫോം പരിഗണിക്കുക, ഇവിടെ , :
ഗ്രേഡിയന്റ് കണക്കാക്കുമ്പോൾ:
ഇവിടെ ആദ്യത്തെ പദം എന്നതിൽ നിന്നും രണ്ടാമത്തെ പദം എന്നതിൽ നിന്നും വരുന്നു. നമുക്ക് ശ്രദ്ധിക്കാം:
അതിനാൽ,
ഇവിടെ, യുമായി ബന്ധപ്പെട്ട് ഡിഫറൻഷിയേറ്റ് ചെയ്യുമ്പോൾ, സബ്സ്റ്റിറ്റ്യൂട്ട് ചെയ്യുമ്പോൾ ഒരു നെഗറ്റീവ് ചിഹ്നം വരുന്നു. സമമിതിയാണെന്നതും (കോവേറിയൻസ് മാട്രിക്സ് ആയതിനാൽ) മുകളിലെ ഫലവും ഉപയോഗിച്ച്:
കൊണ്ട് ഇരുവശവും ഗുണിച്ചാൽ:
ഇത് സൂചിപ്പിക്കുന്നത്:
ഇതാണ് സാമ്പിൾ മീൻ! ഈ ഫലം ഏറ്റവും അർത്ഥവത്താണ്.