Referatai, kursiniai, diplominiai

   Rasti 85 rezultatai

darbas apie svietimo finansavima
Vadyba  Referatai   (13 psl., 23,79 kB)
63 anglų topikai
2010-05-31
BALANCED DIET, CINEMA, CRIME, ENVIRONMENT, EUROPEAN UNION & NATO, FOREIGN LANGUAGES, HISTORY OF CHRISTMAS, JUNK FOOD, LITHUANIA IN 50 YEARS’ TIME, MASS MEDIA, PROFILE EDUCATION, SMOKING & DRUGS, SPORT,TECHNOLOGY DEVELOPMENT, TRANSPORT....
Anglų kalba  Kalbėjimo temos   (42 psl., 53,24 kB)
Foreign languages
2010-04-22
I know two foreign languages, which are : English and Germany. I think that learning languages is different from learning other subjects, for example if you are doing something in other country, you need to know language before learning other subjects. I think that knowing any foreign language is more difficult,than knowing the math, physics, or biology,because,all the facts, all the formulas are the same in the world,but the languages are different not only with its grammer,but also with the structure,spelling and writting. In the future i would like to learn some russian. I am also planning a holiday for next summer in the russia,so if I learn a bit of russian ,so it will help me to communicate with others there.
Anglų kalba  Kalbėjimo temos   (1 psl., 3,26 kB)
Purpose: to analyze the changes of women’s roles and education, to review critical attitude to the book “The Mill on the Floss”. Mary Ann (Marian) Evans (1819 –1880), better known by her pen name George Eliot, was an English novelist. She was one of the leading writers of the Victorian era. Her novels, largely set in provincial England, are well known for their realism and psychological insight. She used a male pen name, she said, to ensure that her works were taken seriously. An additional factor may have been a desire to shield her private life from public scrutiny and to prevent scandals attending her relationship with the married George Henry Lewes. She was educated at home and in several schools, and developed a strong evangelical piety.
Anglų kalba  Analizės   (20 psl., 513,96 kB)
Šie metodai turi labai lėtą konvergavimą, bet teoriškai jie gali įveikti vietinį minimumą (local minima.) Kitas trūkumas yra tas, kad vienas turi valdyti daugybę vidinių kintamųjų (kiekvienam svoriui nustatyti triukšmo periodus), kas nėra labai efektyvu. Arba apibrėžti tik išorinius kintamuosius - tokius kaip įėjimo signalas (input), norimas signalas ir žingsnio dydis. Iš pragmatiškos požiūrio pusės labai pageidaujami būtų taip vadinami on-line (tiesioginiai) algoritmai, t.y. algoritmai, kur atskiram pavyzdžiui svoriai kaskart būtų atnaujinami. Bet žvelgiant iš (annealing) modeliavimo pusės į stochastinę on-line atnaujinimo metodų prigimtį , jų realizavimas nebūtų efektyvus. Dėl šių priežasčių bus bandoma atlikti tokį eksperimentą: pridėti triukšmus prie norimo signalo ir eksperimentiškai ištirti tokios procedūros privalumus. Triukšmas taip pat buvo naudojamas gradiento perdavimo (descent) procedūrose. Holmstrom išanalizavo statinio BP algoritmo [Holmstrom and Koistinen, 1992] apibendrinimo galimybę, kuomet atsitiktinis triukšmas įvedamas į išorinius signalus. Šie bandymai parodė, kad apibendrinimas gali būti pagerintas naudojant bandomuosiusose (training) duomenyse papildomus triukšmus. Matsuoka pademonstravo, kad ir triukšmo įvedimas į vieną įėjimo signalą gali pagerinti apibendrinimą (generalization) [Matsuoka, 1992]. Abu autoriai susikoncentravo tik ties tinklo apibendrinimo galimybe, tačiau jie nenagrinėjo triukšmų poveikio mokymosi greičiui ir išėjimo iš local minima galimybės. II Mokymosi su papildomais triukšmais atitinkamame signale analizė II.1 Klasikinis stebimas mokymasis Šioje dalyje kaip mokymosi sistemos prototipas yra naudojamas daugiasluoksnis perceptronas (perceptron) (MLP) su dviem lygiais. Tačiau išvados gali būti atvaizduojamos atsikartojančiose topologijose. Šiame tinkle, xk aprašo iėjimo vektoriaus vieną elementą; yi yra išėjimo lygio i-tasis išėjimas; Wij nusako svorius tarp paslėpto ir išėjimo sluoksnių; Vjk yra svoris tarp įėjimo ir paslėpto sluoksnio; ir Pj nusako paslėpto sluoksnio aktyvavimą. Pateiktas čia apmokymo algoritmas - tai atgalinio mokymo (backpropagation) (BP) algoritmas [Rumelhart et al, 1986]. Tegul di(t) žymi kelis norimus išėjimo neurono i laiko momentu t atsakymus, kur t yra diskretaus laiko indeksas. Galima apibrėžti klaidos signalą, kaip skirtumą tarp norimo atsakymo di(t) ir turimo atsakymo yi(t). Tai nusakomo (1) formulė: Pagrindinis mokymosi tikslas yra minimizuoti kainos funkciją, kurią nusako klaidos signalas ei(t), taip, kad turimas kiekvieno išėjimo neurono atsakymas tinkle statistikine prasme artėtų prie norimo atsakymo. Kriterijus naudojamas kainos funkcijai yra Vidurkio-Kvadrato-Klaidos (Mean-Square-Error) (MSE) kriterijus, apibrėžiamas kaip klaidos kvadrato sumos vidurkio-kvadrato reikšmė [Haykin, 1994]: Kur E yra statistikinis tikimybės operatorius ir sumuojami visi išėjimo sluoksnio neuronai (i=1,…,M). Kainos funkcijos J minimizavimas atsižvelgiant į tinklo parametrus lengvai g.b. formuluojamas gradiento mažinimo (gradient descent) metodu. Šios optimizavimo procedūros problema yra ta, kad jai reikia žinių apie neapibrėžtų procesų, generuojančių pavyzdžius, statistikines charakteristikas. Praktiškai tai gali būti apeita, optimizavimo problemai surandant artimą sprendinį. Klaidos kvadratų sumos momentinė reikšmė (Instantaneous value of the sum of Squared Errors) (ISE) yra pasirinkimo kriterijus [Haykin, 1994]: Po to tinklo parametrai (svoriai) yra pritaikomi ε(t). Faktiškai ši procedūra vadovaujasi taip vadinamu LMS algoritmu, kuomet svoriai yra atnaujinami kartu su kiekvienu pavyzdžiu [Widrow and Hoff, 1960]. II.1 Mokymasis su norimu triukšmingu signalu Vietoj to, kad svorių pritaikymui naudoti norimą signalą di(t), kaip norimas signalas išėjimo neuronui i imamas naujas signalas di(t)+ ni(t), kur ni(t) yra triukšmo periodas. Šiam triukšmo periodui priskiriamas nulinės reišmės baltas triukšmas su σ2 pokyčiu (variance) , nepriklausančiu nei nuo įėjimo signalo xk(t) nei nuo norimų signalų di(t). Neapibrėžtas triukšmo perdavimas yra priskiriamas Gauso ar vienarūšiam perdavimui. Čia norima įrodyti, kad šis naujas norimas signalas neįtakoja galutinės svorių reikšmės statistikine prasme. Tai užtikrina, kad nauja savybė sprendžia originalią optimizavimo problemą. Turint naujus norimus signalus, MSE (4) lygties gali būti perrašyta taip: Nėra sunku įrodyti [Richard and Lippmann 1991; White, 1989; Haykin, 1994], kad (4) lygtis yra lygi Kur ‘|’ simbolis žymi sąlygines galimybes (probabilities), ir 'var' yra kitimų (variance) sutrumpinimas. Pastebėkite, kad antras periodas dešinėje (5) lygties pusėje prisidės prie bendros klaidos J ir koks ir bebūtų mokymosi progresas, jis neįtakos galutinės svorių reikšmės, kadangi jis nėra tinklo svorių funkcija. Optimali svorių reikšmė yra apsprendžiama tiktai pirmo (5) lygties periodo. Kuomet triukšmas yra nulinės reikšmės baltas triukšmas ir jis nepriklauso nei nuo norimo, nei nuo įėjimo signalų, mes turime (6) lygtis rodo, kad triukšmas iš lygties, kuri apibrėš galutines svorių reikšmes, dingsta, taigi mokymassi su norimo triukšmo signalu duos rezultatų, originalios optimizavimo problemos sprendimo prasme, t.y. be triukšmo pridėjimo prie norimo signalo. (learning with the noisy desired signal will yield in the mean the solution for the originaloptimization problem, i.e., without the noise added to the desired signal.) Reiktų konstatuoti, kad ši išvada galioja visoms architektūrų rūšims.Atlikimo funkcijai apibrėžti reikalingi tik išoriniai matavimai (MSE), ir tai nėra susiję nei su topologija nei su kainos funkcijos apibrėžimo būdu (statiniu ar kintamu). Nors šis sprendimas yra patenkinamas, reikia prisiminti, kad mus domina on-line algoritmas, kur yra mokymosi dinamika, t.y. kaip mokymosi progresas yra veikiamas triukšmų. II.3 On-line algoritmas mokymuisi veikiant norimam triukšmingam signalui Reiktų pažymėti, kad atliekamos, modifikacijos, jokiais būdais neveikia atgalinio mokymosi algoritmo realizacijos, kadangi yra modifikuojamas tik signalas, kuris yra įvedamas kaip norimas rezultatas. Taigi, siūlomos modifikacijos gali būti taikomos dar neegzistuojančioms modeliavimo sistemoms. Svarbi problema, kaip modeliavimo metu valdyti triukšmų kaitą (variance). Dėl to tolimesniame skyriuje bus apžvelgiama tiukšmų įtaka momentiniam gradientui. II.4 Norimo triukšmingo signalo gradiente analizė. Svorinio vektoriuas pritaikymo statiniame BP algoritme formulė, tiklui atvaizduotame 1 pav. norimame signale be triukšmų yra [Hertz et al.,1991] Svoriams tarp paslėpto sluoksnio ir išorinio sluoksnio, ir Svoriams tarp iėjimo sluoksnio ir paslėpto sluoksnio, kur ŋ yra žingsnio dydis. Su triukšmingu norimu signalu, ISE (3) lygties tampa: Lygtyse (7) ir (8) įrašant naują reikšmę εnoisy(t), gausime lygtis Palyginus lygtis (7) su (10) ir (8) su (11) daroma išvada, kad triukšmo pridėjimo prie norimo signalo poveikis, tai extra stochastinio periodo svoriniame vektorių taikyme įtraukimas, kas gali būti modeliuojama kaip pridėtinis momentinio gradiento triukšmas (pertirbation) betriukšminiam atvejui. Stochastinio periodo bendra forma Kur N(t) yra veiksmo funkcija gauta pakeitus originalią klaidą d(t)-y(t) įvestu triukšmu n(t). Panagrinėkime papildomų periodų (extra terms) statistines savybes (10) ir (11) lygtyse ir pastebėkime kaip jos veikia svorinių vektorių statistiką. Bet pirmiausia, apibrėžkime atsitiktinius kintamuosius: Jeigu atsitiktiniai kintamieji ir nepriklauso vienas nuo kito, ir g ir f funkcijos yra Borelo funkcijos, tuomet f ir gtaip pat yra nepriklausomos [Feller, 1966]. Realiausios funkcijos f(x) įskaitant sigmoido funkciją, plačiai naudojamą neuroniniuose tinkluose yra Borelio funkcijos. Taigi, galima daryti išvadą, kad (10) ir (11) lygtyse triukšmas n(t) nepriklauso nuo O taip pat ir nuo Todėl gali būti užrašytos papildomų periodų (extra terms) tikimybės ir Jų kitimas (variance) ir Iš (14) ir (15) lygties galima daryti išvadą, kad nulinės reikšmės atsitiktinis triukšmas norimame signale nedaro įtakos svoriniams vektoriams, taigi pagrindinė papildomo stochastinio periodo (extra stochastic term) svorio atnaujinimo reikšmė yra nulis. Iš (16) ir (17) lygties daromos dvi svarbios išvados: triukšmas pridėtas prie norimo signalo veikia svorio atnaujinimo kitimą proporciškai kiekvieno svorio jautrumui. Tai reiškia, kad atskiro triukšmo šaltinis išėjime yra išverčiamas į skirtingus triukšmų stiprumus kiekvienam svoriui. Antra, žingsnio dydis arba išorinio triukšmo šaltinio kitimas valdys papildomų periodų (variance of the extra terms) svoriniuose vektorių prisitaikymo formulėse kitimą, gaunamą pridedant triukšmą prie norimo signalo. Pastebima, kad, kai = 0 arba triukšmo kitimas yra nulis, tuomet stochastinis periodas (stochastic terms) išnyksta - lieka tik originalus svorio atnaujinimas (t.y. sprendžiama originali optimizacijos problema). Šie aspektai ir idėjos gautos iš globalios optimizacijos pateikia empirines taisykles išorinių triukšmų šaltinių valdymui, gaunat reikšmingus rezultatus. Modeliavimo pradžioje norėtųsi svoriams uždėti atsitiktinius trikdžius (perturbation), tam, kad būtų leista algoritmui pabėgti iš vietinio minimumo (local minima.). Tačiau artėjant prie adaptacijos pabaigos trikdžių (perturbation) kitimas turi būti sumažintas iki nulio taip, kad svoriai galėtų pasiekti reikšmes duotas originalios optimizacijos problemos. Toliau bus naudojamas (annealing) tvarkaraštis, pasiūlytas Moody [Darken, Chang, and Moody, 1992] Kur o yra inicijuojamo žingsnio dydis, c yra paieškos laiko konstanta, ir NI - iteracijos numeris. Šių konstantų reikšmės turės būti apibrėžtos eksperimentiškai, kadangi jos priklauso nuo problemų. III Modeliavimo rezultatai Patvirtinant anksčiau atliktą analizę, modeliavimo rezultatai bus pateikiami dviem pavyzdžiais. Vienas jų naudoja dviejų-lygių MLP, taip vadinamos lygiškumo problemos (parity problem), kuri buvo pademonstruota vietinio minimumo (local minima) atveju, pažinimui [Rumelhart et al, 1986]. Iš modeliavimo rezultatų bus matyti, kad mokymasis labiausiai gali būti pagerintas naudojant numatytą metodą (proposed approach) ir globalų minimumą, pasiektą statistikine prasme. Kitas pavyzdys naudoja dinaminį neuroninį tinklą TDNN [Waibel et al., 1989] laiko signalų modeliavimui. Antro modeliavimo rezultatai taip pat patvirtina ankstesnę analizę. III.I Eksperimentai su MLP Spresime 3 bitų lygiškumo problemą. Tinklo dydis 3-3-1, t.y. 3 įėjimo neuronai, 3 paslėpti neuronai, ir 1 išėjimo neuronas. Netiesiškumas (nonlinearity) yra logistinė funkcija. Tiesioginis atgalinis mokymas (backpropagation) yra naudojamas abiem atvejais. Buvo pridėtas Gauso (Gaussian) triukšmas su  =0.001 prie norimo signalo ir parinkti atitinkami parametrai 18 Lygtyje: c= 500 ir o= 0.3. Rezultatai parodyti 2 paveikslėlyje. Stora linija vaizduoja mokymasi su triukšmingu norimu signalu, o punktyrinė linija - su originaliu norimu signalu. Šis pavyzdys rodo, kad mokymasis artėja prie lokalaus minimumo, (local minimum) kuomet naudojamas originalus norimas signalas, bet naudojant triukšmingą norimą signalą mokymasis pasiekia globalų minimumą (global minimum) . Svarbu pabrėžti, kad mokymasis su originaliu signalu, naudoja pastovų žingsnio dydį, kai tuo tarpu signalo su triukšmais žingsnis yra gaunamas iš (18) lygties. Naudojant skirtingus žingsnio dydžius ir skirtingus pradinius (initial) svorius, buvo pasiekti panašūs rezultatai. Tam, kad patvirtinti šio algoritmo konvergavimo galimybę, buvo remiamasi Monte Carlo modeliavimai su 100 bandymu. Rezultatai pavaizduoti 3 Paveiksle, kur punktyrinė linija yra 100 veiksmų rezulatai originaliam signalui, o stora linija - 100 veiksmų rezulatatai triukšmingam signalui. Šiame eksperimente, svoriai yra parenkami atsistiktinai, o žingsnio dydis o atsitiktinai parenkamas iš intervalo [0,1, 0,7]. Kuomet globalus minimumas (global minimum) yra 0, tuomet yra lengva paskaičiuoti reikšmę ir pokytį (mean and variance) 100 galutinių klaidų, kurios pateiktos 1 Lentelėje. Dar daugiau, mokymasisi su triukšmingu signalu laike 99% priartėjo prie globalaus minimumo, o su originaliu signalu tik 26%. Iš 1 Lentelės, galima daryti išvadą, kad su triukšmingu signalu, mokymasis konverguoja į globalų minimumą; bet su originaliu signalu, mokymasis statistikine prasme nekonverguoja. Taigi, iš šių modeliavimo rezultatų galima daryti išvadą, kad triukšmingas signalas leidžia mokymosi algoritmui išeiti iš lokalaus minimumo (local minima). III. II Eksperimentai su dinaminiu neuroniniu tinklu III.I dalyje buvo pademonstruoti statinio neuroninio tinklo modeliavimo rezultatai. Tam, kad patvirtinti, jog aprašytas metodas taip pat veikia ir dinaminiuose neuroniniuose tinkluose. Dinaminės sistemos modeliavimui bus naudojamas TDNN [Waibel et al.,1989]. Bus nagrinėjama tokia sistema, Kur ',' žymi diferencijavimo operatorių. Sistemos įėjimai yra sinusoidžių aibė, Su atsitiktine faze l.. 4 ir 5 Paveikslėliuose vaizduojami sistemos įėjimo ir atitinkamai normalizuoti išėjimo signalai. TDNN tinklo struktūra demonstruojama 6 Paveikslėlyje, kur naudojamas keturių lygių vėlinimas. Šiame tinkle, kaip įėjimai į paslėptą lygį naudojami tik du įėjimo signalai x(t) ir x(t-4). Netiesiškumas (nonlinearity) paslėptuose neuronuose - tai logistinė funkciją. Išėjimas turi vieną tiesinį neuroną. Mokymosi algoritmas - tai BP, kur pavyzdžių klaidos surandamos atimant tinklo išėjimą y(t) iš sistemos d(t) išėjimo. Mokymosi kreivės pavaizduotos 7 Paveikslėlyje, kur triukšmo signalo žingsnio dydis surandamas naudojant (18) Lygtį, kur c=10, 0.01, ir triukšmo kitimas 2 =0.001 . Aiškiai matyti, kad su triukšmingu signalu konvergavimas yra greitesnis ir pasiekiamas žemesnis MSE. Naudojant skirtingus žingsnio dydžius ir svorius, pasiekiami panašūs rezultatai su MSE minimumu lygiu 0,0091. Paveikslėlyje 8 pavaizduotos mokymosi kreivės 100 mokymosi veiksmų, kur žingsnio dydis atsitiktinai parenkamas iš intervalo [0,1, 0,01], o svoriai taip pat yra atsitiktiniai skaičiai. Kadangi nėra žinomas šios problemos globalus minimumas, todėl naudojamas MSE minimali reikšmė 0,0091 kaip globalaus minimumo įvertis. 2 Lentelė atspindi statistikinius rezultatus 100 eksperimentų. 72% (trails) su triukšmingu signalu pasiekė globalų minimumą, ir tik 8% (trails) pasiekė globalų rezultatą su originaliu signalu. Daroma išvada, kad mokymasisi su triukšmingais signalais yra mažiau nepastovus ir mokymosi kreivės taip pat yra daug lygesnės. (smoother) IV.Discussion Eksperimentiškai buvo pademonstruota, kad mokymasis su triukšmingais signalais padidina pastovaus žingsnio dydžio BP algoritmo paieškos galimybes. Tai yra pasiekiama be papildomos kainos algoritmų realizavimo perioduose (This is accomplished at no extra cost in terms of algorithm implementation,), kadangi naudojamas tiesioginis atgalinis mokymas (straight backpropagation.) Papildomos savybės yra gaunamos įvedant nulinės reikšmės valdomo kitimo Gauso triukšmą ir žingsnio dydžio nustatymui pasinaudojant (18) Lygtimi. Buvo pademonstruota, kad triukšmo pridėjimas prie norimo signalo svorių atnaujinimo formulėse prideda nulinės reikšmės stochastinį periodą (that adding noise to the desired signal adds a zero mean stochastic term in the weightupdate formulas.). Nors atskiras triukšmo signalas ir yra įvedamas į norimą signalą, tačiau stochastinio periodo kitimas kiekvienam tinklo svoriui skiriasi (proporcingai kiekvieno svorio jautrumui). Dar daugiau, šio periodo kitimas tiesiogiai valdomas žingsnio dydžio arba išorinio triukšmo šaltinio kitimo. Tai reiškia, kad triukšmo pridėjimas prie norimo signalo yra labai paprasta ir efektyvi procedūra mokymosi proceso ištraukimo iš lokalaus minimumo. Kitimas arba žingsnio dydis turi būti parinktas (anealing) pritaikymo metu. Parinkimo (anealing) realizavimui buvo panaudota Moodžio paieška ir konvergavimo procedūra, tačiau kiekvienai problemai spręsti parametrai turi būti surandami eksperimentiškai. Žingsnio dydžio planavimas, toks, kad būtų įveiktas lokalus minimumas, išlieka atviras klausimas ne tik šiame metode, bet taip pat ir kituose stochastiniuose algoritmuose tokiuose kaip sumodeliuotas parinkimas (simulated annealing) [Kirkpatrick et al., 1983]. Mokymosi algoritmų lankstumo padidinimui yra siūlomi du skirtingi žingsnių dydžiai, vienas gradientui ir kitas - triukšmui. Ši procedūra turi neišvengiamą jungtį su globaliu optimizavimo metodu, vadinamu stochastiniu funkciniu nesklandumų šalinimu (stochastic functional smoothing) [Rubinstein, 1981 and 1986]. Priede aiškinama, kad tiesioginė stochastinio funkcinio nesklandumų šalinimo versija sutrikdo gradientą kartu su triukšmo periodu proporcingai Hesano paviršiui. ( an on-line ver-sion of stochastic functional smoothing perturbs the true gradient with a noise term proportional to the Hessian of the performance surface.) Kuomet signalas pridedamas prie norimo signalo, tikrinis (true) gradientas taip pat yra paveikiamas triukšmų periodo. Šiuo atveju poveikis yra proporcingas naujos veikimo funkcijos gradientui, kuris gaunamas iš originalaus skirtumo tarp d(t) ir y(t), kartu su įvestu triukšmu. Šis paviršius yra susijęs su originaliu, bet gali ir žymiai skirtis. Taigi, kuomet triukšmų šaltinis paprastai yra nustatomas į nulinę Gauso reikšmę, galima tikėtis mažiau optimalių rezultatų, lyginant su stochastinės funkcijos lyginimu (stochastic functional smoothing.). Tačiau algoritmo paprastumas ir geras veikimas gautas eksperimentuose skatina toliau dirbti prie šio metodo. Priedas Šio priedo tikslas yra susieti triukšmo pridėjimą prie norimo signalo naudojant stochastinį funkcinį lyginimo metodą, kuris yra globali optimizacijos procedūra. A.I Stochastinio funkcinio lyginimo optimizacijos apžvalga Stochastiniame funkciniame lyginime, originali neišgaubta funkcija yra perkeliama pagalbinės lyginimo funkcijos, kuri turi kai kurias optimizavimo savybes (t.y. atskiras minimumas). Dirbant su lyginimo funkcija, gali būti atsrastas optimalios problemos globalus minimumas . Lyginimo kainos funkcijos klasė parametrizuota ß yra apibrėžiama kaip [Rubinstein, 1981 and 1986] Kur ß yra valdymo parametras, o y yra atsitiktinis dydis. Dėl J ˆ (wtam, kad būti naudingam originaliai optimizacijai, h ˆ (v impulso atsakymas turi tenkinti keleta sąlygų [žr. Rubinstein, 1981 ir 1986 detaliau], taip, kad parametras apsprendžia lyginimo taikomo J(w) laipsnį. Dideliam lyginimo poveikis yra didelis ir atvirkščiai. Kuomet  0 J ˆ () = J , tuomet nėra lyginimo. Intuityviai aišku, kad norint išvengti lokalaus minimumo, optimizacijos pradžioje  turi būti pakankamai didelis. Tačiau siekiant optimumo lyginimo efektyvumas turi būti mažinamas leidžiant ß artėti prie nulio. Taigi minimumo taške w* laukiamas sutapimas tarp J(w) ir J ˆ ( Atitinkamai, konstruojant iteratyvią w* paieškos procedūrą, yra reikalinga lyginimo funkcijų aibė J ˆ(ß s=1,2,...... Jei signalo atsakymo dalis yra išrenkama kaip daugianormalinė funkcija su dydžiu n ir kitimu ß, tai Lyginimo kainos funkcijos gradientas gali būti įvertintas taip [Styblinski and Tang, 1990] Kur N yra pavyzdžių su daugybe kintamųjų iš (23) Lygties skaičius. Taigi, lyginimo kainos funkcijos gradientas gali būti randamas iš originalios kainos funkcijos. A.II Tiesioginė stochastinės lyginimo funkcijos Optimizavimo realizacija Susiejami triukšmo norimame signale poveikis ((10) ir (11) lygtys) su tiesiogine lyginimo funkcinių gradientų realizacija ((24) Lygtis)). Bus taikoma stochastinės aproksimacijos savybė [Robbins and Monro, 1951]. Kuomet ISE aproksimuoja (stochastine prasme) į MSE ir gradiento operatorius yra tiesinis operatorius, lyginimo kainos funkcijos gradientas εˆ gali būti įvertintas pagal analogiją su Lygtimi (25), taip Dėl supaprastinimo, čia yra ignoruojamas diskretinio laiko indeksas t. Reiktų pabrėžti, kad iš L.(24), kuri atspindi originalios stochastinės lyginimo funkcijos optimizacijos artėjimą prie L.(26), kuri yra tiesioginis L.(24) įvertis, tik vienintelė stochastinės aproksimacijos savybė buvo taikoma taip, kad būtų garantuotas tiesioginio įvertinimo stabilumas [Robbins and Monro, 1951; Kusher and Calrk, 1978; Wang and Principe, 1995]. Tiesioginis vienpusisi įvertis naudojamas L.(26) yra pagrindas gradiento įverčio naudojamo LMS ir BP algoritmuose. L.(26) išreiškia įvertinimą ε(w) gradiento, kuomet w yra paveikiamas atsitiktinio kintamojo βv j . Šis metodas praktiniam realizavimui yra per brangus, kadangi svoriai turi būti veikiami (gradiento skaičiavimui pageidaujamas antras tinklas). Taigi, šis metodas tiesiogiai nėra įgyvendinamas. Realizacijos supaprastinimui siūloma atlikti Teiloro seriją ekspansijų apie w, ir antrame etape jį suskaidyti. Literatūra 1. Darken, C., Chang, J., and Moody, J., “Learning Rate Schedules for Faster Stochastic Gradient Search,” IEEE Neural Networks for Signal Processing, 1992. 2. Fahlman, S., “Fast-Learning Variations on Back-Propagation: An Empirical Study,” In Proc. Of 1988 Conn. Model Summer School. 3. Feller, W, An Introduction to Probability Theory and Its Applications, Vol. 1, 2rd ed. Wiley, NewYork, 1966. 4. Haykin, S, Neural Networks---A Comprehensive Foundation, Macmillan College Publishing Company, New York, 1994. 5. Hertz J., Krogh A., Palmer R. G., “Introduction to the theory of neural computation,” Addison-Wesley,1991. 6. Hinton G. E., “Connectionist learning procedure,” In machine learning: Paradigms and methods, J. G. Carbonell, ed., pp. 185-234. MIT Press, Cambridge, MA, 1989. 7. Holmstrom L., and Koistinen, P., “Using Additive Noise in Back-Propagation Training,” IEEE Trans. on Neural Networks, Vol. 3, No.1, 1992. 8. Kirkpatrick, S., et. al., “Optimization by simulated annealing,” Science 220, 671-680. 9. Krogh, A. and Hertz, J., “Generalization in a Linear Perceptron in the Present of Noise,” J. Phys. A: Math. Gen. 25(1992) 1135-1147. 10. Kushner, H., “Asymptotic Global Behavior for Stochastic Approximation and Diffusions with Slowly Decreasing Noise Effects: Global Minimization via Monte Carlo,” SIAM J. APPL.MATH. Vol. 47, No. 1 Feb., 1987. 11. Kushner, H, and Clark, D. S., Stochastic Approximation Methods for Constrained and Uncon-strained Systems, Springer-Verlag, New York, 1978. 12. Matsuoka, K., “Noise Injection into Inputs in Back-Propagation Learning,” IEEE Trans. Systems, Man, and Cybernetics, Vol. 22, No. 3, 1992. 13. Richard M., Lippmann R. P., “Neural network classifiers estimate Bayesian a posteriori probabil-ity,” Neural Computation, 3, 461-483, 1991. 14. Robbins, H., and S. Monroe, “A stochastic approximation method,” Annals of Mathematical Sta-tistics 22, 1951. 15. Rognvaldsson, T., “On Langevin Updating in Multilayer Perceptrons,” Neural Computation, 6.916-926, 1994. 16. Rubinstein, R., Simulation and the Monte Carlo Method, Wiley,1981. 17. Rubinstein, R., Monte Carlo Optimization, Simulation and Sensitivity of the Queueing Networks,Wiley, 1986. 18. Rumelhart et al, Parallel Distributed Processing, Vol.1, MIT Press, 1986. 19. Styblinski, M.A., and Tang, T.-S, “Experiments in Nonconvex Optimization: Stochastic Approxi-mation with Function Smoothing and Simulated Annealing,” Neural Networks, Vol.3, 1990. 20. Szu, H., “Fast simulated annealing,” AIP conf. Proc. 151:Neural Networks for Computing, Snow-bird, UT, 1986. 21. Waibel, A., T. Hanazawa, G. Hinton, K. Shikano, K. J. Lang, “Phoneme recognition using time-delay neural networks,” IEEEE Trams. ASSP-37, 1989. 22. Wang, C., and J. C. Principe, “On-line stochastic functional smoothing optimization for neural network training, submitted to Neural Networks, 1995. 23. Werbos, p., “Generalization of backpropagation with application to a recurrent gas market model,” Neural Networks, 1, 339-356. 24. Widrow, B., and Hoff, M., “Adaptive switching circuits,” IRE WESCON Convention Record, pp.96-104, 1960.
Informatika  Kursiniai darbai   (164,25 kB)
Environmental conditions shape behavior through learning; a person’s behavior, in turn, shapes the environment. Persons and situations influence each other reciprocally (abipusishkai). To predict behavior, we need to know how the characteristics of the individual interact with the characteristics of the situation. The S.C. approach is the contemporary descendent of behaviorism and its outgrowth, stimulus-response psychology, which were dominant in the first half of this century. Like the psychoanalytic approach, the S.C. approach to personality is very deterministic. In contrast to the psychoanalytic approach, however, it pays very little attention to biological determinants. Like its parent, behaviorism, the social learning approach has been strongly influenced by the ideas of Darwin. The processes of learning shape the individual’s behavioral repertoire to be adaptive to his or her environment. Through its emphasis on specifying the environmental variables that evoke specific behaviors, S.C. theory has made a major contribution to both clinical psychology and personality theory. It has led us to see human actions as reactions to specific environments, and it has helped us to focus on the way in which environments control our behavior and how they can be changed to modify behavior. The careful application of learning principles has proved successful in changing maladaptive behavior. S.C. theorists have also challenged the notion that individuals are cross-situanionally consistent, forcing other personality theorists to reexamine the fundamental assumptions of their approaches. S.C. theorists have been criticized for overemphasizing the importance of situational influences on behavior and thus losing the person in personality psychology. Many personality theorists are unwilling to concede that personality has as little cross-situational consistency as social learning implies.
Language
2009-12-22
They serve as a useful means of communication. How could we understand or talk to people from other countries, if we couldn’t speak their language? I think that some people like learning foreign languages, various people have different reasons. I think that some people like learning languages in general, the others learn because they have to do that at school. Besides, nowadays pupils realize quite well that they might need foreign languages in the nearest future or it might be a credit for them to get a better job.
Education 2
2009-12-22
Some years ago secondary schools taught the same subjects, had the same organization of education. Today they are very different: some of them teach humanitarian subjects, some - science. The school curriculum, the organization of the lessons, the timing of the holidays, dressing vary from school to school. Subjects can be taught in three levels even at one school. You can take your examinations in three different levels too. Lithuanian children start attending secondary school when they are six or seven years old. They go to the primary schools which are in the kindergartens mostly. When they are ten or eleven years old they go to a secondary school. Pupils can stay at a secondary school for twelve years, but some of them leave secondary school at the end of the ninth form. They go to vocational junior colleges or manual training schools, where they can get both secondary education and the qualifications necessary for a job. Before that these pupils must take the examinations for the General Certificate of Secondary Education. But not only these, all pupils must take examinations. Everybody can go to a university after graduating from a secondary school, vocational junior college or manual training school. The brightest students have a chance of studying abroad. Pupils can transfer freely from one school to another. Secondary education is free. Pupils get their textbooks free, too. But some of higher schools and universities are not free. Students who have not very good marks in their Certificates of Secondary Education can study there too. But they have to pay money. Those pupils who are not very good at learning can go to evening school. It is easier to study there. As for me I attended secondary school No.5 in Marijampolė. I start attending my school when I was six years old. I have been going to this school for twelve years now. Our school is 24 years old. It is not very large: there are about 1000 schoolchildren and about 5 teachers in it. I like my school because there are my friends in it, because my school is famous for skilled teachers. I am on a good footing with them. Some teachers are not very tolerant to schoolchildren who don’t agree with them, but most of them are very generous and nice people; I can go if I have a problem to them. So I am sad at the thought of leaving my school, teachers and class friends. It is definitely our last year at school so I have to do my best. We have a canteen, a library, some cloak rooms, a big sport hall, a school hall in our school. We have a large playing field near our school. Inside the school building we have a lot of special classrooms where different subjects are taught. The biology room is my favourite because there are many dummies in it. My favourite subjects are English, Biology and Literature. There are some clubs at our school. We have got basketball and football teams. There are some singers and a lot of dancers at our school. On Saturdays we often have dances. We always celebrate various celebrations: The Day of Valentines, The Day of liars, The Day of teachers. We have a nice egg exhibitions in spring. But the most impressive is our New Year carnival. My parents want me to be a doctor. It is their ambition, and I am planning to study medicine in Kaunas. I want to become a midwife. It’s a very responsible and significant profession. I hate having to ask my mum and dad for money. So I must study. But I don’t want to leave my family and friends. Anyway, I’m scared of living on my own in a big town. I must continue learning for the rest of my life. Education is very important in person’s life. The years when we attend at school are the happiest. Educated people are intelligent. The school year begins on the first of September and finishes in June. The school year is divided into three terms.
Cheating
2009-12-22
I take a very difficult exam. I have to study for about one week. But I do not. I read a bit every day and I feel calm, because I know I will be able to cheat. Everybody knows that, but some of my group mates study a lot. They study for themselves, for the future or because they are really interested in that subject. I am not interested at all. After the exam we find out that all students got good marks. But somebody is not satisfied or jealous, so he goes and tells the lecturer the names of those people who cheated. He tells my name too. I am very upset- not because I have cheated, but because I can trust nobody in my group. How could I be so stupid and tell that man such a simple thing… Cheating is a very popular phenomenon in our country. In other countries the prevalence of cheating differs. And it is a problem of educational system, not of students. When the disciplines are interesting and useful, students are fond of learning, not of cheating. But the worst thing is that nobody can change this system rapidly: it requires much time, money and hard work. Firstly, honors code like Groveton’s ruins the relationships between students. A student can not trust anybody and tell that he is going to cheat. That is, he has to lie to his mates that he knows a lot, that he has studied for weeks. And it is very difficult (I would say impossible) to find real friends from the university environment. For example, I would not call a friend such a man, to whom I have to lie, who can lodge a complaint against me after every test or exam. The most important thing in friendship is trust and freedom to talk, share impressions. Sometimes it is so great to tell a real friend: “That was the best cheating in my life…” In our society lots of students’ best friends are from their course. If students would have to sign an honor code, the relationships between them changed a lot. There could be no talk about marriages between group mates, because what is a marriage without trust and supporting a spouse? Or there could be another way out of such situation: to break an oath and to lodge complaints only against some students. But on the other hand, if one breaks an oath, there is no need to report about cheating at all. So what should a poor student do? Another difficulty is that the information can be not reliable. If one student hates somebody, it is natural that he tries to do harm to the object of hate. And he can say that he is cheating after every exam and test. Karen Horney says that some people are inclined to competitiveness. Such people try to damage a competitor in order to enhance their own position or glory or to keep down a potential rival. For such a man it is more important to see others defeated than to succeed himself. In universities it is natural that they would try to defeat their mates (competitors) in the easiest way- they will tell that others have cheated. And it is very difficult to check such information. I think that people can not be forced to sign such documents as honor codes, because nobody can make disgraceful people become honorable. The ones who are honorable will not cheat without signing any paper, and the ones who want to cheat, will pay no attention to what they have signed. I think that forcing to sign an honor code would insult me a bit, because I can be honorable without a code, and it is nobody’s business. It is up to me and my conscience to decide whether I will cheat or not. University is not a secondary school, where students have to learn lots of needless subjects. Almost everything that is taught at universities is necessary for the future job. Students choose a profession to study, which interests them, and so they are fond of learning and knowing a lot.
American English speaking without a lot of effort How To Learn American English Speaking Easily? Everyone learns to speak their native language. Is there some things that kids are missing when they are emerging? Dr. J. Marvin Brown says that “both adults and children can do it right, but only adults can do it wrong.” So why we can not use the same approach with a second language? Why we can’t learn American English speaking like children? Easily and without a lot of effort. In fact we can. There are a lot of researches which shows that adults can learn languages even more easily and fast. But here‘s the thing. We need forget all that we were learning in school. Because it is the most important reason why we can not speak American English at all. That’s the reason why we don’t understand anything when American people are talking to each other. Yes, we can read American and English newspapers, but this language is not the same. The people are not speaking that way. Their speech is different. If we want to understand native American speakers and speak with them, we must find the different way. In 1984, the American University Language Center in Bangkok started using a new approach to teach the Thai language. The method is known as “Automatic Language Growth”. The first mistake they noticed is that adults are trying to speak in new language to early. They don’t have enough exposure to language yet and they are struggling and feel uncomfortable. They are bringing patterns from their first language and later they are speaking with a strong accent. Children in the beginning are just listening to the new language. They starts to speak when they are prepared. That’s the big difference. The second mistake adults make is that they are thinking, that they must study grammar. That’s a huge mistake. A vital mistake. Children do not studying grammar and that’s the key. If we want to learn American English speaking we must learn speaking. Not grammar. Learning grammar does not make you fluent. You must train your ears and you must train your mouth. So how we can learn speaking without grammar. Simply. First of all we must listen. Every day one or two hours. The more is the best. We must listen to easy and understandible content. That builds our confidence. And we must begin to speak when we are prepared only. When we can do this without struggling. It commes authomatically. Believe me. I have done this with Original Effortless English Lessons. It is totally new approach in learning English. It is real language. You can learn English speaking naturally. You can do the same. You can learn American English speaking just like I did.
Anglų kalba  Rašiniai   (4,61 kB)
15 anglų kalbos tekstų kalbėjimui.
Anglų kalba  Namų darbai   (5 psl., 15,04 kB)
Vocabulary. Definitions of key vocabulary. The means of marketing. Advertising. Advantages and disadvantages of major advertising media. Formulating of the advertising message. The role of the advertising in the promotional mix. Advertising as persuasion. Marketing influences and often actually controls almost every part of company's activities. Everyone who works for the company must “think marketing”. To think marketing we must understand in the right way what is the marketing concept.
Rinkodara  Konspektai   (32 psl., 212,25 kB)
100 anglų kalbos transformacijų. Gale yra atsakymai.
Anglų kalba  Testai   (13 psl., 34,24 kB)
Swimming
2009-07-09
Swimming, act of moving through the water by using the arms, legs, and body in motions called strokes. The most common strokes are the crawl, backstroke, breaststroke, butterfly, and sidestroke. Swimming is an integral part of almost all water-based activities. It is also a competitive sport itself. Some scientists believe that human beings are born with an instinctive ability to use their arms and legs to stay afloat.
Anglų kalba  Referatai   (4,29 kB)
"[W]e find that testing students who participate in extracurricular activities is a reasonably effective means of addressing the School District’s legitimate concerns in preventing, deterring, and detecting drug use." Justice Clarence Thomas U.S. Supreme Court JUNE 27, 2002 Board of Education of Independent School District No. 92 of Pottawatomie County v. Earls Foreword In June 2002, the U.S. Supreme Court broadened the authority of public schools to test students for illegal drugs.
Anglų kalba  Referatai   (5,03 kB)
This section describes why leaders exist and what knowledge, skills, and abilities are important to manage learning. We know, to begin, that leaders exist because man is a social creature. The leader in our society is responsible for the essential tasks in the collections of groups that make up civilization. In most traditional or conventional training events, because of a lack of systematic programming, most of the emphasis is focused on attempts to change people's perception. Little time is usually allocated for practice and even less to measure changes in performance during the training situation.
Anglų kalba  Referatai   (4,62 kB)
Pollution
2009-07-09
I’m going to speak about some kinds of pollution, for example air pollution or acid rain, water pollution. Now different kinds of trees, many of the animals, birds, fish are in serious danger. What should government do to stop the polluting, nowadays? First of all I would like to speak about water pollution There is no ocean or sea which is not used as a dump. Many rivers and lakes are poisoned, too. Fish and reptiles can’t live in them.
Public services is a term usually used to mean services provided by government to its citizens, either directly (through the public sector) or by financing private provision of services. The term is associated with a social consensus (usually expressed through democratic elections) that certain services should be available to all, regardless of income. Even where public services are neither publicly provided nor publicly financed, for social and political reasons they are usually subject to regulation going beyond that applying to most economic sectors.
Anglų kalba  Referatai   (8,51 kB)
Foreign languages
2009-07-09
First of all I’d like to say that learning foreign languages is especially important in nowadays. Some people learn languages because they need them in their work, others travel abroad. Many people go to different countries as tourists or to work every year. They may not understand that countries language, therefore they have to know English, the language of international communication.
Anglų kalba  Namų darbai   (1,16 kB)
Present Simple – everyday/year, often, sometimes, usually, seldom, always, never, at weekends, on Mondays …Po when, as, while, before, after, as soon as, until, if; taip pat po who, which, that pgr. sakinys būsimasis, o šalutinis būtinai esamasis. Present Continuous (to be talking) – now, at the(this) moment; su įsiterpusiais always, constantly, for ever. Present perfect (to have talked) – just, already, yet, lately, recently, so far, ever, never, before. Baigtam veiksmui su today, this morning/afternoon/evening/week/month/year, kai jie reiškia nepasibaigųsį laiką. Nepasibaigusiam veiksmui su for ir since.
Anglų kalba  Konspektai   (4,32 kB)
Įvaizdžio sandara
2009-07-09
Šiame darbe nagrinėsime įvaizdžio sandarą, lygius bei su jais susijusius aspektus. Šio darbo tikslas – išnagrinėti bei išanalizuoti įvaizdžio sandarą, lygius bei su jais susijusius aspektus. Šio darbo aktualumas – kiekviena įmonė susiduria su įvaizdžiu, kadangi klientai susidaro nuomonę apie įmonę ar jos prekes bei paslaugas atsižvelgdami į jos įvaizdį, tad yra aktualu žinoti kaip sukurti teigiamą įmonės įvaizdį atsižvelgiant į jo lygmenys, veiksnius bei sandarą.
Komunikacijos  Referatai   (12,72 kB)
Darbe „Vieta gyvajai gamtai pažinti pradinių klasių gamtamoksliniame ugdyme” analizuojama, kiek vietos pradinių klasių gamtamoksliniame ugdyme skiriama gyvajai gamtai pažinti. Yra daug tėvelių ir mokytojų nuomonių apie pradinių klasių gamtos pažinimo vadovėlius. Jie skirti žinioms praplėsti ir gilinti, daug iliustruoti, daug rekomenduojamų atlikti užduočių, todėl didelį vaidmenį, mokant pažinti gyvąją gamtą vaidina mokytojas.
Įvairių dalykų pliusai ir minusai, gali praversti rašiniams, kalbėjimo įskaitai. Access a lot of information, do some jobs very quickly, communicate very quickly, word processors make it easier to write letters and reports, and to do work for school, make learning more exciting, large amount of information can be stored.
Anglų kalba  Rašiniai   (2,31 kB)
Atsakymas į egzamino klausimą. Įvertintas puikiai. Anglų kalba. 5 lapai 12 šriftu. Innovation can be usefully characterized as a learning process. Learning is intrinsically cumulative: firms, regions and countries usually innovate along specific and quite rigid trajectories. Technological progress and innovation usually involve a variety of learning processes which may be obtained either from internal or external sources.
Today education has become a token of an advanced, healthy and competent society. In fact, modern education more than ever before is aiming to provide experiences that will be useful in life (Smith 153). In the process of deciding which activities are effective and should be included in the high school curriculum, a clash between opinions often arises.
Anglų kalba  Analizės   (5,45 kB)
In ancient times, commercial and political campaign displays have been found in the ruins of Pompeii. Egyptians used papyrus to create sales messages and wall posters.
Anglų kalba  Analizės   (20,72 kB)
Palyginimas darželių, mokyklų ir rebilitacijos klinikos Norvegijoje ir Lietuvoje. Darbas pristatytas Agderio universitete Norvegijoje.
Anglų kalba  Analizės   (8,8 kB)
Informacinių technologijų samprata ir jų raida. Informacinės technologijos – pranašumas ar būtinybė? Jo svarba tarptautiniam verslui. Informacinių technologijų įtaka verslo organizacijoms. Technologijos vystymasis niekada nesustoja. Viena puiki idėja neišvengiamai gimdo kitą. Technologija stumia mus kilti aukštyn Maslow poreikių hierarchijos laipteliais. Ji niekada neprašo leidimo. Ji nežino žodžio “Prašau”. Ji veržiasi pirmyn, visą laiką tik pirmyn. Šiandien žaidžiame atomais kaip “Lego” kubeliais. Po daugiau eina dar daugiau.
Informatika  Pateiktys   (7 psl., 13,54 kB)
Topics
2009-05-20
Education. Health and body care. Free time, entertainment. Services. Shopping. Everybody has a right to education in Lithuania. The secondary education is compulsory. Nowadays the life in our country is very difficult and a lot of young people don’t go to school, they haven’t even got secondary education. There are a lot of young people, children especially in big town’s streets.
Anglų kalba  Rašiniai   (1 psl., 10,95 kB)
Pagalba ruošiantis anglų kalbos egzamino kalbėjimo daliai.
Lietuvių kalba  Pagalbinė medžiaga   (8 psl., 19,36 kB)