Moderné počítačové videnie. Úlohy a počítačové videnie technológie. Programovanie Computer Vision v Pythone

Ako naučiť počítač pochopiť, čo je znázornené na obrázku a obrázkov? To sa zdá jednoduché, ale na počítači je to len matica skladajúci sa z núl a jednotiek, z ktorého chcete získať dôležité informácie.

Čo je počítačovej videnie? Je to schopnosť "vidieť" počítača

Vision - je dôležitým zdrojom informácií pre osoby používať to získame, podľa rôznych odhadov 70 až 90% všetkých informácií. A samozrejme, ak chceme vytvoriť inteligentný auto, musíme implementovať rovnaké schopnosti a počítač.

Problém počítačového videnia možno konštatovať celkom jasne. Čo je to "vidieť"? Je zrejmé, že tam, kde sú len pohľadom. Že dospel k záveru, rozdiely počítačového videnia a ľudského zraku. Vízia pre nás - to je zdrojom poznania o svete, rovnako ako zdroj informácií metrické - teda schopnosť porozumieť vzdialeností a veľkostí.

Sémantický obraz jadra

Pri pohľade na obrázok, môžeme popísať celým radom vlastností, tak povediac, extrahovať sémantickej informácie.

Napríklad pri pohľade na tento obrázok, môžeme povedať, že je vonku. Aký je mestskej dopravy. Že tam sú automobily. môžeme odhadnúť, že to je juhovýchodnej Ázie na konfiguráciu budovy a hieroglyfov. Portrét Mao Ce-tunga pochopiť, že sa jedná v Pekingu, a ak niekto videl živé video alebo sa tam bol, by som, že to je slávna námestí Tiananmen.

To, čo môžeme povedať viac o obrázku, vidieť to? Môžeme identifikovať objekty v obraze, povedať, že existujú ľudia, tu bližšie - plot. Tu dáždniky, plagáty, ktoré budovy. To sú príklady tried je veľmi dôležité objekty, ktoré sa zaoberajú hľadaním chvíľu.

Stále sa môžeme naučiť niektoré z funkcií alebo atribúty objektov. Napríklad tu môžeme určiť, že sa nejedná o portrét obyčajných Číňanov, totiž Mao Ce-tunga.

Podľa vozidla, môže byť stanovené, že sa jedná o pohybujúci sa objekt, a je ťažké, že nie je deformovaná počas pohybu. O flags možno povedať, že objekty, ktoré sú v pohybe, ale nie sú ťažké, neustále deformuje. A v scéne tam je vietor, ktorý môže byť stanovený prostredníctvom rozvoja príznakov, a môže dokonca určiť smer vetra, napríklad, to je fúka zľava doprava.

Vzdialenosti a dĺžky v oblasti počítačového videnia

Veľmi dôležitá je metrický informácie o počítačovom videnie vede. To je všetky druhy vzdialeností. Napríklad pre vozítka je obzvlášť dôležité, pretože tímy sú od Zeme asi 20 minút a odpovedať toľko. V dôsledku toho je odkaz tam a späť - 40 minút. A ak budeme robiť plán pohybových príkazov na Zemi, je potrebné vziať do úvahy.

Úspešne integrovať technológie počítačového videnia vo videohrách. Podľa videa, môžete vytvoriť trojrozmerné modely objektov, ľudí a fotografie na užívateľ môže obnoviť trojrozmerných modelov miest. A potom po nich chodiť.

počítačové videnie - pomerne široký sortiment. To je úzko spätá s rôznymi inými vedami. Časť počítačového videnia Zachytáva oblasť spracovania obrazu a niekedy vyčleňuje počítačového videnia, historicky.

Analýza, rozpoznávanie vzorov - cesta k vytvoreniu vyššej inteligencie

Poďme preskúmať tieto pojmy oddelene.

Spracovanie obrazu - ide o oblasť algoritmov, v ktorom je vstup a výstup - imidž a musíme mu niečo urobiť.

Analýza image - je oblasť počítačového videnia, ktorý sa zameriava na prácu s dvojrozmerného obrazu a robiť závery z toho.

Pattern Recognition - abstraktné matematická disciplína, ktorá rozpoznáva dáta vo forme vektorov. To znamená, že pri vchode - vektora a máme čo do činenia s ním. V prípade, že vektor je, že nie sú tak dôležité vedieť.

Počítačové videnie - to pôvodne bolo obnoviť štruktúru dvojrozmerných obrazov. Dnes sa táto oblasť stala širšie, a to môže byť vykladané ako prijatie všetkých fyzických objektov tvoriacich na základe obrazu. To znamená, že je úlohou umelej inteligencie.

Súbežne s počítačového videnia v úplne inom odbore, geodézia, fotogrametria vyvinula - meranie vzdialeností medzi objektmi na dvojrozmerných obrazov.

Roboti môžu "vidieť"

A konečne - to je vízia stroja. Podľa vízie stroje znamená víziu robotov. To je rozhodnutie niektorých výrobných problémov. Dá sa povedať, že počítačové videnie - je jedna veľká veda. Spája niektoré z ďalších vedných časti. Aj keď je počítač vízia dostane nejaké konkrétnu aplikáciu, to premení víziu stroja.

Počítačové videnie región má hmotnosť praktických aplikácií. To je spájané s automatizáciou výroby. Na podniky zefektívniť nahradiť manuálnu prácu strojom. Stroj sa neunaví, nespí, mala nepravidelnú pracovnú dobu, že je ochotný pracovať 365 dní v roku. Takže, s využitím práce stroja, sa môžeme dostať zaručenou výsledok v určitom čase, a to je celkom zaujímavé. Všetky úlohy majú jasný spôsob využitia systémov počítačového videnia. A nie je nič lepšie, ako vidieť výsledky okamžite na snímke len vo fáze výpočtu.

Na prahu sveta umelej inteligencie

Plus priestor - je to ťažké! Významná časť mozgu zodpovedného za videnie, a predpokladá sa, že ak sa naučiť váš počítač "vidieť", to znamená, že plné využitie počítačovej videnie, to je jeden z cieľov plnou umelej inteligencie. Ak sa nám podarí vyriešiť problém na ľudskej úrovni, s najväčšou pravdepodobnosťou v rovnakej dobe, budeme riešiť problém AI. Že je veľmi dobrá! Alebo nie je moc dobré, keď sa pozriete, "Terminator 2".

Prečo je vízia - to je ťažké? Pretože obraz rovnakého objektu sa môže meniť veľmi líši v závislosti od vonkajších vplyvov. V závislosti na predmete pozorovacích miest vyzerať inak.

Napríklad jedno a rovnaké postavy, prevzaté z rôznych uhlov. A čo je najzaujímavejšie na obrázku, môže byť jedno oko, dve oči a pol. A v závislosti na kontexte (ak je tento obraz človeka v košeli s maľovanými oči), oko môže byť viac ako dva.

Počítač stále nerozumie, ale to "vidí"

Ďalším faktorom, ktorý sťažuje - je to osvetlenie. Rovnaká scéna s rôznym osvetlením bude vyzerať inak. veľkosť objektu sa môže líšiť. Okrem toho predmety akejkoľvek triedy. Ako môžete povedať o človeku, že jeho výška 2 metre? Nič. Ľudský rastový a môže byť 2,3 m, a 80 cm. Rovnako ako u iných typov objektov, však, sú objekty rovnakej triedy.

Najmä živé objekty prechádzajú celú radu kmeňov. Vlasy ľudia, športovci, zvieratá. Pozrite sa na fotky z koní beží, zistiť, čo sa deje s ich hrivu a chvost je jednoducho nemožné. A prekrývajúcich sa objektov v obraze? Pokiaľ si strčiť počítačový obraz, dokonca aj najsilnejší stroj nájsť ťažkosti dať správne rozhodnutie.

Nasledujúci prehľad - to je prevlek. Niektoré objekty, zvieratá sa maskuje ako je životné prostredie, a celkom obratne. A tie isté škvrny a sfarbenie. Napriek tomu sme ich vidieť, aj keď nie vždy z diaľky.

Ďalším problémom - pohyb. Objekty v pohybe nepredstaviteľné deformujú.

Mnohé z týchto predmetov sú veľmi variabilné. Tu, napríklad, v dvoch fotografiách nižšie uvedených objektov "stoličky".

A na to sa môžete posadiť. Ale naučiť stroj tak, že rôzne veci v tvare, farby, materiál, všetko je objekt "stolička" - je veľmi ťažké. To je výzva. Integrovať metódy počítačového videnia - je naučiť stroj pochopiť, analyzovať, špekulovať.

Integrácia počítačového videnia na rôznych platformách

Hmotnosť počítačového videnia začali prenikať ešte v roku 2001, kedy vytvoril prvý detektor tváre. Urobili sme to dva autori: Viola, Jones. Bolo to prvýkrát, rýchly a spoľahlivý dosť algoritmus, ktorý demonštroval silu metód strojového učenia.

Teraz počítačového videnia majú dostatok nových praktických aplikácií - rozpoznanie ľudskej tváre.

Ale rozpoznať človeka ako vo filmoch - v náhodných uhloch, rôznych svetelných podmienkach - to je nemožné. Ale ako vyriešiť problém, alebo ten, ktorý je rôzni ľudia s rôznymi osvetlenia alebo v inej póze, podobne ako na fotografii v páse, je možné s vysokou mierou spoľahlivosti.

pasové fotografie požiadavky do značnej miery vďaka funkcii algoritmov na rozpoznávanie tvárí.

Napríklad, ak máte biometrický pas, v niektorých moderných letiskách, môžete použiť automatický systém riadenia pas.

Nevyriešeným problémom počítačového videnia - schopnosť rozpoznať akýkoľvek text

Možno, že niekto používa systém OCR. Jeden z nich - Jemné Reader, je veľmi populárny v systéme Runet. Existuje mnoho foriem, kde si vyplniť údaje, ktoré sú dokonale skenované, informácie sú rozpoznané systémom veľmi dobre. Ale s ľubovoľným textom v obraze je situácia oveľa horšia. Tento problém zostáva nevyriešený.

Hry zahŕňajúce počítačového videnia, motion capture

Samostatný veľký priestor - je vytvorenie trojrozmerných modelov a motion capture (čo je pomerne úspešne realizovaný v počítačových hrách). Prvý program, ktorý využíva počítačového videnia - systém interakcie s počítačom pomocou gest. Keď to bolo vytvorené to bolo veľa vecí otvorené.

Algoritmus je navrhnutý tak jednoducho, ale pre konfiguráciu trvalo vytvoriť generátor syntetických obrazov ľudí sa dostať milión obrázkov. Superpočítač s nimi zvoliť parametre algoritmu, pre ktorý teraz pracuje dobre.

To je jeden milión snímok a týždeň čas spočítateľné superpočítač možné vytvoriť algoritmus, ktorý spotrebuje 12% kapacity jedného procesora a človeku umožňuje vnímať pozíciu v reálnom čase. Tento systém Microsoft Kinect (2010).

Vyhľadávanie obrázkov podľa obsahu vám umožní nahrať fotografie do systému, a výsledky to bude dávať všetky obrázky s rovnakým obsahom a z rovnakého uhla.

Príklady počítačového videnia: trojrozmerné a dvojrozmerné mapy V súčasnej dobe sa s ním. Mapy pre navigáciu autá sú pravidelne aktualizované v súlade s DVR.

K dispozícii je databáza s miliardami geograficky označených fotografií. Stiahnutím obrazu v databáze, môžete určiť, kde bol vyrobený, a dokonca s nejakou perspektívou. Samozrejme za predpokladu, že toto miesto natoľko, že populárny zrazu turisti a urobil niekoľko fotografií z tejto oblasti boli tam.

Roboti sú všade

Robotics v súčasnej dobe, všade, bez toho aby v žiadnom prípade. Teraz tam sú vozidlá, ktoré majú osobitnú kamery, ktoré rozpoznajú chodcov a dopravné značky odovzdávať povely vodiča (to takým spôsobom, počítačový program pre prezeranie, pomáha motorista). A tam je plne automatizovaná robotická vozidla, ale nemôžu spoliehať iba na kamerovým systémom bez použitia veľkého množstva doplňujúcich informácií.

Moderné kamera - to je analóg kamera obscura

Hovorme o digitálneho obrazu. Moderné digitálne fotoaparáty sú usporiadané na princípe camera obscura. Iba miesto otvoru, cez ktorý svetlo vstupuje do svetlo a premietaného na zadnej stene komory podľa predkladaného obvodu, máme špeciálny optický systém s názvom objektív. Jej cieľom je zhromaždiť veľký svetelný lúč a previesť ho tak, aby všetky lúče prechádza virtuálne bod, aby sa dosiahlo na výstupok a tvoria obraz na filme alebo matrice.

Moderné digitálne fotoaparáty (matice) sa skladá z jednotlivých prvkov - pixelov. Každý pixel môže merať energiu svetla, ktoré dopadá na celkovej pixelov, a vydá jeden výstupný číslo. Z tohto dôvodu, v digitálnom fotoaparáte, dostaneme namiesto set svetelných meranie jasu obrazu, ulovených v jednom pixelu - počítačovú zorné pole. Preto, keď sa obraz vidíme, nie je plynulé línie a jasné kontúry a mriežku farebných štvorcov v rôznych farbách - pixelov.

Nižšie vidíte prvý digitálny obraz vo svete.

Ale v tomto obrázku nie je? Farbu. Čo je to farba?

Psychologické vnímanie farieb

Farba - to je to, čo vidíme. Farba jednej a tej istej pre človeka a mačky budú líšiť. Vzhľadom k tomu, my (človeka) a živočíšneho optického systému - k videniu je odlišná. Preto je farba - to je psychologický kvalita našej vízie, ku ktorému dochádza pri pozorovaní objektov a svetlo. A nie fyzikálne vlastnosti objektu a svetlo. Farba - je výsledkom vzájomného pôsobenia svetelných prvkov, a na scéne nášho vizuálneho systému.

Programovanie Computer Vision v Pythone s využitím knižnice

Ak ste sa rozhodli zapojiť sa vážne na štúdium počítačového videnia, mal by okamžite pripraviť na rad ťažkostí, táto veda nie je najjednoduchšie a skrýva rad úskalí. Ale "Programovanie Computer Vision na Python" autorstva Jan Erik Solema - knihu, ktorá obsahuje prehľad všetkých najjednoduchšie jazyk. Tu sa zoznámi s metódami rozpoznávanie rôznych objektov v 3D, naučiť sa pracovať s stereofónneho obrazu, virtuálnej reality a mnoho ďalších aplikácií počítačového videnia. V knihe sú dosť príkladov v jazyku Python. Ale vysvetlenie sú prezentované, tak povediac, generalizované, tak, aby nedošlo k preťaženiu príliš veľa výskumu a tvrdá dáta. Práca vhodná pre študentov, amatérov a nadšencov. Stiahnite si túto knihu a iní asi počítačového videnia (formátu pdf), môže byť v sieti.

V tejto chvíli existujú open source knižnicu počítačového videnia algoritmov a spracovanie obrazu a numerických algoritmov OpenCV. To je realizovaný na najmodernejších programovacích jazykov, je open source. Pokiaľ budeme hovoriť o počítačovej videnie, Python používa ako programovací jazyk, ale má tiež podporu knižnice, okrem toho, že sa neustále vyvíja a má veľkú komunitu.

Spoločnosť "Microsoft" poskytuje svoje služby Api-môcť trénovať neurónové siete ho pracovať s obrázkami ľudí. K dispozícii je tiež možnosť uplatniť počítačového videnia, Python používa ako programovací jazyk.