Strojové vidění, 1. díl

Co je strojové vidění

Historie zpracování obrazu v počítači se začíná psát v sedmdesátých letech kdy existující výpočetní technika již umožnila zpracování objemu dat který je spojen s obrazovou informací. Vznikl nový obor který se začal nazývat počítačové vidění (computer vision). Tento název se dodnes používá k nejobecnějšímu označení systémů vykonávajících automatizovanou činnost na základě zpracování obrazu z kamery. Objektem počítačového vidění může být prakticky cokoliv, například dopravní situace nebo lidská tvář či lidská činnost. A samozřejmě také proces výroby. Pro aplikace počítačového vidění v průmyslové výrobě se dnes obvykle používá termínu strojové vidění (machine vision).

Strojové vidění je dnes považováno za využití počítačového vidění v průmyslové automatizaci. Je charakterizováno vazbou na výrobní proces a orientací na typické úlohy spojené s řízením výrobního procesu. K těmto úlohám patří hlavně vizuální inspekce předepsaných viditelných parametrů, počítání objektů, hledání defektů a podobně.

Strojové vidění jako průmyslová inovace

Přestože se systémy počítačového a strojového vidění objevují již od poloviny sedmdesátých let, teprve první desetiletí jednadvacátého století přineslo viditelné rozšíření strojového vidění v průmyslové výrobě. Jako každá průmyslová inovace začalo být strojové vidění rozvíjeno teprve tehdy, když došlo k souběhu poptávky s možnostmi technické realizace.

Poptávka po strojovém vidění byla nastartována změnou marketingových strategií výrobních společností. Přelom dvacátého a jednadvacátého století je charakterizován přechodem firem na marketingové řízení a maximální orientací na kvalitu a uspokojení požadavků zákazníka. Tento trend se nejrychleji rozvíjel v automobilovém průmyslu. Z celého spektra konkurenčních marketingových strategií jsou pro subdodavatele v automobilovém průmyslu dnes použitelné prakticky jen dvě: zvyšování kvality a snižování nákladů. Důsledkem je dnes obvyklý systém on-time dodávek v totální kvalitě.  Dodavatelé se tedy začali ohlížet po technických prostředcích které by jim umožnily totální kontrolu veškeré produkce provádět.

Ve stejné době, hlavně díky tlaku komerčního využití v digitálních fotoaparátech, začaly být k dispozici levné a kvalitní čipy pro snímání obrazu. Současně se také objevily rychlé procesory s vysokým výpočetním výkonem za přijatelnou cenu. Strojové vidění tak mělo impuls k rozvoji a zároveň i potřebnou technologii. Výsledkem je dosud trvající boom v této oblasti, který pomohl i k rozvoji dalších specializovaných odvětví, například výrobě osvětlovačů a optických systémů.

Princip strojového vidění

Činnost systému strojového vidění je svou podstatou velmi podobná tomu, jak na stejném úkolu pracuje člověk. Stejně jako lidské oko zachytí kamera obraz zkoumaného předmětu, systém jej vyhodnotí podle předepsaného algoritmu a provede akci na základě výsledku vyhodnocení. Pro účely technického popisu je nejsnadnější hledět na systém strojového vidění jako na obecný senzor.

Obecné uspořádání systému strojového vidění

Sledovaný objekt, většinou trojrozměrný je ozařován zdrojem záření. Objekt musí být schopen toto záření odrazit tak, aby odražené záření vytvořilo na snímacím prvku senzoru jasový dvojrozměrný obraz. Důležité je, aby byla v tomto obraze obsažena informace, kterou potřebujeme o sledovaném objektu znát. Tato podmínka se zdá být zcela triviální, ale právě na ní ztroskotalo již mnoho aplikací a nejdůležitější částí know-how integrátora systému strojového vidění je schopnost tuto podmínku splnit v reálném světě za přiměřených nákladů. Obraz vytvořený na snímacím prvku je převeden na vhodnou měronosnou veličinu a vyhodnocen tak, aby se z něj získala požadovaná informace o sledovaném objektu. Ta je pak přes vhodné rozhraní předána ze senzoru do okolí.

Blokové schéma kamerového senzoru a jeho typické provedení

Záření, kterým je sledovaný objekt ozářen bývá ve většině případů viditelné světlo pocházející z umělých zdrojů -osvětlovačů. Dvojrozměrný jasový obraz je vytvářen na snímacím prvku kamery (kamerou je zde míněn systém skládající se z objektivu snímacího prvku obrazu a potřebných elektronických obvodů). Měronosnou veličinou jsou v kameře s polovodičovým snímacím prvkem náboje či proudy poskytované světlocitlivými elementy obrazového snímače. Měronosné veličiny mohou nést informaci redukovanou na údaj o kombinovaném jasu barevných složek dopadajícího světla (černobílé kamery) nebo mohou nést i informaci o barvě zkoumaného předmětu (barevné kamery). Protože jediným efektivním a vlastně i jediným prakticky možným způsobem vyhodnocení obrazové informace je dnes zpracování počítačem,  je nutné převést analogové měronosné veličiny do digitálního tvaru – provést digitalizaci obrazu.

Informace v digitální podobě je v počítači zpracována vhodnými algoritmy tak, aby byla získána požadovaná informace o objektu - provádí se tzv. image processing. Získaná informace má opět digitální podobu a předává se do okolí prostřednictvím digitálních výstupů nebo pomocí digitálního komunikačního rozhraní. Komunikační rozhraní slouží většinou i k připojení MMI (Man-Machine-Interface) - zařízení, které umožňuje systém nastavovat, programovat nebo udržovat. Jako MMI se většinou používá počítač typu PC. Někdy je v systému k dispozici i původní digitální obraz v některém z obrazových formátů, případně rekonstruovaný analogový obraz na rozhraní pro TV monitor. Využívá se v případě, kdy je požadována nepřetržitá vizualizace sledovaného objektu.

Pro strojové vidění je typické, že se výměna získané informace z okolím realizuje jako zpětná vazba na výrobní proces. Na jedné straně získává systém z procesu nezbytné vstupní údaje. Typicky to bývá povel k pořízení snímku v okamžiku kdy je sledovaný objekt ve vhodné poloze. Na druhé straně se v závislosti na výsledku vyhodnocení obrazu obvykle  provádí akční zásah ve výrobě, nejčastěji indikace nebo vyřazení vadného kusu. Zásah mohou zprostředkovat přímo digitální výstupy systému strojového vidění nebo je informace o výsledku vyhodnocení předána do řídicího systému který provede zásah sám.

Technická realizace hardwaru systému strojového vidění

Zařízení podle schematu lze sestavit mnoha způsoby. Je možné použít různou výpočetní techniku, části systému lze různě seskupovat a integrovat. Naopak, je evidentní, že v mnoha případech nejsou všechny části nezbytné. V průběhu vývoje se ustálilo rozdělení systémů strojového vidění do čtyř všeobecně uznávaných kategorií. Kategorie souvisí s komerční výrobou systémů, dodavatelé hardwaru pro strojové vidění nemohou stavět systémy individuálně, potřebují mít v nabídce jen několik systémů které pokryjí co nejvíce aplikací. Každá kategorie je tedy specializována pro určitou skupinu úloh. Charakteristické znaky pro jednotlivé kategorie systémů strojového vidění jsou shrnuty v tabulce. Je však nutné podotkout, že se charakteristické znaky i typické aplikace překrývají a s rozvojem oboru se jednotlivé kategorie sbližují.

Kamerový senzor (vision sensor)

Celý systém včetně kamery a osvětlení bývá integrován do jednoho pouzdra. Počet digitálních vstupů a výstupů je omezen, a protože má kamerový senzor velmi omezené možnosti programování, mají vstupy a výstupy pevně přidělenou funkci (synchronizace pořízení snímku, výstup dobrý/vadný). Používají se standardní tranzistorové výstupy PNP nebo NPN, s pracovním napětím do 30V a ochranami proti přepólování a poškození napěťovou špičkou při spínání indukční zátěže, někdy i s galvanickým oddělením. Rychlé komunikační rozhraní (např. Ethernet) slouží většinou pouze k připojení k MMI pro nastavení parametrů úlohy. Někdy se nastavování dokonce provádí pouze vestavěnou klávesnicí. Zřídky bývá k dispozici rozhraní průmyslové sběrnice. Celá hardwarová konstrukce včetně výkonu procesoru a výrobních nákladů je podřízena účelu: systém strojového vidění pro velmi jednoduché použití. Obrázek ukazuje poněkud netypické řešení firmy Siemens, kamerový senzor s oddělenou snímací hlavou.

Kamerový senzor s oddělenou snímací hlavou

Inteligentní kamera (smart camera)

Inteligentní kamera je již kompletním systémem strojového vidění. Jejími hlavními charakteristickými znaky jsou kompaktnost a použití výkonného jednočipového mikropočítače jako vyhodnocovací jednotky. V současné době je u inteligentních kamer standardem DSP Texas Instruments s hodinovým kmitočtem 400 MHz, objevují se i procesory RISC s kmitočtem 1GHz. K uložení programu se používá paměť typu Flash. Bývá většinou vestavěná, začínají se však používat i externí paměťové karty MM Card nebo SD Card. Kapacita paměti RAM je určena hlavně požadovanou velikostí programu který se po inicializaci zkopíruje z programové paměti FLASH do RAM a zde je spuštěn. Není tedy výjimkou ani smart kamera se 128 MB operační paměti. K urychlení některých standardních operací potřebných při analýze obrazu se někdy využívají i velmi rychlé jednoúčelové konečné automaty programované v hradlových polích.

Blokové schéma inteligentní kamery a její fyzické provedení s osvětlovačem

Jako digitální vstupy/výstupy se často používají univerzální bitová rozhraní nastavitelná volitelně jako vstup nebo výstup. Odpovídají standardům obvyklým v průmyslu, jsou v provedení s otevřeným kolektorem typu PNP nebo NPN, s pracovním napětím do 30V a příslušnými ochranami. S galvanickým oddělením vstupů a výstupů od napájecího napětí nebo i vzájemně se u smart kamer často nesetkáme. Smart kamery bývají aplikovány lokálně, na zařízení s jedním napájením kde nehrozí velké rozdíly potenciálu. Pokračující miniaturizace smart kamer často nutí výrobce ustupovat od standardů používaných v průmyslové elektronice. Vyrábějí se i kamery se vstupy a výstupy v úrovních TTL signálu které pro připojení do průmyslové aplikace kamera potřebují ještě galvanicky oddělený převodník úrovní, většinou s externím napájením. Jindy samostatné vstupy a výstupy úplně chybí a je nutné použít  I/O adaptér připojený ke komunikačnímu rozhraní.

Komunikační rozhraní plní u smart kamery téměř vždy několik funkcí. Tou hlavní je většinou připojení k MMI  které umožňuje kameru programovat. V současné době slouží jako MMI nejčastěji standardní počítač typu PC. Pro pohodlný vývoj aplikace je vhodné, aby MMI zobrazovalo obraz snímaný kamerou v reálném čase. Přenosová rychlost pak musí být poměrně vysoká a proto se jako základní komunikační rozhraní používá nejčastěji Ethernet. Ten tako může bez problémů přenášet data do nadřazeného řídicího systému, nebo zprostředkovat komunikaci mezi několika kamerami. Většinou slouží i k servisu, výměně firmware kamery a k podobným účelům.

Někdy bývá smart kamera kromě obvyklého Ethernetu vybavena ještě pomocným sériovým rozhraním RS-232/422/485. Důvodem je snadnější připojení k většině existujících PLC. Rozhraní pro vyšší typy průmyslových sběrnic (Profibus, Modbus..) se u smart kamer zatím běžně neobjevují, firmware kamery však někdy umožňuje přístup na průmyslovou sběrnici přes vhodný převodník z Ethernetu. Počet nabízených inteligentních kamer na trhu stále stoupá, zdá se, že stejně jako v USA bude brzy tato třída převládat v i v aplikacích v Evropě.

Rodina inteligentních kamer firmy PPT Vision

PC systémy (PC vision)

Pro PC systémy je charakteristické použití počítače PC se standardním operačním systémem na místě vyhodnocovací jednotky. Dalším charakteristickým rysem je modularita: využívá se samostatná kamera, většina systémů umožňuje připojení i několika kamer. Kamery s analogovým výstupem se připojují přes zásuvnou kartu digitalizátoru obrazu (frame grabber), kamery s digitálním výstupem přes speciální kamerové rozhraní (např. KameraLink) nebo pomocí vysokorychlostního Ethernetu. Výpočetní výkon a velikost paměti jsou dány použitým počítačem. Vstupy a výstupy i komunikační rozhraní se realizují způsobem běžným v PC technice, nejčastěji pomocí zásuvných karet. Předmětem dodávky PC systému bývá tedy většinou pouze softwarový balík, který obsahuje prostředí pro vývoj aplikace strojového vidění a run-time modul, často chráněný hardwarovým klíčem. Obvyklá je i dodávka karty digitalizátoru nebo rozhraní pro digitální kameru pro které je program optimalizován.

V poslední době se objevují i specializovaná průmyslová PC s rozhraním pro připojení kamery, toto řešení je někdy nazýváno „embedded vision systém“. PC stály na počástku éry strojového vidění, nyní však začínají ustupovat inteligentním kamerám. Aby bylo skutečně možné využít všech výhod PC řešení, je nutné použít komerčne dostupný operační systém. Systém strojového vidění však z principu provádí zpracování dat a řízení v reálném čase. Pro tyto účely je komerční operační systém málo vhodný. Navíc, výpočetní výkon inteligentních kamer již snese srovnání se s klasickým PC. Doménou PC systémů jsou spíše rozsáhlé úlohy vyžadující zpracování obrazů z několika kamer.

Blokové schema PC systému strojového vidění

Zákaznické systémy (custom vision)

Do této kategorie patří systémy stavěné na míru v případě, kdy nelze použít žádnou z výše uvedených variant. Většinou jde o aplikace vyžadující vysokou rychlost zpracování, speciální algoritmy nebo nestandardní kamery. Provedení zákaznického systému odpovídá účelu, nejčastěji se k realizaci používají rychlé signálové procesory nebo hradlová pole se softwarem vytvořeným na míru.