Viggo Sommer blev født d.2.maj 1947 i en kunstnerfamilie i København, hvor faderen var udøvende kunstner, maler og skulptør. Så allerede som barn  malede og tegnede Viggo en del. Han blev uddannet som dekoratør i Magasin du Nord 1964 -67. Værnepligten blev aftjent som militærnægter i 18 måneder i Kompedallejren, til sidst udstationeret som handicaphjælper blandt andet for Ewald Krog og Karin Thygesen, stifterne af Muskesvindfonden. 

Viggo kom ind på Århus Kunstakademi, fik galleri i Studsgade, og fik malerier antaget på de censurerede Påskeudstillinger i Århus Kunstbygning. I 1971 mødte han Birgit Rastrup, som også var udøvende kunstner, og sammen kørte de i deres husbil 1/2 år sydpå til Frankrig og Spanien, hvor de besøgte Salvador Dali og hans hustru Gala i Cadaques i Nordspanien og drak champagne på terrassen. Efter hjemkomsten slog de sig ned på Bovballe Mølle i trekantsområdet Vejle, Kolding, Fredericia, hvor datteren Maria blev født. 

I 1977 drog de videre til Hesbjerg Slot på Fyn, hvor de sammen med blandt andre maleren Erling Tingkær dannede Hesbjerg Kunstner Samfund. De havde værksteder i slottets store sale, boede i de små hjemmebyggede huse rundt om, dyrkede økologiske grønsager, og nød godt af de frugter, bær og nødder, som ejeren Lauersen Vig havde plantet. Det var et spændende kunstnerisk samarbejde med andre skabende sjæle, som udmøntede sig i mange udstillinger, musikgrupper, børneteater og senere gøglertræf. Takket været ejeren Lauersen Vig, skulle der ikke betales husleje, når rejsen gik til langbortistan, og rejsen varede over 1 måned. Så mange rejser blev foretaget til Indien, Sri Lanka, Bali, Grækenland m.m. 

De sidste 8 år af sit liv boede Viggo sammen med Birgit på Frederiksberg, i Birgits arvede barndomslejlighed. Trods mange års sygdom var VIggo til det sidste aktiv med at lave børneteater, spille musik, male samt foretage en rejse til Grækenland. Han døde d. 1. oktober 2020, 73 år gammel.