Podarjena zapuščina, katere del je tudi bogat arhivski fond, je še danes temelj Pilonove galerije Ajdovščina, takrat pa je bila velika spodbuda za odkup in preureditev umetnikove domačije. Ajdovski veljaki, ustvarjalci in intelektualci so namreč že decembra 1970 osnovali Sklad za ureditev galerijske in muzejske zbirke Ajdovščina. Tri leta kasneje, 26. 12. 1973, je skupščina občine Ajdovščina potrdila odlok o ustanovitvi Galerije v Ajdovščini.
21. septembra 1973 smo odprli spodnje prostore galerije in javno predstavili podarjeno dediščino Dominiqua Pilona in zasebno zbirko dr. Danila Lokarja, ki obsega vrhunska dela, ustvarjena pred Pilonovim odhodom v Pariz. V naslednjih letih je z odkupom zasebnih zbirk dr. Lokarja, Iva Lenščaka in dr. Jožeta Ilca nastala glavnina stalne Pilonove zbirke.
Stalna razstava Vena Pilona je postavljena v nadstropju. Zasnovana je na način, da lahko sledimo umetnikovemu razvoju, kronološki črti, pa tudi vzporednicam v različnih likovnih zvrsteh. Glavni Pilonovi življenjski mejniki se namreč izražajo tudi v njegovem likovnem izrazu. Bogat fond Pilonovih likovnih del in dokumentacije omogoča, da je zbirka kljub svoji stalnosti živa in spremenljiva.
Stalno zbirko Vena Pilona (obsega več kot 2.100 del) premišljeno bogatimo z odkupi in darili. Ob Pilonovi zbirki (največ je risb, sledijo grafike in slike) sta se sčasoma izoblikovali še Zbirka del Pilonovih prijateljev in Zbirka Vipavski Križ (likovne kolonije 1988–99 v istoimenskem mestecu). Del obsežne Zbirke del Pilonovih prijateljev, kompleksne in odprte zbirke del umetnikov, ki so kakorkoli povezani s Pilonom ali našo galerijo, sodi k stalni postavitvi. Šteje več kot 500 del s področja slikarstva, kiparstva, grafike, risbe, fotografije, arhitekture in grafičnega oblikovanja.
V fotografsko zbirko smo umestili tudi Castrumfoto, dela vsakoletne mednarodne fotografske delavnice 2006–12. Leta 2009 pa smo z donacijo italijanske umetnostne zgodovinarke Laure Safred postali lastniki mednarodne Zbirke iz Foresterije.