Kollegiet er opført af Polyteknisk Kollegiebyggeselskab (PKB) i 1967 og er senere overdraget til den selvejende institution “Paul Bergsøe Kollegiet” (PBK).

Opførelsen er sket på Paul Bergsøes tidligere ejendom “Kofoedsminde Park”, som i sin helhed tilhører kollegiet. De nødvendige økonomiske midler til byggeriet blev tilvejebragt dels gennem kollegielovsstøtte, hvorved der ydedes 35% af opførelsessummen som rente- og afdragsfrit statslån, dels ved låntagning på det almindelige lånemarked, samt endelig ved en støtte fra dansk industri på 1,5 mil. kroner. Byggeriet blev påbegyndt i marts 1966, og den 1. februar 1967 kunne de første seks kollegieblokke tages i brug. I løbet af foråret 1967 blev de resterende blokke gjort færdige, og i september 1967 fandt den officielle indvielse af kollegiet sted.

Svend Bergsøes fond har påtaget sig at vedligeholde parken i den stand, fredningsbestemmelserne kræver det. Ved kollegiets start blev Kofoedsminde for en årrække udlejet til Kirkeministeriet, der efter en istandsættelse brugte bygningerne som præsteskole. Ligeledes lejede Kirkeministeriet blok 6 (gangene 11 og 12). Efter Kirkeministeriet forlod Kofoedsminde, blev bygningerne udlejet til andet formål. Blok 6 overgik til kollegieudlejning. Til inspektørbolig er ved siden af Kofoedsmindes bygninger og i forbindelse med kollegiets varmecentral opført en villa hvor Inspektøren boede og havde kontor indtil 2010. I dag er inspektørkontoret flyttet til værelse 701.

I 92/93 gennemgik kollegiet en større renovering. Dette indebar nye toiletter, nye blandingsbatterier, nye vinduer, nye radiatorer, nye køkkener og rejsning på tagene. Det sidste gav plads til et bedre udluftningssystem til toiletterne.