Victoria Terrasse, oppført 1884–90 med 124 eksklusive leiligheter og en gang hjem for selveste Henrik Ibsen, ble rekvirert av Sicherheitspolizei (Sipo) og Sicherheitsdienst (SD). Herfra skulle den tyske kontraspionasjen og undertrykkelsen av den norske motstandsbevegelsen styres i fem lange år. Gestapos kontorer lå konkret i husrekken Victoria Terrasse 5, 7 og 9 – midtkvartalets hovedfasade.
Øverste sjef for Sipo og SD i Norge var SS-Oberführer Heinrich Fehlis. Men det var mannen som ledet avdeling IV – selve Gestapo, det som jaget og forhørte motstandsfolk – som skulle bli det navnet nordmenn fryktet mest: Siegfried Wolfgang Fehmer.
Fehmer, født i München i 1911, vokste opp i Moskva med tyskbaltiske foreldre. Han ble jurist av utdannelse, meldte seg inn i NSDAP i 1930 og gikk inn i Gestapo i 1934, først med kommunistsaker i Berlin og Øst-Pommern. Han imponerte overordnede med sitt minne for ansikter og stemmer, og ble anbefalt direkte til Reinhard Heydrich. I april 1940 var han én av 200 tyske politifolk som ble fløyet til Fornebu – og han fikk raskt tildelt et av de rekvirerte kontorene i Victoria Terrasse, hvor han skulle arbeide helt frem til kapitulasjonen i mai 1945.
Fehmer talte godt norsk, var atletisk og fremstod sjarmerende – han bokset på fritiden og var til og med sparringpartner for OL-sølvvinner Ernst Pistulla. Men bak den elegante fasaden lå en kompromissløs torturist. I januar 1943 ble han forfremmet til SS-Oberführer og Kriminalrat, med ansvar for all kontraspionasje i Norge. Da Sipo ble omorganisert i februar 1945, overtok han selv kommandoen over Gestapo i Oslo, mens Fehlis flyttet sitt hovedkvarter til Festung Furulund. Fehmer ledet mange forhør personlig, og selv om han ofte lot andre utføre torturen, utsatte han også selv fanger for grov mishandling – blant annet med sin egen schäferhund «Schock».
For hundrevis av nordmenn ble navnet Victoria Terrasse synonymt med redsel. Bygningens kjeller ble brukt til kortere fangeopphold, men det vanligste var at fanger ble hentet direkte fra fengsler som Møllergata 19 til forhør her. Flere fanger, i desperasjon foran det som ventet dem, hoppet ut av vinduene og døde. Vinteren 1942 forsøkte den unge ingeniøren Anders Ree Corneliussen å rømme fra politibilen utenfor bygningen på vei til et tredjegradsforhør – han ble skutt idet han klatret over gjerdet mot Ruseløkkveien.
Blant nordmennene som fikk et komplisert forhold til stedet, var Anne Marie Breien, offisielt kjent som Fehmers elskerinne – i virkeligheten en av krigens mest virkningsfulle dobbeltagenter, som skal ha reddet nær hundre landsmenn fra dødsdom eller harde straffer, med start i sin egen far, som hun fikk løslatt etter å ha stormet inn på Fehmers kontor.
De allierte forsøkte to ganger å ramme Victoria Terrasse fra luften – 25. september 1942 og nyttårsaften 1944 – men bommet begge ganger på selve målet. Nyttårsaften 1944 ble i stedet en trikk utenfor truffet direkte; til sammen omkom 113 sivile i de to mislykkede angrepene.
Ved frigjøringen forsøkte Fehmer å gå i dekning i vanlig soldatuniform i en Luftwaffe-leir i Våler. Han ble avslørt 31. mai 1945 da britisk etterretning avlyttet en telefonsamtale hvor han spurte etter hunden sin «Schock». Fehmer ble dømt til døden for krigsforbrytelser og henrettet ved skyting på Akershus festning 16. mars 1948 – på samme sted hvor så mange av hans ofre hadde sittet fengslet.