Hovedbygningen som var nybygget før krigen var egentlig beregnet som kvinnefengsel, men ble tatt i bruk av tyskerne alt i 1940 for å huse norske soldater som var blitt krigsfanger.

De fleste av disse ble imidlertid løslatt etter vår kapitulasjon 10. juni 1940. Det som kanskje er mindre kjent er at de første registrerte fangene på Grini var fra Lofoten. Dette hadde sammenheng med Lofotraidet 4.mars 1941. Pga. den vennlige mottakelsen som de engelske (og 52 norske) soldatene fikk, var tyskerne rasende. Flere hundre mennesker ble brakt inn til tøffe forhør og utsatt for alt fra trusler til direkte mishandling.

De som ble arrestert ble ført om bord i troppetransportskipet Bretagne som lå ved kai i Svolvær. Her kom selveste Terboven om bord for å inspisere de arresterte, noe som førte til at flere regnet med at det var like før de ble skutt på torvet i Svolvær, slik som Jonas Lie hadde truet med. Men etter noen dager ble fangene ført over til D/S «Renøy» og i et forferdelig vær ble ført helt til Trondheim. De tyske vaktene var heller ikke så høye i hatten da de stampet seg sørover gjennom stormbygene. Fra Trondheim bar det videre med tog og til en heller brutal mottakelseskomité i Oslo bestående av SS-gendarmeri.

Mange måtte stå med hendene over hodet i flere timer mens SS-ene skrek og bar seg. Asbjørg Bjørnstad ble satt på nr. 19 mens de fleste av mennene ble sendt til en leir i Åneby i Hakadal. Ånebyleiren var en elendig leir. Fæle og trekkfulle brakker og ikke mat til fangene. Det ble derfor satt i gang innsamling av mat til fangene under ledelse av Ingeborg Fearnley, noe som berget dem. Eneste lyspunktet var at vaktene var like forbannet på drittleiren og på Hitler som fangene var… Men de var havnet på hver sin side av piggtrådgjæret som for øvrig fangene selv måtte sette opp. Her ble de fleste sittende til de ble ført over til Grini. Derfor er de første fangenumrene fra 1 til 64 fra Lofoten. Gislene ble kalt Svolværgissel, men det var også fanger fra Brettesnes, Henningsvær, Kabelvåg og Stamsund.

Nr. 1 var skolestyrer Olav Alsvik fra Svolvær. Kjøpmann Gunnar Berg nr.4, Hermod Bjørnstad nr. 6, Terje Olsen fra Henningsvær nr. 30, Rolf Paulsen nr.34, prost Kristian Skjeseth nr. 39 fra Kabelvåg, maler Tore Tobiassen nr.43, advokat Hans Bjørnstad nr. 60, Einar Helmersen nr. 61 og Håkon Kyllingmark nr. 63.