この名前の由来は、近くある「はらほげ地蔵」さんと言われる壱岐の名所にもなっております。
6つのお腹に穴のあいたお地蔵さんが、海の満ち引きで半分浸かったり、出たりする状態で海岸に祭られています。
海女さんは漁のはじめに、安全を祈願してこのお地蔵さんのお腹の穴にお供え物を備えて祈願をされる、いわば海女さんの守り神でもあるのです。
このはらほげ地蔵さんからそのまま
「はらほげ食堂」と名付けられたのです。