Во время благоустроительных работ и археологических изысканий, осуществленных у Двойных ворот в 2015 году, были обнаружены развалины бани, относящейся к позднему средневековью. Она расположена несколько ниже уровня земли, поэтому известна как "подземная баня". Исследователи считают, что в те времена в Баку при таможне действовали бани, строго выполняющие санитарно-гигиенические правила. Бани были построены рядом с главным входом. Вполне вероятно, что эта баня служила Бакинской таможне. После захвата Баку Россией в 1806 году ее работа была приостановлена, купол был разобран, комнаты забиты бытовым отходами и покрыты землей. На этой территории размещалась военная комендатура. В 2015 году, в результате археологических раскопок, основная часть комплекса была очищена от земли, была определена ее архитектурная форма. Появились трещины на некоторых обломках некоторых стен и кладке, и здание находилось под угрозой разрушения. Реставрационно-консервационные работы на памятнике продолжаются. Здесь будет размещена экспозиция археологического музея под открытым небом.