НКГБ – МГБ располагал органами в каждом субъекте СССР. В автономных и союзных республиках действовали НКГБ (с 1946 г. – МГБ) соответствующей республики, а в краях, областях и автономных областях – Управления НКГБ – МГБ.

Структура территориальных органов в целом повторяла центральный аппарат, но в меньшем масштабе – Главкам и Управлениям центрального аппарата соответствовали подразделения с тем же номером но меньшего уровня – как правило отделы, а в наиболее крупных союзных республиках, например Украинской ССР – Управления. Были однако и отличия: так в марте 1947 в МГБ Украинской, Белорусской, Латвийской, Литовской и Эстонской ССР были созданы Управления (отделы) «2-Н» (по борьбе с националистическим подпольем), возглавляемые заместителями министра (в центре аналогичное управление входило в состав 2-го Главного управления).

На освобожденных от немцев территориях временно создавались оперативные группы НКГБ по области или республике, которые к 1944 – 1945 г. преобразовывались в полноценное Управление или Наркомат. Кроме того, для координации работы местных органов НКВД и НКГБ в прибалтийских республиках и Восточной Пруссии создавались аппараты Уполномоченных НКВД – НКГБ (МВД – МГБ).