在齐齐哈尔的老城区，清代的古城中，曾有一处重要的历史遗迹，这就是省级重点文物保护单位——黑龙江将军府。康熙二十三年(1684年)将军治所由黑龙江东岸的旧瑗珲城迁至黑龙江西岸，即现在的瑗珲城。康熙三十三年(1693年)迁至墨尔根，也就是今天的嫩江县。康熙三十八年(1699年)迁至齐齐哈尔。其间黑龙江将军，管辖着我国东北的松花江以北、外兴安岭以南的黑龙江中上游流域的广大地区。《中俄尼布楚条约》签订后，辖区进一步划定为北达外兴安岭、西至额尔古纳河、东沿布列亚山直至黑龙江与松花江汇合口以西、南到温托珲和呼兰以南的松花江沿岸，这时，齐齐哈尔已是军事要地。顺治初年(1644年左右)，清政府在齐齐哈尔设索伦总管，管辖雅鲁河以东、嫩江流域上溯瑗珲以及黑龙江以北广大地区。康熙二十三年(1684年)设火器营、水师营。康熙二十四年(1685年)设卜奎驿站，康熙三十年(1691年)清廷准奏齐齐哈尔建城。光绪十三年(1907年)清政府改革东北地区管理体制和地方官制，设立黑龙江行省，黑龙江将军建制至此撤消，历时224年，驻防齐齐哈尔城208年，齐齐哈尔城由此成为北疆边陲重镇，黑龙江将军府作为当时的首脑驻地可谓举足轻重。 齐齐哈尔的将军府是黑龙江将军自设治于瑷珲、墨尔根、齐齐哈尔后，唯一保存下来的一处黑龙江将军历史遗迹。