安徽省建省始于清康熙六年七月甲寅（1667年8月30日），由江南省分治而建，安徽省名由明清时期的安庆府、徽州府两个府的首字合成。简称“皖”，以古皖国为名。
古代
朱元璋
在原始社会#末期，安徽省境内的淮北、江淮地区为淮夷方国及南下部落所建方国的领地，江南地区则为吴越文化地区。春秋战国时期，众多的方国、封国为北方大国和南方的吴、越、楚等北上的大国所兼并。
秦推行郡县制，安徽境内所设县邑先后为九江、泗水、砀郡、陈郡、会稽（吴）郡等一级地方行政区划所分领。秦末至楚汉相争期间，又增置鄣郡、衡山、庐江郡，并为九江、西楚、衡山等诸侯国分领，可考的县在皖境内有25个县。汉初，安徽境内仍为楚、淮南等异姓王封地，后为刘邦改封的同姓王淮南（后分为淮南、庐江、衡山国，后又从九江郡分设六安国）、荆（吴国，后又为江都等王国）、淮阳、梁国等分领。元封五年（前106年）四月，设十三部州刺史作为中央的派出机构，安徽地区分属豫、徐、扬3个州。3个州分领省境内所置74个县（国）。东汉实行州、郡、县三级管理体制，今省境内仍为扬、豫、徐3个州分领。
三国时期，安徽境内分别为魏、吴国所设扬州及魏国徐、豫4个州分领。吴国扬州涉及安徽境内新都、庐江、丹阳3个郡在江淮南部及江南地区所设19个县。两晋南北朝时期，仍实行东汉以来的州、郡、县三级管理体制。东晋时期，淮北地区先后为“五胡十六国”中的刘汉、后赵（含冉魏）、前燕、前秦、后秦、后燕等国先后占领，常守旧制，仍为徐、豫（含东豫）2个州分领。南北朝时期，宋、齐、梁、陈均先后收复过淮北地区，领有江南地区，并长期以江淮地区为南北纷争的战场。陈朝后期则以长江为限，江淮及以北地区为北齐、北周先后占有。在南朝沦丧北方领土期间，安徽北境则先后为北朝的北魏、东魏、北齐、北周据有。
隋前期废郡，整饬各级区划和管理体制，实行州、县二级管理体制。今安徽境内设55个县。大业初，改州为郡，实行郡、县二级管理体制，并恢复汉州刺史分巡制度。今省境内设50个县，涉及3个部州15个郡。唐前期，废郡改州，实行州、县二级管理体制。贞观初，今安徽境内初设85个县，涉及33个州。贞观元年（627年），保留调整为44个县，涉及15个州，涉及河南、淮南、江南3个道。中唐时期，道正式成为一级地方行政区划，实行道、州、县三级管理体制。天宝年间，改州为郡，则实行道、郡、县三级管理体制。不久，复郡为州。晚唐时期，今境内仍设55个县，涉及15个州（不含朱温所设辉州），为4个节镇分领。
五代十国时期，淮北地区先后为后梁、后唐、后晋、后汉、后周5个短命的小王朝分领，南方（含江淮、江南地区）先后为吴国和南唐国所据有。
北宋时期，实行路、府（州、军、监）、县（不带县的军、监）三级管理体制。今安徽境内先后设64个三级行政区划（62个县2个监），先后涉及4个府13个州8个军，计25个二级行政区划，分属5个路。宋、金对峙期间，南宋初领全省，后以淮河为限与金国对峙，江淮地区常为战场，北方先后为金国（含伪楚、伪齐）、蒙古汗国和元朝所据。南宋先后在省境内设51个县2个监，涉及3个府8个州7个军，计18个二级行政区划，为淮南东、淮南西、江南西3个路分领。
元朝实行行省、路（府、州）、散府（州、军）、州（县）四级管理体制。今安徽境内设60个县，涉及11个路2个府10个州，分属3个行省。 明朝实行三级管理体制。其中，南北两直隶及十三布政使司为一级行政区划，府、直隶州（厅）为二级行政区划，散州和县（厅）为三级行政区划。今省境为南直隶西部地区，设49个县7个散州，涉及凤阳、庐州、安庆、太平、池州、宁国、徽州7府及徐州、滁州、和州、广德4个直隶州，计11个二级行政区划，其中凤阳府为明朝的陪都称明中都。清初承明制，改直隶南京为江南省，今安徽境内属江南省西部地区，仍设56个散州和县（不含已划出的盱眙、英山、婺源3个县，但含萧、砀山2个县），涉及安庆、徽州、宁国、池州、太平、庐州、凤阳7个府及徐州、广德、和州、滁州4个直隶州，计11个二级地方行政区划。