西漢初設(shè)舒縣。

武帝元狩二年（前121）,舒縣屬廬江郡；南朝·宋秦始二年（466）九月，今縣境改設(shè)潛縣。

梁武帝天監(jiān)年末（519），改潛縣為廬江縣；隋開皇元年（581），罷廬江郡置廬州。

大業(yè)三年（607），復(fù)改廬州為廬江郡；清康熙六年（1667），廬江縣屬安廬滁和道廬州府。

1912年廬江縣直屬安徽省；1914年至1928年，隸安徽省安慶道；1932年隸安徽省第二行政督察區(qū)專員公署；1938年7月，改屬五區(qū)；1938年10月改屬三區(qū)；1940年屬一區(qū)；1947年改屬九區(qū)。

1949年7月，湖西縣并入廬江縣，屬皖北行署巢湖專區(qū)。

1952年，屬安徽省蕪湖專區(qū)；1958年7月，劃歸六安專區(qū)。

1965年7月，劃歸巢湖專區(qū)。

1971年8月，廬江縣屬巢湖地區(qū)。

2000年1月，隸屬巢湖市。

2011年7月，劃歸合肥市管轄。