蘭州はもともと羌族(中国のチベット系の少数民族で、四川省に居住)の領土で、紀元前6世紀には、秦国に征服されました。紀元前81年(漢朝支配の時代)、蘭州は金城県になりました。その後、金城郡となりさらに雲呉とも名が変わりました。蘭州は「黄金の都市」と呼ばれておりシルクロードの要衝でとして、また黄河沿岸の重鎮のひとつにもなっています。そして蘭州を守るために、万里の長城は雲門まで延びています。
漢朝滅亡後、蘭州は同じ系統の民族の首都になりました。数多くの文化的影響を受け、今日では甘粛省の都市として、そして特に5世紀から11世紀までの間には仏教文化の拠点となっていました。また4世紀には独立国家である梁の首都でした。北魏時代には再び金城郡が造られ子城と改名されました。隋時代になり初めて蘭州県と呼ばれるようになりました。763年に蘭州はチベットに征服され、843年に唐朝によって発見されました。その後、西夏(古代青海地区の国で11~13世紀に繁栄)の支配下になり1041年、宋朝に統治されるようになりました。そして蘭州という名が再び使われるようになりました。
1127年、蘭州は晋朝の支配下に入りその後1235年にモンゴルに占領されました。明朝になると、蘭州は郡に格下げされ臨洮県に属しました。再び1477年には独立行政単位になりました。「蘭州」という名は清時代の1656年から使われています。1666年、甘粛は独立した省となり蘭州は甘粛の省都になりました。1793年、蘭州は臨洮の管轄になりました。1864~1865年、甘粛省のイスラムが武装蜂起した際、蘭州は大きな損害を被りました。1820~30年の間には中国ソビエト(中国共産党指導の革命根拠地政権組織のこと)の中心地になっていました。
日中戦争(1937-1945)の頃には蘭州と西安の間に高速道路があり、320キロにわたる中ソ高速道路の終着点として蘭州は物資運搬に関わる拠点となっていました。蘭州とウルムチ間に鉄道が通る前にはこの高速道路は中国西北部の重要な幹線道路となっていました。日中戦争の際に蘭州は日本軍の爆撃に遭いました。イスラムの将軍である馬鴻逵と馬歩芳が蘭州を襲撃から守り敵に占領されることはありませんでした。
現在、蘭州はロバ天主教の教区になっています。