1852年,太平军出广西,进湘鄂,所向披靡,清廷深感绿营和八旗兵已不足用,便饬令各省举办团练,以助“攻剿”。1853年1月21日,因母丧回湖南湘乡守制的礼部右侍郎曾国藩奉命帮同湖南巡抚张亮基督办湖南团练。后来,曾国藩认为团练不足恃,决定组建一种新的军队,这就是“湘军”(也称“湘勇”)。
湘军大体上仿照明朝戚继光的营制,以营为基本单位,直接受“大帅”统辖(后增设统领,各统率若干营)。每营编营官一、哨官四、勇丁五百人,另配长夫一百八十人,合计每营六百八十五人。每哨设八队,火器队与刀矛队各半。火器主要有抬枪、鸟枪。全营有劈山炮队二,直隶于营官。湘军水师筹组的时间略晚于陆师。水师每营编快蟹船一、长龙船十、舢板船十,共二十一只,员额为四百四十七人(1856年后,改制如下:裁快蟹船,长龙船减为八艘,舢板船增为二十二艘,全营共有船三十艘(每船炮位如旧),员额增至五百三十二人)。每只长龙船安炮七门,舢板船安炮四门,均为六百斤至千斤的洋炮。各船还配有火枪、刀矛,以备近战。此外,湘军还设有营务处和粮台,分别管理全军的军务与后勤。