1859年8月石達開主力在圍攻湖南寶慶（今邵陽）幾十天未成功後，進入了廣西。他們的遠征，離太平天國天京越來越遠，已經起不到互為犄角，相互呼應的作用了。
在廣西石達開部隊開始是猛攻省城桂林，從三面包圍城市。各路清軍趕來援救，其中湖南巡撫更調撥了湘軍劉長佑、蕭啟江部一萬餘人趕來，石達開見敵軍雲集，桂林難克，於是分軍南下，10月15日，攻取了慶遠府城（今宜山）。慶遠是桂北的重鎮，天地會起義大成國陳開部隊曾佔據了一年，而在此後一年，石達開部又佔領了它。石達開以慶遠府署為翼王王府。
富貴不回鄉，猶如如錦衣夜行，石達開對家鄉相當留戀，在佔慶遠不久後，曾帶領親衛隊，赴貴縣縣城和故鄉奇石墟，擺了酒席，歡宴父老。此時此刻，雖然出了些風頭，但如回顧自金田起義以來，眾多宗族和家鄉子弟在戰鬥中犧牲，在內訌裡喪生，不知又有何種感慨系之。況且此時四面環敵，前路渺茫，在貴縣卻整日飲酒狂歡，正可謂是居安而不思危，處危地而不知進取。
石達開在慶遠，日子其實並不好過，當地團練修築堡壘，建立城濠與他作對，各路天地會的部隊也不服從他的指揮，各自為戰，但最為困難的還是缺乏糧食，經過連年的戰爭和掠奪，廣西到處是一片赤地，如融縣田地荒蕪十之七八，永安州城內已是一片瓦礫場。
在慶遠建立翼王府的石達開已是難以生存，而促使離開的另一大因素乃是石鎮吉部全軍覆沒。石鎮吉是石達開族弟，也是石氏家族很能善戰的一員。石達開很信任他，常與他別領一軍，另圖發展，以作呼應。1860年3月，石鎮吉在圍攻百色時失敗，與幾個族人石鎮常、石鎮發、石鎮全、石達德和石達開表弟黃貴生等遭清軍俘殺。
石鎮吉部的潰敗，致使石達開實力大損，也是他大渡河潰敗的前兆。
1860年6月，石達開放棄了經營八個月的慶遠府城，被迫南下攻打南寧，結果又失敗了。在此期間，隊伍中接連出現“起義出江”事件，勢窮力孤，進退失據。彭大順童容海等人就是在這個時候離開石達開反正萬里迴歸天王的。石達開面對自己的處境，很有些心灰意冷，一度還想脫離部隊，出家隱居呢！只是既已爬上虎背，騎虎難下，因為在清廷捉拿的花名冊上還有他的名字，他是清廷殺無赦的通緝犯人，天涯何處又是他的歸途，普天之下又哪有他的安身立命之所？無他只有硬著頭皮往前走，底下還有一干生死相隨的部眾兄弟呢。但主帥的一蹶不振對整個部隊計程車氣卻有著非常大的影響。
