公元184年，黃巾起義爆發，劉備在涿縣組織志願軍，建立了自己的第一支隊伍。恰好生活在卓君的關羽在劉備的帳下加入了張飛，隨劉備四處活動，參加了剿滅黃塔軍的戰鬥。但歷史上並沒有“桃園三誓”這回事。據《三國志》記載，劉備、關羽、張飛三人關係非常好，甚至睡在一起。劉備在平原時，關羽和張飛為劉備負責管理隊伍，成了其他部門的司馬。劉備出席活動時，關羽和張飛站在劉備身邊，保護劉備的安全，形影不離。
公元194年，曹操因為他的父親曹嵩被殺而對陶謙非常憤怒，於是他派軍隊進攻徐州。陶謙向劉備求救，劉備和關羽帶領一千多人前去救援。曹操退兵後，陶謙讓劉備為豫州刺史，關羽跟隨劉備在小沛駐軍，於是有了立足之地。後來劉備的好心導致呂布來之不易的佔領徐州，不甘的劉備奪取了呂布大軍的黃金。呂布派高順大軍攻打劉備。在曹操的幫助下，劉備和曹操在下邳俘虜了呂布，拿下了徐州。只是這一次，徐州刺史成了曹操的手下，劉三人只能跟著曹操的部隊回到許昌。事發後，劉備乘機攔截袁術，攻殺徐州刺史車胄，任命關羽為夏邳太守，公開抗曹。
公元200年，曹操親自出兵劉備。劉備寡不敵眾，不得不逃往袁紹處，但關羽被曹操擊敗並生擒。因為曹操愛惜人才，非常喜歡關羽的勇敢和忠誠，所以對他厚禮相待，任命關羽為偏將軍。關羽雖然很感激曹操，但因為無法違背對劉備的誓言，拒絕了曹操的橄欖枝。為了回報曹操，關羽臨走前答應為曹操建功立業。恰好袁紹派大將顏良攻打白馬，曹操命張遼、關羽作為前鋒迎敵。關羽見閻良灰頭土臉的許衝鋒，閻良在諸軍中被殺。他拔出馬刀，斬了閻良，然後回到白馬之圍。這下解決了，關羽也因為有功被封為漢壽的廳侯。而關羽，卻在沉重的金錢和財富面前，封了曹操的賞賜，留書離開，回到了劉備身邊。後來民間文化稱關羽此舉千里獨騎，但沒有明確記載他過五關斬六將，文丑也不是關羽殺的。
公元208年，劉備投靠劉表，在新野駐軍。劉備得到諸葛亮後，越來越看重諸葛亮，引起了關羽和張飛的不滿。但經過劉備的思想工作，關羽勉強接受了這位年輕的軍師。曹操率軍南下時，劉備率領百姓逃走。關羽分乘數百隻小船駛往江陵與劉備會合，不料劉備在途中被曹操的軍隊追上。幸運的是，即使關羽進行了漢錦，劉備還是能夠一起乘船到夏口。劉備和孫權聯手。赤壁之戰打敗曹操後，關羽切斷了江陵北部的通道，
與周瑜一起攻打曹仁。後來劉備向南攻取荊州南部四郡，關羽也被拜為開國元勳，被任命為襄陽太守、盪口將軍。這期間，重建
