乘乱立业晋惠帝时，因八王之乱战火再起，赵王司马伦、齐王司马冏及长沙王司马乂先后以军事力量上台掌权，司马伦更曾篡位称帝，天下大乱，盗贼蜂起。刘渊的堂祖父，原来的北部都尉、左贤王刘宣等人秘密商议说：“以往，我们的先人与汉朝约为兄弟，忧和喜共同享有。汉朝灭亡以来，魏、晋继而兴起，我们单于，虽然有一个空虚的名号，可是，不再拥有哪怕一尺土地的基业，从王侯慢慢下降到同平民差不多了。现在司马氏亲骨肉间相互残杀，天下一片动荡，我们建立国家、复兴祖业的时机到了。左贤王刘渊的姿貌、风仪和才能超人绝世，上天倘若不是要光大单于，不就虚生这种伟人了吗？”于是，秘密地共同推举刘渊为大单于，并且派他们的党羽呼延攸到邺城，将秘谋的内容告诉给刘渊。刘渊请求回故地会合行送葬之礼，司马颖没有答应。于是，刘渊让呼延攸先回去，告诉刘宣等人招集五部人众，会同宜阳的诸多胡人，表面上宣称响应司马颖，实际上却是要图谋叛变。

永安元年（304年），司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久东海王司马越和陈昣等与晋惠帝征讨司马颖，驻扎在荡阴，司马颖任命刘渊为代理辅国将军，负责北城防守诸事务。等到晋惠帝六军战败时，司马颖又任命刘渊为冠军将军，封为卢奴伯。不久，并州刺史东赢公司马腾、安北将军王浚，起兵讨伐司马颖，刘渊劝司马颖说：“现在二镇的人骄横、强暴，兵众十万，恐怕不是宿卫军以及都城附近的兵士所能抵抗得了的，我请求回去为殿下您劝说五部的人马来赴国难。”司马颖说：“五部的人马可以担保前来吗？即使能够前来参战，鲜卑、乌丸之人强劲、快捷如同风云，是那么容易抵挡的吗？我想护送皇上回洛阳，以避开他们的锋芒，接着再慢慢地告示天下，以叛乱的名义，名正言顺地制服他们。您认为怎样？”刘渊回答说：“殿下是武帝之子，对王室有突出的功劳，有威望、恩泽广，天下人都钦佩您的风范，谁不想为殿下您赴汤蹈火、献出生命呢？这种情况下，征发士兵有什么困难呢？王浚是个小人，东嬴公只是个偏远的旁枝，他们哪能与殿下您抗衡！殿下您如果一离开邺宫，就等于向他人示弱，这样，洛阳到达得了吗？纵然到达洛阳，恐怕威望、权力就不在殿下您的手里。一纸檄文，一尺书信，有谁肯去为他人尊奉这些！况且东胡的强悍不能超过五部之人，希望殿下您鼓励、安抚兵众，平定混乱，镇守住邺城，我当为殿下您以二部的兵力摧毁东嬴公，以三部的兵力斩杀王浚，两个小人的首级指日就可悬挂在邺城城头。”司马颖非常高兴，于是任命刘渊为北部单于、参丞相军事。刘渊回到左国城（今山西离石）后，刘宣等人便为刘渊上大单于的称号，二十日之间就聚众五万，定都离石。[10]及后王浚派将军祁弘率领鲜卑兵众进攻邺城，司马颖战败，于是，挟持天子向南朝洛阳奔逃。刘渊说：“司马颖不听我的话，自己向相反的方向溃逃，真是奴才。然而我与他有言在先，不能不去救他。”于是，命令右于陆王刘景、左独鹿王刘延年等人率领步兵骑兵二万，将去讨伐鲜卑。刘宣等人坚决劝阻道：“晋朝昏庸无道，他们像对奴隶一样对待我们，所以右贤王刘猛非常愤怒，承受不了心中怨恨，想有所作为，当时正碰上晋朝纲纪还未松弛，大事还没有成就，右贤王就被杀戮，这是单于的耻辱啊。现在，司马氏父子兄弟互相残杀，这是上天厌恶晋朝的德行，将天下授予我们。单于积德在身，连晋人都佩服，现在，正应该振兴我们国家和民族，恢复呼韩邪的基业，这样，鲜卑、乌丸可以作为我们的援助力量，怎么可以阻挡他们而去拯救仇敌呢！现在，上天借我们的手来消灭晋朝，不能够违背天意。违背天意就不吉祥，违背众人的意愿就不能成就事业。上天赐予了而不接受，反过来就会受到上天的责备。希望单于不要迟疑了。”刘渊听后说道：“说得对。应该做高山峻岭，怎么能甘心做低矮的小土丘呢！天下的帝王也不是固定不变的，大禹出自西戎，周文王出生在东夷，谁该做帝王，只是按德行的高低授予。现在，我们有兵众十多万，而每个人都相当于晋朝十个人，如果我们击鼓进军、摧垮晋朝，必将如同摧枯拉朽。这样，最理想的，可以成就汉高祖一样的基业，最差的，也不失做一个魏氏。虽然结果将是这样，但是晋朝的百姓不一定赞同我们。汉朝统治天下的时间久长，他们的恩泽深入人心，所以，昭烈帝刘备仅在一州的土地上奔驰，就可以与天下相抗衡。我又是汉朝刘氏的外甥，我们的祖先曾与汉朝相约为兄弟，兄长灭亡了，弟弟来继承，不也是应该的吗？况且，我们还可以称汉，追认、尊奉后主刘禅，以此来使天下人的期望归向我们。”于是，迁都到左国城。不久，远方来归附的人达到数万。

建汉自立永兴元年（304年），刘渊在南郊筑坛设祭，自称汉王，赦免境内囚犯，定年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀，立妻呼延氏为王后。署置百官，任命刘宣为丞相，经师崔游为御史大夫，宗室刘宏为太尉，其余的人授官各有等差，国号为汉（史称汉赵、前赵）。[12]东嬴公、并州刺史司马腾闻讯，派将军聂玄讨伐刘渊，战于大陵（今山西文水），聂玄军大败，司马腾害怕，于是率领并州二万多户百姓逃到山东，到处侵犯、骚扰。刘渊乘胜进军，派遣建武将军刘曜接连攻下太原、泫氏、屯留、长子、中都。元熙二年（305年），司马腾又派司马瑜、周良、石鲜等人率军讨伐刘渊，他们驻扎在离石的汾城。刘渊派遣武牙将军刘钦等六军迎战司马瑜等人。四次交战，司马瑜都被击败，于是，刘钦整顿军队，凯旋回师。同年，离石发生大饥荒，刘渊迁居黎亭，以便食用邸阁屯积的粮食。刘渊留太尉刘宏、护军马景守离石，派大司农卜豫运送粮食供给他们。接着，任命前将军刘景为使持节、征讨大都督、大将军，在版桥截击刘琨，被刘琨击败，于是，刘琨进据晋阳。侍中刘殷、王育规劝刘渊道：“殿下您从起兵至今已一年，然而，只据守在偏远的地方，威望还未远震，如果真的能够命令将士四出攻击，抓住机会，大胆地决战，斩杀刘琨，平定河东，建立皇帝的名号，向南大举进军，攻克长安，并将它作为国都，再率领关中的兵众席卷洛阳，就像转动指掌一样容易。这也是汉高祖之所以能开创宏基、消灭强楚的策略。”刘渊高兴地说道：“这就是我所想的啊。”于是进据河东，攻占蒲阪（今山西永县）、平阳（今山西临汾）。接着，刘渊进入蒲子，并将它作为都城，河东、平阳属县的各垒壁都投降于他。当时，汲桑在赵魏起兵，上郡四部鲜卑陆逐延、氐族酋长单于征、东莱人王弥以及石勒等人都相继投降刘渊，刘渊都授予他们官爵。

永嘉二年（308年），刘渊正式称帝，大赦境内囚犯，改年号为永凤。任命大将军刘和为大司马，封梁王，尚书令刘欢乐为大司徒，封陈留王，御史大夫呼延翼为大司空，封雁门郡公，宗室中以亲疏为等级，皆封郡县王，异姓中以功劳、谋略为等级，皆封郡县公侯。太史令宣于修之对刘渊进言道：“陛下您虽然如龙腾起，如凤翱翔，接受大任，然而，晋朝余部尚未消灭，皇族居室窄陋，紫宫星座的变化，还指向晋氏，不出三年，必定能够攻克洛阳。蒲子地域崎岖狭小，不可长久安身。平阳有天子之气，又兼是陶唐的旧都，希望陛下您上合天象之变，下合地理之祥。”于是迁都平阳。有人从汾水中得到玉玺，上面的文字是“有新保之”，大概是王莽时的玉玺，得到的人顺便增加了“渊海光”三字，刘渊认为是自己的好征兆，于是大赦境内囚犯，改年号为河瑞。又封他的儿子刘裕为齐王，刘隆为鲁王。

不久，刘渊命其子刘聪和王弥进攻洛阳，刘曜和赵固等人作为后继。西晋东海王司马越派平北将军曹武、将军宋抽、彭默等人迎战，晋军大败。刘聪等率军迅速到达宜阳。平昌公司马模派将军淳于定、吕毅等率军从长安讨伐刘聪军，在宜阳决战，淳于定等大败。刘聪依仗连续的胜利，没有设防，弘农太守垣延假称投降，乘夜偷袭，刘聪军大败而回，刘渊穿着白衣服前来迎接。

同年冬，再次征发士卒，派遣刘聪、王弥与刘曜、刘景等人率领精锐骑兵五万去进攻洛阳，派呼延翼率步兵接应，结果，在黄河南面将晋军打败。刘聪进军，驻扎在洛阳西明门，西晋护军贾胤乘夜接近他们，在大夏门大战，斩杀刘聪的将领呼延颢，呼延颢军溃败。刘聪向南撤退，在洛水构筑壁垒，不久，又进驻宣阳门，刘曜驻扎在上东门，王弥驻扎在广阳门，刘景攻击大夏门，刘聪亲自到中岳嵩山求神，命令将领刘厉、呼延朗等负责指挥留守的士兵。东海王司马越命令参军孙询、将军丘光、楼裒等人率领手下勇士三千，从宣阳门攻击并斩杀呼延朗。刘聪得到消息后快马赶回，刘厉因害怕刘聪给自己治罪，于是投水而死。王弥劝刘聪说：“现在既然失利，而洛阳又非常牢固，殿下您不如回师，以后再慢慢地图谋。我当在兖州、豫州之间招募兵士，收聚粮食，以等待进攻的日期。”宣于修之又劝刘渊说：“辛未那一年，当攻下洛阳。现在晋朝的紫气还很盛，大军不回，必定失败。”刘渊派黄门郎傅询快马召刘聪等回师。王弥从轘辕撤出，司马越派薄盛等人率兵追击，双方在新汲大战，王弥军大败。于是整顿蒲阪的防守，回到平阳。

刘渊任命刘欢乐为太傅，刘聪为大司徒，刘延年为大司空，刘洋为大司马，赦免境内囚犯。又立妻子单氏为皇后，儿子刘和为皇太子、刘乂为北海王。

永嘉四年（310年）七月，刘渊卧病，准备嘱托后事，任命刘欢乐为太宰，刘洋为太傅，刘延年为太保，刘聪为大司马、大单于，并且统领尚书事务，在平阳西部建造单于台，任命其子刘裕为大司徒。刘渊病重，召刘欢乐和刘洋等人到宫禁中接受遗诏，辅佐朝政。八月，刘渊在光极殿去世，共在位六年。刘渊死后，其子刘和继位。不久，刘聪自西明门攻入西室，杀刘和自立。同年九月，刘聪葬刘渊于永光陵，上谥号为光文皇帝，庙号高祖。

刘渊是汉化的匈奴贵族后裔，他在西晋日趋衰败、各地流民纷纷起义反晋的浪潮中，趁势在中原建立了第一个少数民族政权——匈奴汉国政权。汉国政权建立进一步把中原推向战争和动乱，同时改变了曹*以来匈奴五部统治结构，重新恢复了匈奴传统旧制。但从少数民族对汉人的长期统治过程中，为各民族之间深层次的融合，准备了条件。