传说盘古开天辟地后，女娲用泥土做了人。女娲娘娘就继承了皇位，水神共工和火神祝融因一点小小的事情闹意见而大打出手。经过殊死搏斗，祝融大败共工，共工恼羞成怒，一头向擎天柱不周山撞去，竟将擎天大柱撞折了，霎时天塌了一方。天地相通，脉气失常，洪水泛滥，大火蔓延，人类陷入灾难之中。
      女娲见她的儿女们即将失去生存条件，着急万分，就决心炼石补天。她炼了九九八十一天，炼了36500块五色石头补天。因石是五色的，所以才有了天上的彩虹、彩霞。
　　且说天补好后，女娲担心天再塌下来。这时有一大龟游来，愿献出四条腿。女娲就用龟的四腿做擎天柱。　　
      此后，洪水归道，烈火熄灭，天地定位，普天同庆，人们又重新过上男耕女织的生活。

再说女娲补天前，南方连续大雨，地面成了汪洋大海。女娲补天过程中有一些石屑漏泄下来，就成了山脉。后来形成了崇山峻岭、山岭纵横、岩峪错列、丘陵起伏的岭南。

秦始皇统一了中国之后，就派遣五十万大军南征。一天，官吏赵陀的先头部队来到南岭的顺山，因为多日的征途跋涉，兵士疲惫不堪，斗志低落。这时，一股花香飘来，大家沁人心脾，精神大振，继续前进。只见，骑田岭南的顺山生有很多桂树，香气弥漫原野。原来那是观音菩萨担心兵士的情绪影响战斗力，于是施法成满山遍野的桂树花。赵陀看到桂花满枝，飘香千里，知道这是胜利的先兆，问侍卫到了何地？大家都不知其地，赵陀就呼其名为桂岭。所以，位于桂岭南侧的就叫桂阳。

汉朝时淮南王来到桂阳一带，看到这里崇山峻岭、山山相连，山上根本没有桂树，就说：“这里山山相连，山外有山，真有气魄。”归途休息中，还想到那一带气势磅礴的山岭，一时高兴，就在地上的石头上书写了“山山相连，山外有山”，这时一位随从侍卫走过来，只看到显眼的两个字，不加思考地读起来：“连山”，南王高兴地说：“好，连山！”所以，从此以后把桂阳称为连山。

隋朝开皇十年，中央撤县建州，设立为连州。