1960年2月，春寒料峭，广东省文物管理委员会派人调查灵山洞穴，广东师范学院周继舜副教授和陈华堂老师，在灵山县干部陪同下走进灵山县城东郊马鞍山东胜岩等处考查。经过几天实地探查，得到意外收获。回到广州，他们高兴地向省文物管理委员会报告：在灵山发现了古人类居住的洞穴，数万年前就有古人类活动！

      消息传出，引起中国科学院古脊椎动物与古人类研究所考古工作队的注意。

       同年4月，中国科学院古脊椎动物与古人类研究所派出考古工作队队员顾玉文等5位专家来到灵山县，对马鞍山东胜岩、葡地岩等处进行进一步的考古调查。

       考古人员在东胜岩、葡地岩和石背山洪窟洞3个地点的石灰岩溶洞里的黄褐色硬土中小心翼翼地挖掘。功夫不负有心人，他们拾到人类化石计4块顶骨、1块额骨的眶上缘、l块额骨的眉间部分……代表四五个个体、10件人类骨骼化石。此外，还发现了华南熊、犀牛、野猪等骨骸。从堆积中发现有成层的灰烬、炭屑、红烧土等。考古人员经过认真的测验考证，得出惊人的结果：灵山三个岩洞出土的古人骨化石体质特征大体与广西同期或稍早的“柳江人”和“来宾人”相接近，属于新人类型的人类化石，是距今2万年的人类遗骨！于是，考古队给他们起了一个名字：“灵山人”。

       1962年7月7日，广东省人民委员会公布马鞍山为第一批广东省文物保护单位，命名为“灵山人化石产地”。

       “灵山人”的出现，向居住在这里的后人及世人宣告，“灵山人”就是这里原住居民的先人和祖先！

       “灵山人”在2万年前就学会了用火烧烤，结束了饮血茹毛的历史。学会了用火取暖，驱逐猛兽，标志着他们已属于新人类。“灵山人”在生理特征上已和现代人相似。

随着20世纪60年代及以后二三十年考古工作的开展，更多的古人遗迹在人们面前露出。1983年，在今钦南区犀牛脚镇丹寮村西南的芭蕉墩上，发现一层很厚的胶结坚硬的蚝壳、蚌壳等堆积物，并从地面采集到一些打造粗糙的石器工具，经鉴定是距今l万年的贝丘遗址。1964年4月，在今灵山县石塘境内的钟秀山滑岩洞中，发现约7个个体共10多件人类骨骼化石和70枚牙齿，属新石器时代的人类骨骼化石，距今约6000年。1967年，在今钦南区东场镇红砂村东南的上羊角岭上，采集到磨制的石器一批。1978年4月至1990年，广西壮族自治区和钦州地区各县考古部门又先后在钦南区那丽镇独料、钦北区大寺镇那葛的马敬坡以及今浦北县中西部一带河溪的山丘上发现新石器时期的古人遗址。这些遗址中均有磨制的石器、粗陶碎片等物。也就是说在距今1万至4000年前，“灵山人”的后代已散布到钦州市境的多处地方。

 “灵山人”所在的时代属于母系氏族公社阶段。当时，人们只知其母不知其父，妇女在日常生活中居于重要地位，她们是生产和生活的组织者。约过了l万年，人们为了生存需要，便由深山密林逐渐扩展到沿江沿海地区，除居住在附近的洞穴，继续采集果实和猎取野兽外，还捕捞河海中的鱼虾和蚌贝作食物。又过数千年，居住在山洞的人类又转移到近水而土地肥沃的丘陵地带，以木石等搭屋居住，过着半耕半猎生活，并学会了饲养禽畜、烧制陶器以及粗糙的纺织。其时，男人在生产劳动中逐渐居于主导地位，灵山县境及沿海周边地区从此进入父系氏族公社阶段。

公元前2500年左右，北方的中原地区进入部落联盟社会，称五帝时期。传说喾帝初把中原划分为九大州，舜帝改为十二州，但当时整个岭南地区（今广东、广西）还属于扬州的外围。直至公元前1700年前左右商汤夺取了夏桀的政权建立商朝时，才把岭南地区定名为“南越”，也就是后来称“百越”（东周时期，岭南称百越之地，大致相当于今广东、广西、海南等地。公元前214年，秦王朝统一百越，在岭南设置桂林郡、南海郡和象郡。）的由来，商王要这一地区的首领进贡当地土特产，这是中原地区和岭南地区交往的开始。到了公元前1100年左右，那时位于北部湾边上“灵山人”的后代已在江河海边大量造田耕作。之后的公元前200年左右，汉高帝把南越定为藩属。史书《交州的外域记》把越南北方到钦州北海一带地区的“潮禾田”称为“骆田”，“人食其田，因名为骆”。“骆人”与“雒越族”的名称便由此而来。今钦州、北海、防城港等地称为“骆越”地，也由此而得名。

       “灵山人”及其后代从远古一路走来，至中原地区的春秋战国时期，已乘地球绕着太阳转了l万多圈，他们的子孙已传了五六百代。面对后人，他们可以从容自如、堂堂正正地坐上骆越先祖的交椅了。

      光阴荏苒，历史的车轮转到公元前240年前后。其时已是周朝战国时代的后期，经过商鞅变法之后强大起来的秦国，雄心勃勃，一心吞并仅剩下的赵、韩、魏、楚、燕、齐等国。此后的20年间，刀枪剑戟碰击丁当作响，人叫马嘶，战场上硝烟滚滚。秦王赢政经过艰苦的征战，终于在公元前221年先后把上述六国并入秦的版图，威风凛凛地坐上帝位，自封始皇帝。此后他又把目光投向南方的百越地区。

      在中原地区发生天翻地覆变化的时候，南方骆越一带的人们几乎什么也没有察觉到，各部落的人们依然身披兽皮或粗麻蓑衣，束发纹身，使用原始的工具日出而作，日落而息，人们或耕田种地，或捕鱼打猎。丰收时，他们踏歌起舞，以示庆贺。天冷时，燃起篝火挤在一起取暖；盛夏时，扑嗵扑嗵跳入水中解暑，或躲到树林里纳凉。记事时，他们用绳索打结或在木石骨甲上刻上记号。他们居住的是山洞、简易的土屋或是木棚，在他们眼里，只有冷热之分，没有年月日的概念。然而，这种生活环境不久就被改变了。

公元前221年起，秦始皇派国尉屠睢为统帅率领50万大军按照分路与合兵的作战计划进入南越、闽越等接界地区。公元前219年，秦军五路大军正式征伐百越。秦军统帅屠睢亲自率领第三路军从长沙、宜章南下，所向无敌，击溃越族许多部落，西瓯君译吁宋战死。秦军第五路与第四路军水路陆路同时出发，分别由谭城、零陵分进合击，占领桂林周围广大地区，建立了桂林郡。秦军为了方便运输粮草，在兴安地区的湘江和漓江源头分水岭上修筑灵渠，源源不断地把军队和物资运到珠江流域，然后沿北流江转南流江进入北部湾地区。

      秦军的到来，骆越地区一片惊慌混乱，各部落缺乏统一的指挥和合作，他们的武器低劣，无法与秦军相比，武艺更无法与秦军相提并论，虽奋力抵抗，最终不敌。这样，骆越地区很快便成为秦始皇新设立的象郡辖地（郡址设在今崇左市区附近）。

秦始皇为了加强对百越地区的控制，又从中原迁移50万人来到岭南与越人杂居，名为戍守，实为监视。

骆越地区归属象郡后，正式纳入中国的版图。秦朝在这里推广使用汉字，使用秦制定的度、量、衡标准，中原地区先进的科学技术也逐渐在象郡辖地推广使用，使用的工具逐渐采用铁器，捕猎有铁制的弓箭，记事也有了文字，人们的行为也受到秦朝法律的约束。

骆越人自从被秦朝官员统治之后，连日常用的柴刀、菜刀及劳动用的铁制工具都受到限制。群体活动也受到监视，他们表现出了极大的不满。

在遥远的北方地区，秦始皇为自己统一中国的功绩而踌躇满志。他大兴土木，修建阿房宫，修筑长城，征用民工百万，民间悲剧不断，人民处于水深火热之中，终于爆发了陈胜、吴广领导的农民起义，其后是日益强大的刘邦和项羽的对决，刘邦夺得了天下，于公元前206年建立了汉朝。

在秦末的混乱中，身居秦朝南海郡的龙川县令赵佗招兵买马，乘机攻占象郡和桂林郡，割据岭南地区，自称为南越武王。今灵山县境就是南越王领地。公元前196年，汉高帝刘邦为了稳定南方局势，派遣贾谊南下说服赵佗，正式封他为南越王。刘邦死后，皇后吕雉掌权，推行民族歧视政策，赵佗对此不满，与吕后对着干，自称为南越武帝，正式建立南越国，国都设在番禺城（今广州市）。原骆越地区随之成为南越国地。公元前179年，汉文帝登基，纠正吕后的错误政策，再派贾谊南下说服赵佗，赵佗取消帝号，仍称南越王。公元前112年，南越国丞相吕嘉不满南越王赵兴和汉朝往来，杀死了赵兴和汉朝使者安国，拥立赵建德为王，发兵扼守要塞，决心叛汉到底。

汉朝使者和南越王赵兴被杀以及吕嘉决心叛汉的消息传到汉武帝的耳朵，汉武帝先是眉头一皱，接着一拳击在案上说道：“吕嘉这厮竟敢藐视我大汉，谁与寡人擒之？”当时从群臣中走出一员大将，是路博德，他说：“皇上，微臣愿往擒之！”此时一个文官上前劝说：“皇上且慢，不如先察看察看再作计议。”武帝听了那文官的话才暂缓出兵。

时过数月，南越国和汉朝的关系非但没有改善，反而进一步恶化。同年秋，汉武帝拜路博德为伏波将军领军从桂阳（今广东连县）出发，下湟水（今广东连江）；楼船将军杨仆出豫章（今江西），下浈水（今广东翁江）；戈船将军郑炭从零陵（今全州境）出发，下漓水，还有两路分别从苍梧、牂牁江（今贵州北盘江）出发，共10万大军向番禺进发。至次年冬，杨仆率军攻破寻陕（今广东英德）、石门（今广东广州西化），与路博德会师，合围南越都城番禺。杨仆率先破城而入并纵火烧城，南越兵纷纷投降。吕嘉、赵建德逃亡海上，亦被汉军抓捕斩首。历时93年的南越国自此结束。

不久，汉武帝把原南越国地分为南海、苍梧、郁林、合浦、交趾、九真、日南、珠崖、儋耳9郡（其中交趾、九真、日南3郡在今越南境内），并设置交趾刺史部，管辖9郡，今灵山县境属合浦郡合浦县地。从此，岭南归于统一，恢复了与中原的联系。