葫芦山因其由南而北，活像一个仰卧的大葫芦而得名。既是旅游胜地，又是摩岩石刻荟萃之所。山多岩石，或拔地而起或峰峰突兀，或悬崖峭壁或傍水临波。成为历代墨客骚人留题勒石的好去处。自唐宋以来，历朝名宦鸿儒留题甚多。现存138处石刻，是广东省三大著名摩岩石刻之一。有赞美湖山，有抒发惰怀，有记述游踪，还有重要的记事。字体草、篆、行悉备。其中计较突出的有：刻于唐德宗贞元三年（公元787年）的“李公亭”；刻于宋代的“放生”、“倒景”、“古瀛洞天”；刻于清道光年间的“湖山图画”，有唐韩退之《白鹦鹉赋》；有北宋真宗天禧四年（1020年）潮州郡守俞献卿题的《俞献卿葬妻文》；
　　有苏轼题的《潮州昌黎伯韩文公庙碑》，有于学谦写的“为善最乐”；有陈玉锵书的“放在眼光”；有西湖石壁一绝诗：“水色山不入图画，果然西子比西湖。名区自足传千古，管领何庸待大苏”等皆旷世珍宝。成为游人揣摩、品评的艺术佳作。石刻集中在葫芦山北部寿安岩和南部青牛洞一带，是古城名胜古迹一景“葫芦山摩崖石克”。葫芦山南部山腰建有南岩寺，寺与石刻群相互融合，山林逸秀，竹木苍翠。
　　葫芦山顶还保存一段长约200米，高一丈，宽六尺的湖山腰城，为清康熙十三年（1673年）至康熙十六年“三藩”之乱时期，潮州总兵刘进忠反清时所修筑。
　　关于葫芦山岩石的有关故事： 
　　王源是福建龙岩人，字启泽，号苇庵，明永乐甲申科进土。宣德十年 （143年），皇帝委派11个朝官为边垂州知府，据说其中有一个是《十五贯》的况钟，王源也是其中之一。王源到潮州上任，那时湘子桥原叫济川桥，只有十八个桥墩，且被洪水冲击得破烂不堪，过江只靠摆渡，地方富绅借渡赚钱。王源一心要修复湘子桥，恰好当时满城传闻葫芦山上有两块石，大数十围，高数丈，人称二蟾蜍，斜斜射向城里，风水先生便说这是“白虎瞰城，主嚣讼火灾”。王源看中这“怪石”，便派衙使李通、陆雄主持劈石造桥之事。这一下惊动了收惯桥捐和渡船钱的豪绅们，赶忙出来拦阻说：“这怪石动不得。”王源答：“既是怪石，只能使潮城人受火灾又多诉讼，为何不除掉？除了怪石又修了桥，一举两得，何乐不为呢。”富绅们心里不悦，便在民间造谣惑众，说谁动了怪石，便惹了灾祸，潮郡人将要大难临头。李通、陆雄被吓得不敢动手，只得回报说，这怪石根深蒂固实难除也。但是，王源的决心已定，他说：“韩文公来潮能祭走鳄鱼，我难道连这石头都搬不动吗？”便选定吉日，亲自带了百余名兵勇，大闹葫芦山。他庄重地宣布：“我先动手，如果平安无事，那大家齐动手。”他取了笔在石上大书：“敕广东潮州知府王源除怪石”。大家看见王源动手，便跟着干起来，一起把怪石打碎，大的拿去作桥梁，小的拿去砌桥墩。王源这一举动深得广大民众的拥护，大家齐心协力，仅几年便把破烂的湘子桥修复，还增建了五个桥墩，并在每个桥墩上建造了不同式样的楼阁，非常别致。王源还把“济川桥”改名为“广济桥”。从此，葫芦山上不再闹怪石，潮城人也不再怕“白虎煞气”了。王源在潮州时，为民做了许多好事，后人曾在湘子桥头兴建“王公词”纪念。后因桥头经常水涨，不便祭祖，又把“王公祠”迁移到金山麓下，每年前往祭祀已的人很多。