自古，五龙潭一带就环境清幽、景色秀丽，是济南园林荟萃之地。北魏时，这里的水域面积颇大，时为古“大明湖”（不同于今天的大明湖），湖畔有大明寺，水为“净池”，池岸建有用于接待往来官员的“客亭”。北魏著名地理学家郦道元曾有“左右楸桐，负日俯仰，目对鱼鸟，水木明瑟”的赞誉。

唐代，这里是文人雅士经常聚会的地方，诗人卢象曾作诗描述这里的美景，诗曰：“谢眺出华省，王祥贻佩刀。前贤真可慕，衰病意空劳。贞悔不自卜，游随共尔曹。未能齐得丧，时复诵离骚。闲阴七贤地，醉餐三士桃。苍苔虞舜井，乔木古城壕。渔父偏相狎，尧年不可逃。蝉鸣秋雨霁，云白晓山高。咫尺传双鲤，吹嘘借一毛。故人皆得路，谁肯念同袍。”

这片水域在宋代改称“四望湖”，金代始称“五龙潭”。关于这里为何改名为“五龙潭”，元代济南人，著名政治家、文学家、散曲家张养浩曾在《复龙祥观施田记》写道：五龙潭当时潭深莫测，深渊乃龙的居所，适宜建道观，祀五方神龙，以镇守本土，祛除灾难。于是就有积德行善之家，备齐物料，聚集工匠，在潭边建起一座龙祥观。

张养浩还写道：龙祥观建成后，即由王姓葆光法师主持祠事，传到第六代为刘志义，《复龙祥观施田记》就是应刘志义登门请求而作。至于龙祥观里所塑的五方龙神，据说指的是阴阳五行风水学上的东西南北中、青赤黑白黄五方土地之龙神，掌管着五方龙脉，五龙潭也从此得名。

元初时水面缩小，但仍有五龙潭、三娘子湾等大片水域及溪流，潭侧建凝碧宫。明末五龙潭周边曾建有霖雨亭、伊人馆，清代又建有鲛人馆、漪园、贤清园、潭西精舍等私家园林建筑。民国时期，五龙潭附近的园林建筑大都倾圮。