南靖书洋吕氏家族的发源地在今山西永济蒲州镇，由于北方战乱，一部分吕氏子民为避战乱，南迁至闽南。大约五百年前，他们定居于南靖书洋。
为防止外族和盗匪的入侵，清康熙年间，吕氏在田园上用夯土筑起了一座方形土楼。楼坐西向东，四周群山环抱，九龙江西溪支流从楼左向西流过。因楼建于龙年，楼前的溪流又有一大深潭，所以取名叫龙潭楼。楼门两边的石条上，刻着“龙跃浪高春气暖，潭深源远水流长”的竖联。古时吕氏族人就在这惟一的土楼内传承生命。
为了谋求新的发展，清干隆五年（1740年），龙潭吕氏第十一代孙廷玉携妻离开龙潭楼，东渡台湾。在台湾，廷玉夫妇生有三个儿子，子子孙孙繁衍发展，在士农工商各界都有杰出表现。但廷玉夫妇时刻不忘自己的根在大陆，廷玉临终前还把儿孙们召集在一起，要儿孙们不忘自己的根在南靖书洋龙潭楼。
自1989年以来，台湾吕氏宗亲先后七次组团返乡祭祖会亲，人数达230多人次。其中1993年7月18日，由吕秀莲的哥哥吕传胜带领的返乡祭祖团人数就达71人。他们还先后拿出人民币60多万元，用于重建祖祠、维修龙潭楼、铺设水泥路和自来水管，同时用4万元人民币设立奖学金，奖励在校读书的吕氏子孙。龙潭楼的宗亲们对吕秀莲的哥哥吕传胜怀有深切敬意。
