在南澳岛的东北面，离海岸不远处有一个小岛，总面积不足1000平方米，人称为“金银岛”。
    为什么叫“金银岛”？据说是明朝海盗吴平藏金藏银的地方，吴平死后所埋金银迄今还没有人找到。金银藏在哪里？当地流传有一句谚语：“潮涨淹唔着，潮退淹三尺”。这句话潮州话的意思是：涨潮的时候水浸不到，潮退了倒被水淹三尺。有人推测，这该是有淡水的地方。岛上哪有淡水来淹？所以金银财宝埋藏在哪里，仍然是个千古之谜。
    海盗吴平为何将金银财宝埋藏在这个小岛上？这有一段历史：
    相传明朝嘉靖年间，朝政腐败，民不聊生，闽粤沿海出了一个大海盗吴平。他是福建省诏安县梅岭人，此人身材矮小，却机智灵活，出没于南澳岛与金门岛一带，势力达台湾和东南亚。传说他善于潜水，能从南澳潜泳到七八公里远的海山岛。后来他看中了南澳岛，在此安营扎寨。他选现今深澳筑营，那里后有高山悬崖，前面海滩宽阔，又有虎屿猎屿两个小岛作天然屏障，确是易守难攻的好地方。当时南澳尚未设总兵，这一带就成了吴平的势力范围，现在那里的村落还有吴平寨的称谓，就是当年吴平扎营之地。
    为荡平这股海寇，明朝廷委派潮州总兵俞大猷清剿，俞大猷遂率兵3万围攻南澳。吴平凭借土堡木城，水寨掩护，负隅抵抗，俟官船逼近，木石弓弹齐发，官兵措手不及。溃退时，官船的船舵又被吴平筑于海湾水下的石篱卡住，进退维谷，以致损兵折将，未能取胜。如此相持三月。朝廷闻奏，急派浙江总兵戚继光前往助战。戚继光是山东蓬莱人，将门出身，智勇双全，通晓兵法，他曾在闽浙剿寇，战绩卓著，这次圣旨下达，他即领兵五千驰援。
    嘉靖四十四年（1565年）春，戚家军到达南澳后，在今南澳东南方云盖寺一带安营扎寨，他一边探测地形，一边与俞大猷联络。夜晚就寝，他梦见美髯公关羽，得蒙指点：“将军破敌，只在智取，若从后攻，必然可胜。”原来吴平屯兵安营于临海处，背后是金山，山势嵯峨，荆棘众生，无路可通，疏于戒备。
    戚继光与俞大猷联络后，遂派兵从正面强攻，自己亲率三千精兵，偃旗息鼓，披荆斩棘，取道山后。部署完毕，铳炮齐发，前后夹攻，吴平惊慌，弃寨而逃，被杀被俘达3000人，官军大获全胜。
    当时吴平见大势已去，惦念十多年来掠夺的财宝，遂与妹妹将金银财宝分装成十八罐，用小船运到现称金银岛的小岛，拟掩藏后由海上逃跑，来日有机会再来挖出。到达小岛后官军追赶喊杀声四起，也许吴平考虑到如妹妹被官军俘获会造成不良后果，遂将妹妹杀死，只身埋藏好十八罐金银财宝后，由海路潜水逃跑。
    直至嘉靖四十五年（1566年）五月，戚继光部将傅应嘉，探得吴平已逃至海南岛，又集结几千人马再次征讨。此次战役吴平又战败，后投海自尽。吴平已死，金银岛藏金埋银十八罐之事也就无人知晓了。
    几百年过去了，人世也几经沧桑。金银岛这个小岛，由于有以上历史背景原因，又有藏金埋银的传说，加之岛上岩高耸，石洞迂回曲折，高低起伏，岛外白浪汹涌，海鸥低翔，海天一色，景物委实迷人，更有吴平妹妹的石雕塑像、《金银岛纪事》、《南澳吴平堤》等碑记，加之亭榭小桥的风采，石洞山泉的雄姿，吸引了不少游人上岛猎奇揽胜。