故老相傳，此碑緣由有下數點：

一．日據時代，一日本採礦技師奉派來台時，與論及婚嫁女友，相約二年返鄉後，共訂鴛盟，卻一去杳無音訊。其女友幾經波折，歷盡風霜，來台尋找，抵礦區，獲悉其男友已因病別世，悲慟之餘，乃豎此碑，以為懷念，黯然返鄉。

二．相傳明治三十五年間，有一日籍採礦工程師，愛上本地一名女子，於是返鄉秉告父母，徵得同意後，回台欲予迎娶，其愛人竟已病故，傷心欲絕遂立此碑而歸。

三．日本明治三十五年間，有二日籍人士，相偕來到雙溪尋找礦脈，不料一人摔落山谷，重傷而亡，其地點竟是礦脈所在。另一人有感於人生無常，無意開礦，攜同伴骨灰歸返日本。此時死者妻子亦來台尋夫，獲悉夫婿噩耗，即欲回日本，接其夫婿骨灰。時值九月，淒風斜雨，半途感風寒，加上傷心過度竟而病故。事後，當地居民有感於此位日本女性的堅貞，在其病倒之處，立「無緣之墓」石碑以為感念。

四．日據時代，有日本人到此淘金，金未採到，卻傾家蕩產，於是立碑而去。

上述諸說，孰者為是，已難考據，惟識者辨之。