好久好久以前，有一個小城市叫做香港。那個年代，由於鄰近的中國大陸亂世浮生，因而來自五湖四海的人風塵僕僕的雲集在香港。

人們為了討生活，各種方式可說是五花八門；有人到工廠打工，有人自己做些小生意。當時有一對三十歲出頭仍未有小孩的夫妻，女的長得頗有姿色，男的名叫黃炳。

黃炳是一個小學都沒有唸完的人，雖然為人老實，但是卻有點呆傻傻的模樣。不過，他卻有一項很特別的手藝，就是會調製出一種很好吃的綠橄欖，綠橄欖酸酸甜甜的。一開始他是用來送給小朋友吃的，沒有想到後來大人小孩都來向他要，結果他就以賣這個綠橄欖維生，生意還不錯。住在同一層樓的一位同鄉就特別為黃炳做了一個外型像極綠橄欖，中間挖空，左右各裝有一個小鉤，綁著一條麻繩的大綠橄欖木瓶給他裝著他特別醃製的綠橄欖，方便他架在脖頸上隨街叫賣。

黃炳每天一早就出門在上環一帶叫賣綠橄欖，中午就隨便在外吃吃，晚上七八點左右才回到自己租來的房間。生意尚足以維持夫妻倆的日常生活。

日子就這樣一天天的過著。黃炳的老婆整天沒事做，她動不動就往菜市場跑，由於她姿色不差，又愛拋眉弄眼的，自然招來一堆蜂蝶。有好幾天，她趁著黃炳在外叫賣橄欖時，就在家裡偷漢子。

有一天，她沒有注意到住在同一層樓隔壁房間的一位同鄉，近幾日剛好不舒服，當天沒有上班待在房裡養病。由於他們住的房間都是用木板間隔而成的，所以他們的姦情聲響很容易就被隔壁房的同鄉聽得一清二楚。雖然同鄉知道了這件事情，但大家彼此都很熟悉，礙於同鄉的情面，別人也不好意思向黃炳直說。

不過，今天卻出了一點意外；黃炳在下午三點不到忽然在回家的路上沿途叫賣橄欖，他似乎有事情要回家。正在房裡鬼混的黃炳老婆聽到老公的叫賣聲自樓下傳來，她急忙要那個男人離開房間。男人急匆匆的穿好衣褲就往樓梯間跑去，那一頂他剛買來戴在頭上的綠帽子就這樣在匆忙中忘了帶走，留在黃炳的房裡。

不到一刻鐘，黃炳就步上樓回到房裡，他老婆若無其事笑嘻嘻的問他：

『今天怎麼哪麼早回來呀？』

『胃有點不舒服，想回來吃點胃藥。』

黃炳此時看到床邊有一頂帽子，他接著就問：『那帽子是妳買的嗎？』

黃炳的老婆望了望那綠帽子，神情有些惶恐的回答。『是呀！是呀！』接著她又說，

『我看到它是綠色的，蠻適合你戴，而且又跟你那個大橄欖木瓶很搭配，所以我就買回來給你。』

她算機靈的，臨時編造了這個還算不差的謊言。

黃炳把那綠帽子戴在頭上，『多謝老婆，妳給我戴這頂綠帽子，感覺不錯，很舒服。』黃炳又用手移動了一下戴在頭上的綠帽子。

隔壁房間的住客此刻笑彎了腰。

第二天，戴綠帽的故事就這樣傳了開來，一直流傳至今。