從前從前，賽夏族人們住在高低起伏的山區裡，他們開墾山坡地來種植小米，在努力克服寒冷的天氣還有狹窄的地形以後，好不容易有了一些小米可以收成了，沒想到，除了有百步蛇跑來小米田爬來爬去，讓族人們不敢接近小米田以外，還飛來了好多的麻雀來搶吃小米，所以讓小米田裡的小米全都沒有了！這可讓賽夏族人們非常地苦惱。

有一天，賽夏族頭目的兒子出去打獵，他走啊走地，走到了一條從來沒有來過的河邊，一時好奇，就想辦法順著一棵彎過河面的大樹爬到河的對岸，突然，在河的另一邊，他發現了一片茂盛的小米田，田裡的小米長得又多又好，在小米田中間有一群長得黑黑的小矮人，他們拿著芒草放在頭上，不停地唱歌和跳舞，在這片小米田裡完全看不到任何的百步蛇或是和麻雀，這讓頭目的兒子大為吃驚，也非常地羨慕。於是他立刻去邀請小矮人，來教他們如何才能種出又多又好的小米，並且答應一定會好好地報答他們。小矮人答應了，就過河來教他們怎樣拿著芒草放在頭上，並且還要邊跳舞邊唱歌，小矮人是這樣唱的：「趕走百步蛇，蘇瑞卡巴！趕走麻雀，蘇瑞卡巴！小米長大，蘇瑞卡巴！」果然，這一招非常有效耶，小米田裡的百步蛇和麻雀都被趕走了，此外，小矮人又教賽夏族人改進種植和灌溉的技術，終於，賽夏族人也擁有了一片茂盛的小米田，並且得到大大的豐收！

為了慶祝小米的豐收，每一年，賽夏族人都會邀請小矮人一起來參加小米收成的祭典，並將他們尊為貴賓。沒想到，一年年過去，小矮人變得愈來愈地驕傲，除了在祭典上隨便胡鬧以外，在喝醉了以後，更會對女生不禮貌，不但毛手毛腳還胡言亂語：「小姐～你怎麼長得那麼美，可不可以讓我親親嘴，再讓我摸摸你大腿～」一下子嚇得賽夏族的女孩子們又害怕又生氣！最後，賽夏族人忍不住了，他們決定要設計害死這些小矮人。首先，賽夏族人先將小矮人過河要走的樹幹木橋偷偷地在下面砍出許多裂痕，再騙小矮人說晚上有漂亮女孩子要邀請他們來唱歌跳舞，於是到了晚上，小矮人們全都興高采烈地擠著要走過樹幹木橋來參加，結果，當小矮人們走在橋上的時候，只聽到「帕！」的一聲，有裂痕的木橋因為撐不住小矮人的重量而斷裂開來，而橋上所有的小矮人就全部跌落到溪谷裡淹死了！只有兩個還沒上橋的小矮人僥倖逃過一劫，他們非常地憤恨，就詛咒賽夏族的部落從此以後不但不能豐收，還會受到各種的災禍！

奇怪的是，在小矮人被害死以後，賽夏族人雖然仍舊照著小矮人教的方法唱歌跳舞，但是百步蛇和麻雀又出現在小米田了，這讓族人們非常地害怕，心裡想一定是小矮人的詛咒應驗了！部落裡的巫師看到這種情形，就表示一定要為小矮人舉行祭典，好安撫他們亡靈的怨氣，於是，賽夏族就開始舉行「矮靈祭」，矮靈祭用賽夏族語來說就是「帕斯達愛」，「達愛」就是賽夏族對小矮人的稱呼，就這樣，矮靈祭從那時就一直流傳到今天，成為賽夏族一項非常著名的傳統祭典了。