Ο θρύλος θέλει ως οικιστές των Αγίων Αποστόλων την οικογένεια των Γκοσαίων οι οποίοι ήρθαν στην Καστάνιανη «φερτοί» από την Γράμμουστα Καστοριάς. Σύμφωνα με την ίδια παράδοση στον τοίχο της εκκλησίας είναι εντοιχισμένα τα οστά των προγόνων τους. Η βρύση που βρίσκεται δίπλα στο εκκλησάκι , κατασκευάστηκε το 1923 με δαπάνες του ‘ΕΝ ΑΜΕΡΙΚΗ ΕΥΕΡΓΕΤΙΚΟΥ ΣΥΛΛΟΓΟΥ ΚΑΣΤΑΝΙΑΝΗΣ’