Trước năm 1987 mộ của ông được an táng tại quê vợ (bà Phạm Thị Nhàn) làng Tường Vân, xã Định Thành, huyện Yên Định, tỉnh Thanh Hoá. 

Trước những khó khăn việc đi lại hương khói, trong khi mộ lại để ngoài cánh đồng nên có nguy cơ bị thất lạc, trong khi ở làng Phong Mục đã tìm được khu đất phù hợp nên ông Lê Văn Thới, ông Lê Xuân Sinh, Lê Văn Triển, Lê Hoàng Ngũ… đã đưa di cốt của ông lên thuyền xuôi dòng theo dòng Sông Mã về an táng tại núi Từ Chỉ làng Phong Mục (theo ông Lê Xuân Sinh kể lại sau khi để mộ ở đây thì cụ về báo mộng yêu cầu để mộ ở nơi khác vì để ở núi Từ Chỉ là nơi thờ Khổng Tử của làng), sau đó di cốt của cụ di chuyển đến nghĩa Trang Họ Lê như ngày hôm nay. 

Cũng theo ông Lê Xuân Sinh và nhiều người cao niên trong họ kể lại khi còn sống bố ông (cụ Lê Tụ Khuê) biết mình số đoản mệnh, có thể không lo liệu được cho các con nên cụ đã căn dặn con cả Lê Hội Tâm sau này lấy vợ thì chọn gia đình gia phong tương đồng, tính tình hiền dịu, đảm đang, lo toan được cho gia đình, duy trì nề nếp gia phong, đặc biệt là lo cho các em chu toàn, cho dù người con gái đó có thể không được xinh đẹp, về sau này có điều kiện thì lấy thêm người con gái xinh đẹp hơn.

Thực hiện lời căn dặn của bố ông lấy bà Phạm Thị Nhàn con gái gia đình danh tiếng ở xã Định Thành, huyện Yên Định, tỉnh Thanh Hoá. Bà Nhàn to khỏe, dáng người thô kệch nhưng đảm đang và quán xuyến được mọi việc trong gia đình. Ông bà sinh được 5 người con 2 trai 3 gái. Về sau ông lấy thêm bà Nguyễn Thị Yến ở làng Giáng, xã Vĩnh Hùng, huyện Vĩnh Lộc, Thanh Hoá và sinh được thêm 3 người con 2 trai 1 gái, bà Yến người có nước da trắng và xinh đẹp. 

Nhờ vậy, mà sau khi cụ Lê Tụ Khuê bị nạn mất thì mọi hoạt động trong gia đình vẫn được ông bà duy trì, những giá trị của họ tộc vẫn được bồi đắp, nhà thờ, đất đai ruộng vườn, anh em đoàn kết, các em của ông học hành thi cử đỗ đạt…