Tại thời điểm đó, xuất thân danh giá là một trong những thước đo để đánh giá một con người. Vì vậy mà quá khứ "bất hủ" của cô vợ Eliza nhanh chóng bị phanh phui. Người ta đồn rằng cô xuất thân từ tầng lớp hèn kém, từng là gái mại dâm khi còn trẻ và phục vụ ngay trong nhà chứa mà mẹ cô làm "trùm". Eliza vì thế mà xa lánh tầng lớp thượng lưu của chồng.
Mọi thứ vẫn không buông tha người phụ nữ này. Vào năm 1832, cái chết của người chồng cũng khiến cô phải chịu tiếng đồn thất thiệt. Một số kể lại rằng Stephen chết do viêm phổi, số khác lại khẳng định vì một tai nạn xe ngựa.
Nhưng tin đồn lớn nhất là việc ông đã bị cô vợ của mình giết hại bằng cách tháo các miếng băng gạc cầm máu ra khỏi những vết thương của chồng. Sau đó, Eliza chứng kiến chồng chảy máu đến chết. Một nhà ngoại cảm thời đó khi “triệu tập oan hồn” của vị thương gia còn cho rằng Eliza chôn sống chồng.
Tuy nhiên những lời đồn đoán đó vẫn không ảnh hưởng tới Eliza và bà đã trở thành một trong những góa phụ giàu nhất New York, tái hôn với cựu phó tổng thống Aaron Burr chỉ sau 8 tháng mất chồng.
Do có một quá khứ khá dữ dội, nên về già Eliza sống cuộc sống cô độc. Bà ở ẩn dật, hàng ngày đi dọc hành lang của ngôi nhà trong bộ quần áo bẩn, đầu tóc rối bời và bị ám ảnh với những tội lỗi khi xưa cũng như cái chết của hai người chồng. Năm 1865, Eliza qua đời và câu chuyện của bà lại tiếp tục ám ảnh nơi đây.
Khi kể về tòa biệt thự này, các hướng dẫn viên hoặc người bản xứ nói về các truyền thuyết quanh ngôi nhà cho du khách nghe. Một trong số đó là sự kiện xảy ra vào thập niên 1960, khi đó có một đoàn học sinh tới tham quan ngôi nhà. Do bản tính hiếu động nên lũ trẻ đã chạy nhảy khắp nơi. Một bà già cao lớn, có mái tóc bạc và mặc chiếc váy màu tím đã mắng mỏ lũ trẻ. Sau đó, bà đi xuyên qua cửa và biến mất.
Dịp khác, một cô giáo dẫn học sinh lên đỉnh của tòa lâu đài quan sát và cô cũng suýt ngất xỉu khi thấy một người lính bước ra từ trong tranh. Ngoài Eliza, người ta tin rằng có ít nhất 4 “hồn ma” nữa đang vất vưởng tại đây là Stephen Jumel, Aaron Burr, một cô hầu phòng và một người lính Anh.
Ngày nay, Morris-Jumel tọa lạc trên đỉnh của doi đất Coogan's Bluff, ở dưới là quận Manhattan, hai con sông Hudson và Harlem. Ngôi nhà được công nhận là di tích quốc gia vào năm 1961, ngày nay đã trở thành một bảo tàng.
