Phường 4 hiện nay nguyên là một phần của xã Hòa An, nằm trên cù lao Trâu thuộc tổng An Tịnh ngày xưa, là vùng đất cồn cao ráo, do phù sa sông Tiền bồi đấp, cụ thể là do các rạch chính: Cái Tôm, Cái Sâu, Ba Khía, Cái Da, Xếp Lá… dẫn nước mang phù sa len lỏi khắp ruộng đồng vào mùa nước lên, nên độ màu mỡ cao, thuận lợi cho việc làm vườn và canh tác lúa. Nơi đây xưa kia là những vườn mận, vườn xoài, rẫy thuốc lá… nổi tiếng trong vùng; vẫn còn vang đến nay “Mận Hòa An”, “Thuốc lá xiêm mẵn Hòa An”…
Nếu đi từ thành phố Hồ Chí Minh xuống du khách phải qua Cầu Đúc bắc qua sông Cao Lãnh là đến Phường 4; còn nếu từ Sa Đéc hay An Giang qua thì khách phải qua bến phà Cao Lãnh xuyên qua Phường 6, mới đến.
Ngày 23 tháng 2 năm 1983, Hội đồng Bộ trưởng ban hành Quyết định số 13-HĐBT về việc chia huyện Tam Nông thành hai huyện và thành lập thị xã Cao Lãnh thuộc tỉnh Đồng Tháp. Theo quyết định này Phường 4 được thành lập từ việc tách ra từ ấp Hòa Hiệp, ấp Hòa Lợi xã Hoà An. Lúc bấy giờ Phường 4 có tổng diện tích tự nhiên 61 ha. Đến năm 1986, nhận thêm một phần của các ấp Hòa Lạc và Hòa Khánh của xã Hòa An diện tích được nâng lên thành 190,70 ha.
Hiện nay, Phường 4 là một trong tám phường của thành phố Cao Lãnh, vị trí tứ cận như sau:
– Phía Đông Bắc giáp sông Cao Lãnh (tiếp giáp Phường 1, Phường 2);
– Phía Đông Nam giáp rạch Cái Tôm (Phường 6);
– Phía Tây Bắc giáp phường Hòa Thuận và xã Hòa An;
– Phía Tây Nam giáp rạch Cái Tôm (Phường 6 và xã Hòa An).
