Ngoài ngựa, du khách còn chọn mua thuyền rồng giấy.
Theo người dân, Đức Quan Hoàng Mười là tướng trận giỏi, do vậy người dân hóa ngựa để ông cùng quân lính củng cố binh lực, đánh giặc ngoại xâm. Còn thuyền để di chuyển qua sông. Vì vậy, người đi lễ sắm thêm ngựa giấy và thuyền mang vào đền làm lễ cầu bình an, tài tộc đầu năm.
Ngựa giấy có nhiều kích thước, con bé cao từ 50 cm đến 1m. Thậm chí có con lớn cao hơn 2m tùy thuộc vào yêu cầu của du khách. Ngựa được làm từ cốt nứa mua sẵn từ những người dân trong xã. Với những con này thì có giá trên 500.000 đồng.
Các con ngựa giấy được trang trí cầu kỳ và bắt mắt. Dù giá tiền không hề nhỏ nhưng rất đông người vẫn mua ngựa giấy để làm đồ lễ. Ngựa giấy sau khi mua sẽ được đưa đến tiền sảnh của đền để làm lễ. Những ngày đầu năm, cứ đến chiều tối là ngựa giấy được đặt kín lối lên xuống tiền sảnh đền.
Ông Nguyễn Long Thiên, Trưởng ban quản lý đền Chợ Củi, cho biết tính đến thời điểm này thì lượng khách đổ về đền ít hơn các năm. Vì vậy, số lượng ngựa giấy tiêu thụ cũng ít hơn. Mặc dù ban quản lý đã khuyến cáo người đi lễ không nên đốt ngựa giấy, vì nó ảnh hưởng đến môi trường. Tuy nhiên tín ngưỡng và nhu cầu của du khách nên việc cấm hẳn thì rất khó.
Vì vậy, để thuận tiện ban quản lý đã xây dựng lò hóa vàng mã được đặt ở phía tây của đền chợ Củi. Làm lễ xong, người dân sẽ đưa ngựa giấy đến để đốt.