В 1950 году Шефнер обратился к прозе. Первый сборник прозы «Облака над дорогой» издан в 1957 году. В 1970 году опубликована посвященная событиям Великой Отечественной войны повесть «Сестра печали», которую автор считал своим значительным прозаическим произведением.
С 1960-х годов работал в жанре фантастики, называя свои фантастические произведения как «полувероятные истории» и «сказки для умных». Событием 1961 года стала книга Шефнера «Знаки земли». Самыми популярными повестями стали: «Девушка у обрыва, или Записки Ковригина» 1964 года, «Человек с пятью "не", или Исповедь простодушного» 1966 года, «Дворец на троих, или Признанья холостяка» 1968 года, «Запоздалый стрелок, или Крылья провинциала» 1967 года, «Круглая тайна» 1969 года, «Лачуга должника» 1981 года, «Рай на взрывчатке» 1983, «Сказки для умных» 1985.
«Что натолкнуло меня на писание фантастики? Очевидно, ощущение странности, фантастичности жизни, сказочности её. А может быть, стихи. Всю жизнь я пишу стихи, а фантастика ходит где-то рядом с поэзией…. Если вдуматься, то в поэзии и фантастике действуют те же силы и те же законы – только в фантастике они накладываются на более широкие пространственные и временные категории. А что касается научно-фантастических романов, где речь идёт только об открытиях и изобретениях, то они для меня не интересны. Для меня не столь важен фантастико-технико-научный антураж, а та над-фантастическая задача, которую ставит себе писатель. Поэтому я очень люблю Уэллса. Его «Машина времени» никогда не устареет, ибо, в сущности, каждый из нас ездит в этой машине.
Никогда не устареет и «Борьба миров»…Однажды я перечитал её, лежа в госпитале, в блокаде, в марте 1942 года. А перед этим я перечитал «На Западном фронте без перемен» Ремарка. И странно – все ужасы войны Ремарка не произвели на меня тогда большого, прежнего, довоенного впечатления, а вот «Борьба миров» не потускнела…В чем тайна обаяния Уэллса? Быть может, отчасти и в том, что у него на любом фантастическом фоне и в любой фантастической, порой страшной, ситуации действуют обыкновенные, вовсе не фантастические люди со всеми их достоинствами и недостатками. Действуют глупые и умные, герои и трусы, добрые и злые, но все в человеческих нормах и пределах. И вот автор вталкивает этих людей в фантастические события и смотрит, что из этого получится. А получается вот что: люди остаются людьми…Ещё мне нравятся Рэй Брэдбери и Станислав Лем, хоть это совсем разные фантасты. Ещё мне нравятся Стругацкие.
Романов на технически-космические темы сейчас пишется очень много и у нас и за рубежом. В них почти нет живых людей, в них действуют схемы, манекены. Космическая фантастика из искусства превращается в промышленность. Будущее фантастики лежит, на мой взгляд, в её смыкании со сказкой».