Детские годы будущий писатель провёл в Манчжурии, где в 1940 году окончил среднюю ступень школы. После возвращения в Японию, завершив среднее образование в школе Сэйдзё, в 1943 году поступил на медицинский факультет Токийского императорского университета. Будучи ещё студентом, в 1947 году женился на художнице Мати Абэ, которая в дальнейшем будет играть важную роль, в частности, в оформлении книг Абэ и декораций к его театральным постановкам. В 1948 Абэ закончил университет, однако неудовлетворительно сдав государственный квалификационный медицинский экзамен, фактически сознательно лишился возможности стать практикующим врачом.

В 1947 году, основываясь на личном опыте жизни в Манчжурии, Абэ написал поэтический сборник «Анонимные стихи», который опубликовал сам, напечатав весь тираж 62-страничной книги на мимеографе. В стихотворениях, где было очевидно сильное влияние на автора поэзии Рильке и философии Хайдеггера, молодой Абэ наряду с выражением отчаяния послевоенной молодёжи, обращался к читателям с призывом протеста против реальности.

Тем же 1947 годом датируется написание Абэ его первого сочинения крупной формы, получившего название «Глиняные стены». Первым, кто в литературном мире, познакомился с этой работой и дал ей высокую оценку, был критик и филолог-германист Рокуро Абэ, преподававший Абэ немецкий язык, когда тот учился ещё в школе высшей ступени Сэдзё в военные годы. Повествование в «Глиняных стенах» строится в виде трёх томов записок молодого японца, который, решительно разорвав все связи с родным городом, уходит странствовать, но в результате попадает в плен к одной из манчжурских банд. Глубоко впечатлённый этим произведением Рокуро Абэ отправил текст Ютака Хания, которым недавно был создан малоизвестный на тот момент журнал «Современная литература». Первый том записок из «Глиняных стен» в феврале следующего года был опубликован в журнале «Индивидуальность». Обретя таким образом некоторую известность, Абэ получил приглашение вступить в объединение «Ночь», которым руководили Ютака Хания, Киётэру Ханада и Таро Окамото. В октябре 1948 года переименованные в «Указатель в конце дороги» «Глиняные стены» при поддержке Хания и Ханада были изданы отдельной книгой издательством «Синдзэнбися». Позднее в своей рецензии на «Стену» Хания, высоко ценивший творчество Абэ, написал что Абэ, которого в каком-то смысле можно считать последователем Хания, превзошёл его, своего предшественника.

В 1950 году Абэ совместно с Хироси Тэсигахара и Синъити Сэги создал творческое объединение «Век».

В 1951 году в февральском номере журнала «Современная литература» была опубликована повесть «Стена. Преступление S. Кармы». Это неординарное произведение было отчасти вдохновлено «Алисой в стране чудес» Льюиса Кэролла, тематически отталкивалось от воспоминаний Абэ о жизни в манчжурской степи, а также демонстрировало влияние на автора его друга, литературного критика и писателя Киётэру Ханада. Повесть «Стена. Преступление S. Кармы» в первом полугодии 1951 года была удостоена премии Акутагавы, разделив первенство с опубликованной в «Литературном мире» «Весенней травой» Тосимицу Исикава. Во время обсуждения работ членами жюри повесть Абэ подверглась суровой критике Кодзи Уно, однако решающую роль при выборе победителя сыграла полная энтузиазма поддержка кандидатуры Абэ другими членами жюри, Ясунари Кавабата и Косаку Такии. В мае того же года «Стена. Преступление S. Кармы», переименованная в «Преступление S. Кармы» и дополненная рассказами «Барсук с Вавилонской башни» и «Красный кокон» вышла отдельным изданием под заголовком «Стена» с предисловием, которое написал Дзюн Исикава.

В 1950-е годы, стоя на позициях литературного авангарда, Абэ вместе с Хироси Нома примкнул к объединению «Народная литература», в результате чего после слияния «Народной литературы» с «Новой японской литературой» в «Общество новой японской литературы», вступил в Коммунистическую партию Японии. Однако в 1961 году после 8-го съезда КПЯ и определенного на нём нового курса партии, скептически восприняв его, Абэ публично выступил с критикой, за которой последовало его исключение из КПЯ.

В 1973 году Абэ создал и возглавил собственный театр «Студия Абэ Кобо», что ознаменовало начало периода его плодотворного драматургического творчества. На момент открытия театр Абэ насчитывал 12 человек: Кацутоси Атараси, Хисаси Игава, Куниэ Танака, Тацуя Накадай, Карин Ямагути, Тацуо Ито, Юхэй Ито, Каёко Ониси, Фумико Кума, Масаюки Сато, Дзэнси Маруяма и Дзёдзи Миядзава. Благодаря поддержке Сэйдзи Цуцуми, труппа Абэ смогла обосноваться на Сибуя в носящем теперь название «PARCO» театре «Сэйбу» . Кроме того, выступления экспериментального коллектива не раз демонстрировались за рубежом, где получили высокую оценку. Так в 1979 году в США с успехом была исполнена пьеса «Слонёнок умер». Несмотря на то, что нетривиальный новаторский подход Абэ вызывал большой резонанс в театральном мире каждой из стран, где гастролировала «Студия Абэ Кобо», оставаясь игнорируемым критиками в самой Японии, в 1980-х годах театр Абэ постепенно прекратил своё существование.

Около 1981 года внимание Абэ привлекло творчество немецкого мыслителя Элиаса Канетти, совпав с присуждением тому Нобелевской премии по литературе. Примерно в то же время по рекомендации своего друга япониста Дональда Кина, Абэ познакомился с произведениями колумбийского писателя Габриэля Гарсиа Маркеса. Работы Канетти и Маркеса потрясли Абэ так сильно, что в последовавших за этим своих собственных произведениях и выступлениях по телевидению, Абэ с большим энтузиазмом стал популяризировать их творчество, способствовав существенному увеличению читательской аудитории этих авторов в Японии.

Поздно ночью 25 декабря 1992 года после кровоизлияния в мозг, Абэ был госпитализирован. Несмотря на то, что после возвращения из больницы курс лечения был продолжен уже в домашних условиях, начиная с 20 января 1993 года, состояние здоровья начало резко ухудшаться, в результате чего рано утром 22 января писатель скоропостижно скончался от остановки сердца в возрасте 68 лет.

Кэндзабуро Оэ, ставя Абэ в один ряд с Кафкой и Фолкнером и считая его одним из крупнейших писателей за всю историю литературы, заявил, что, проживи Абэ дольше, он, а не удостоенный её в 1994 году сам Оэ, непременно получил бы Нобелевскую премию по литературе.