Йосиф Антонов Ковачев е роден на 14 януари 1839 г. в българския град Щип (днес Република Македония). Завършва Духовната семинария в Белград. По-късно със средства от Одеското българско настоятелство заминава за Киев, където завършва Духовна академия.

Завръща се в българските земи и учителства в Габрово, Щип и Прилеп. За пръв път използва звучната метода и класно-урочната организация на обучение. В Щип създава първото мъжко педагогическо училище. През 1872 г. е назначен за училищен инспектор в Кюстендил. В 1873 година излиза книгата му „Школска педагогия или методическо ръководство за учителите и управителите на народни школи“, който е първият български учебник по педагогика. В 1874 година издава „Буквар по нагледната и гласна метода“, а в 1875 - „Български буквар по звучната метода за народните школи“, излязал едновременно в Пловдив, Русе и Велес, и претърпял 5 издания до 1885 година. Ковачев е автор и на „Ръководство за първоначалното обучение в четенето и писането по звучната метода“.

След Освобождението е началник на народното просвещение в Пловдив, а след това е училищен инспектор в Софийската губерния. Избран е за народен представител в Учредителното народно събрание в 1879 г. След това е избран за председател на губернския съвет в София. От 1880 г. до 1887 г. заема длъжностите главен секретар на Министерството на вътрешните работи, член на Държавния съвет и кмет на София (1886 - 1887).

От 1887 г. до края на живота си е преподавател по педагогика във Висшето училище в София (днес Софийски университет). В 1895 година е избран за член на Върховния македонски комитет. От март до юни 1897 година е негов председател.

Умира на 31 октомври 1898 г. в София. Виж още: Кметовете на София