C'est en novembre 2002 qu' un petit groupe de responsables de conseils de la justice, relativement jeunes, prennent l'initiative d'inviter leurs collègues des institutions similaires dans l'Union européenne, à participer à une conférence sur les Conseils de la Justice. L'objectif était de faire connaissance avec les sytèmes des uns et des autres, d'échanger des informations, d'apprendre des autres les réalisations (et les erreurs) et d'évaluer les possibilités de coopération dans différents domaines. Par ailleurs, tous se sont accordés pour reconnaître qu'avec le développement de l'Union européenne, le rôle des juges, tant comme juge national  que comme juge dans et de l'Union européenne irait croissant. Le pouvoir judiciaire devra assumer plus d'obligations et de responsabilités. C'est pourquoi, le développement de la coopération judiciaire est une nécessité. Cette coopération exige une bonne compréhension par les membres du pouvois judiciaire, des systèmes juridiques et judiciaires des Etats membres de l'Union européenne.

Le Réseau européen des Conseils de la justice a formellement été établi en 2004 à l'Assemblée générale de Rome.

Il est constitué des institutions nationales des Etats membres de l'Union européenne, indépendantes des pouvoirs exécutif et législatif, et qui assurent la responsabilité finale d'appui au pouvoir judiciaire dans sa mission d'administration indépendante de la justice.

C'est l'autonomie et l'indépendance par rapport aux pouvoirs exécutif et législatif qui est la caractéristique commune de toutes les institutions membres. Bien qu'aucun Conseil ne soit comparable, tous sont en charge du contrôle et de la promotion du pouvoir judiciaire. Certains Conseils (plutôt le modèle d'Europe du Nord) disposent de compétences en matière de stratégie et de management, de budget et de procédures budgétaires, alors que d'autres Conseils (plutôt le modèle de l'Europe du Sud), sont compétents pour la carrière des magistrats, leur recrutement et leur formation, ainsi que pour les questions disciplinaires. Le statut d'observateur peut être octroyé au Ministère de la Justice des Etats Membres où il n'existe pas un Conseil de la Justice. En outre, ce même statut d'observateur peut être octroyé aux Conseils de la Justice des Etats candidats à l'Union européenne.

Les statuts du RECJ ont été adoptés durant l'Assemblée Générale extraordinaire du 27 novembre 2007. Les Statuts ont établis le RECJ en tant qu'association internationale sans but lucratif selon les dispositions régies par la loi belge.

Grâce au soutien financier de la Commission européenne, le RECJ a ouvert un secrétariat permanent à Bruxelles.