La Comisión Colombiana de Juristas abrió sus puertas en 1988, luego de que la Comisión Andina de Juristas (organización no gubernamental con sede en Lima) enviara una misión a Colombia para elaborar un informe sobre la situación de derechos humanos y en especial sobre la administración de justicia. La experiencia de esta visita, realizada en 1987, permitió vislumbrar que era posible y conveniente constituir en Colombia un grupo profesional permanente que documentara la situación de derechos humanos y realizara otras actividades basadas en el derecho internacional de los derechos humanos y el derecho humanitario para contribuir a solucionar la grave crisis de derechos humanos existente en el país y, simultáneamente, a desarrollar el derecho de los derechos humanos y el derecho humanitario a nivel global. El equipo que atendió la visita de 1987 estuvo coordinado por Gustavo Gallón, abogado y profesor universitario, con el apoyo de Federico Andreu y María Teresa Garrido, juristas que empezaban su carrera, y se convirtió entonces en el núcleo con el cual se inició ese grupo profesional permanente, que inicialmente se denominó Comisión Andina de Juristas Seccional Colombiana (CAJSC), y que en 1995 simplificó su nombre por el de Comisión Colombiana de Juristas (CCJ).
En la década de los 80 la mencionada crisis colombiana de derechos humanos se había agudizado considerablemente, si se tiene en cuenta que en el año 1980 había cien personas muertas o desaparecidas por motivos políticos cada año, y que en 1985 eran mil las víctimas por las mismas causas cada año, y en 1988 fueron más de cuatro mil. De igual forma, los índices de pobreza y de exclusión social eran alarmantes y se reflejaban en el hecho de que cerca del 60% de la población colombiana se encontraba por debajo de la línea de pobreza, y más del 25% por debajo de la línea de indigencia. La necesidad de crear una organización de derechos humanos que se especializara en potenciar el derecho internacional de los derechos humanos y el derecho humanitario en Colombia, tanto en materia de derechos civiles y políticos, como económicos, sociales y culturales, era evidente.
La importancia de su trabajo a favor de los derechos humanos en el país ha sido también destacada. La Corte Constitucional le solicita habitualmente a la CCJ concepto en relación con demandas relacionadas con temas de derechos humanos y derecho humanitario. La CCJ ha promovido a lo largo de su existencia la interlocución con el Gobierno, en medio de las diferencias, como un derecho en relación con la definición de las políticas públicas en derechos humanos. Sus opiniones verbales y escritas son objeto de atención en la academia, en la judicatura, en medios de comunicación y en la opinión pública, en general. Su director recibió en 2002 la Orden al mérito ciudadano en grado de Comendador otorgada por la Alcaldía Mayor de Bogotá.
Quizás por lo mismo, la CCJ ha sido objeto también de virulentos ataques promovidos por violadores de derechos humanos en la prensa, en el senado y por otros medios. Además, se ha descubierto que entre 2003 y 2005 (y quizás en los años subsiguientes) fue objeto de persecución ilegal por parte de la agencia de inteligencia de la presidencia de la república -el Departamento Administrativo de Seguridad (DAS)- que constituyó un grupo para hostigar a defensores de derechos humanos, magistrados, periodistas y opositores políticos, mediante seguimientos a estos y a sus familias, amenazas, acciones de difamación, ataques y atentados, todo lo cual es objeto de investigación por la justicia penal colombiana. Dentro de la situación de violencia que vive el país, tales ataques representan claras amenazas para la integridad de sus funcionarios.
Sin embargo, la CCJ ha seguido trabajando dentro de su mandato, denunciando las situaciones de violación de los derechos humanos, presentando casos y exigiendo que los culpables sean juzgados, promoviendo la utilización de los mecanismos internacionales de protección de los derechos humanos en Colombia, y proponiendo iniciativas ante las instituciones estatales para que aseguren el pleno disfrute de los derechos humanos para las y los colombianos, así como promoviendo el fortalecimiento del derecho internacional de los derechos humanos y del derecho humanitario en general.
La CCJ es un punto de referencia para organizaciones internacionales de protección de derechos humanos, como lo son, además de las de carácter intergubernamental (como la Oficina del Alto Comisionado de Naciones Unidas para los Derechos Humanos, los Relatores y Grupos de Trabajo de Naciones Unidas, los Comités creados por tratados de derechos humanos, la Comisión Interamericana de Derechos Humanos, el Alto Comisionado de Naciones Unidas para Refugiados -ACNUR-), las organizaciones no gubernamentales que siguen con atención la situación de Colombia, así como para los Gobiernos y embajadores en Colombia de países preocupados por la situación de derechos humanos en este país.
El trabajo de la CCJ ha sido reconocido a nivel internacional: