Desarrollador Python Senior

Acerca de Turing:

Turing es una de las empresas de IA de más rápido crecimiento en el mundo, acelerando el avance y la implementación de sistemas de IA potentes.

Turing ayuda a los clientes de dos maneras: trabajando con los principales laboratorios de IA del mundo para avanzar en las capacidades de los modelos frontera en pensamiento, razonamiento, programación, comportamiento agéntico, multimodalidad, multilingüismo, STEM y conocimiento frontera; y aprovechando ese trabajo para construir sistemas de IA del mundo real que resuelvan prioridades críticas para las empresas.

Descripción del rol:

Esta posición es dentro de un proyecto con una de las empresas fundamentales de LLM. El objetivo es ayudar a estas empresas fundamentales de LLM a mejorar sus Modelos de Lenguaje Grande.

Una forma en que ayudamos a estas empresas a mejorar sus modelos es proporcionándoles datos propietarios de alta calidad. Estos datos sirven para dos propósitos principales: primero, como base para el ajuste fino de sus modelos, y segundo, como un conjunto de evaluación para comparar el rendimiento de sus modelos o los de la competencia.

Por ejemplo, para la generación de datos SFT, es posible que tengas que armar o recibir un prompt que contenga código y preguntas proporcionados, luego proporcionarás las respuestas del modelo y escribirás el código Python correspondiente para resolver las preguntas.

Para la generación de datos RLHF, es posible que necesites crear un prompt tú mismo o usar uno proporcionado por el cliente, hacerle preguntas al modelo y evaluar las salidas generadas por dos versiones del LLM. Compararás estas salidas y proporcionarás retroalimentación, la cual luego se utiliza para ajustar los modelos. Ten en cuenta que este rol no implica construir o ajustar LLMs.

Cómo es el día a día:

• Diseñar, desarrollar y mantener código Python eficiente y de alta calidad para entrenar y optimizar modelos de IA.
• Realizar evaluaciones (Evals) para comparar el rendimiento del modelo y analizar los resultados para una mejora continua.
• Familiaridad con frameworks y librerías de Python.
• Evaluar y clasificar las respuestas de los modelos de IA a las consultas de los usuarios en diversos dominios, asegurando la alineación con criterios predefinidos.
• Desarrollar explicaciones integrales y fundamentos para las evaluaciones, mostrando un excelente razonamiento y experiencia técnica.
• Liderar esfuerzos en Ajuste Fino Supervisado (SFT), incluyendo la creación y el mantenimiento de conjuntos de datos de alta calidad específicos para tareas.
• Colaborar con investigadores y anotadores para ejecutar el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) y refinar los modelos de recompensa.
• Diseñar estrategias y procesos de evaluación innovadores para mejorar la alineación del modelo con las necesidades del usuario y las pautas éticas.
• Crear y refinar respuestas óptimas para mejorar el rendimiento de la IA, enfatizando la claridad, la relevancia y la precisión técnica.
• Realizar revisiones exhaustivas por pares de código y documentación, proporcionando retroalimentación constructiva e identificando áreas de mejora.
• Colaborar con equipos multifuncionales para mejorar el rendimiento del modelo y contribuir a las mejoras del producto.
• Explorar e integrar continuamente nuevas herramientas, técnicas y metodologías para mejorar los procesos de entrenamiento de IA.

Requisitos:

• Más de 3 años de sólida experiencia con el lenguaje de programación Python.
• Experiencia en la industria y conocimiento de la calidad del código, el formato y las mejores prácticas de desarrollo de software.
• Experiencia con el ecosistema de pruebas de Python, incluidas pruebas unitarias, de integración y basadas en propiedades.
• Conocimiento de multihilos (multi-threading) y programación asíncrona en Python.
• Capacidad para trabajar con patrones arquitectónicos y refactorizar código sin introducir regresiones.
• Sólidas habilidades de depuración, incluida la solución de problemas de memoria y concurrencia.
• Fluidez en habilidades de comunicación conversacional y escrita en inglés.

Beneficios de trabajar como freelancer con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con las principales empresas de LLM.

Detalles de la oferta:

• Compromisos requeridos: al menos 4 horas por día y un mínimo de 20 horas por semana con una superposición de 4 horas con PST. (Tenemos 3 opciones de compromiso de tiempo: 20 hrs/semana, 30 hrs/semana o 40 hrs/semana)
• Tipo de contratación: Asignación como contratista (sin seguro médico ni licencia pagada).
• Duración del contrato: 1 mes; [la fecha de inicio esperada es la próxima semana].

Proceso de evaluación (aproximadamente 75 minutos):

• Dos rondas de entrevistas (60 min técnica + 15 min cultural y discusión de la oferta).