Databricks & Mosaic AI Specialist

Remote: 
Full Remote
Contract: 
Work from: 

Offer summary

Qualifications:

Proven experience (3+ years) working with Databricks in corporate environments., Solid practical knowledge of Mosaic AI components., Strong understanding of Large Language Models (LLMs) and their operationalization in cloud environments., Expertise in Spark, Delta Lake, and PySpark for data processing..

Key responsibilities:

  • Design and implement architectures leveraging Mosaic AI Foundation Models for natural language processing and document understanding.
  • Tune pre-trained models using Mosaic AI Model Training with domain-specific data.
  • Structure and manage Vector Search capabilities for semantic search in unstructured data.
  • Collaborate with data engineers to optimize data ingestion and transformation pipelines.

MJV Technology & Innovation logo
MJV Technology & Innovation Large https://www.mjvinnovation.com/
1001 - 5000 Employees
See all jobs

Job description

JOB DESCRIPTION

Ser MJVer 🤝 é estar em um dos melhores lugares para trabalhar.

 

Nós sabemos que na construção de uma sociedade mais forte a evolução deve vir de dentro para fora. Por isso, um ambiente acolhedor e com o sentimento constante de pertencimento é fundamental para o crescimento individual e coletivo.

 

O esforço é de todos nós, e as conquistas também. Porque ser um MJVer é bem mais do que ser um colaborador: é sobre fazer parte.

 

Somos colaborativos, ágeis, plurais, criativos e inovadores. Somos MJV! 

 

Saiba mais em Quem Somos: https://www.mjvinnovation.com/pt-br/quem-somos/


RESPONSIBILITIES AND ASSIGNMENTS


\Estamos procurando um profissional que será responsável por projetar, implementar e otimizar soluções baseadas em IA usando a Plataforma de Inteligência de Dados da Databricks, com foco nos módulos Mosaic AI, como Foundation Model APIs, Mosaic AI Model Training, Mosaic AI Vector Search e Model Serving. O especialista trabalhará em colaboração com cientistas de dados, engenheiros de software e arquitetos para entregar recursos de Gen-AI escaláveis e de alto desempenho, totalmente integrados com os ecossistemas da Databricks e da Azure.



Responsabilidades:

\Projetar e implementar arquiteturas que aproveitem os Modelos Fundamentais da Mosaic AI da Databricks para processamento de linguagem natural, respostas a perguntas e compreensão de documentos;

\Ajustar modelos pré-treinados usando o Mosaic AI Model Training, incorporando dados específicos do domínio armazenados no Lakehouse da Databricks do BID;

\Estruturar e gerenciar capacidades de Vector Search para busca semântica em dados não estruturados (ex.: relatórios DELTA, documentos de projetos);

\Implementar e escalar LLMs usando o Mosaic AI Model Serving, garantindo integração segura e eficiente com APIs externas e interfaces de usuário (como o AVA 2.0);

\Colaborar com engenheiros de dados para otimizar pipelines de ingestão e transformação de dados estruturados e não estruturados;

\Garantir governança de dados e rastreamento de modelos por meio da integração com o Unity Catalog;

\Construir pipelines de prompt engineering que conectem intenções dos usuários a Modelos Fundamentais ou à lógica de geração de consultas SQL;

\Trabalhar com equipes de DevOps para implementar processos de CI/CD para implantação e atualização de modelos;

\Apoiar a implementação de boas práticas de segurança, gerenciamento de custos e monitoramento na plataforma Databricks.


REQUIREMENTS AND QUALIFICATIONS

\Experiência comprovada (3+ anos) trabalhando com Databricks em ambientes corporativos.

\Conhecimento prático sólido dos componentes do Mosaic AI;

\Forte compreensão de Modelos de Linguagem de Grande Escala (LLMs) e como operacionalizá-los em ambientes de nuvem;

\Especialização em Spark, Delta Lake e PySpark para processamento de dados;

\Proficiência em Python, com experiência em frameworks como LangChain, LlamaIndex ou Semantic Kernel;

\Experiência na integração de soluções Databricks com serviços Azure (ex.: Azure Data Lake, Azure Functions, Azure Monitor);

\Familiaridade com SQL e geração dinâmica de consultas por meio de LLMs;

\Compreensão de MLflow, Unity Catalog e boas práticas de governança;

\Experiência com APIs REST, bancos de dados vetoriais e gestão de embeddings.


ADDITIONAL INFORMATION

💪🏽 TotalPass;

🍕 Vale Refeição;

👨🏾‍ 🤝‍👩🏽‍🤝‍👩🏼 Seguro de vida em grupo;

🏨 Plano de saúde e odontológico - Amil;

🗣️ Grupos de idiomas;

✈ People Mobility: damos uma forcinha para pessoas que tem interesse e disponibilidade de atuar em projetos desafiadores em outros estados e países;

💻 Ações de treinamento: palestras, fóruns, trocas e conversas de conhecimentos relativos ao nosso negócio. Estamos em constante conexão para aprender mais e juntos;

💲 Parcerias: quer desconto? Temos um grupo no Workplace onde divulgamos parcerias com instituições de ensino, escolas de idiomas, academias, restaurantes, produtos e outros serviços;

👉 Programa +MJVer: programa interno de indicação onde você indica um colega para trabalhar conosco e se esse relacionamento der match, você ganha um prêmio;

💡 Co-criação: conectamos talentos para gerar soluções completas. Colaboração está no nosso sangue.


Sobre a MJV

A MJV é mais do que uma simples consultoria de tecnologia e inovação. Somos um grupo de mentes diversas, visionárias e determinadas, combinando design, dados e uma mentalidade ágil para oferecer soluções completas, que vão desde a concepção até a implementação de TI.


Nosso legado começou há mais de 25 anos, com o propósito de ajudar empresas a prosperar em suas jornadas de transformação. A MJV é composta por um vasto grupo de pessoas que acreditam no trabalho colaborativo. Aplicamos o Design Thinking, as Metodologias Ágeis e a Sustentabilidade em todos os nossos projetos. A transformação digital também é um dos nossos pilares. Nossa equipe multidisciplinar é formada por designers, engenheiros, publicitários, antropólogos, cientistas de dados, desenvolvedores, empreendedores e muito mais. Também expandimos nossa presença global nas Américas e Europa (Estados Unidos, Inglaterra, França, Itália, Portugal e Colômbia) e abrimos um Laboratório de Inovação na UFRJ (Universidade Federal do Rio de Janeiro).


Se você tem paixão por tecnologia, inovação e deseja fazer a diferença na vida de outras pessoas, venha fazer parte de um time com mais de 1.400 talentos espalhados pelo mundo para transformar negócios e moldar futuros. Fomos certificados com o selo Great Place to Work (GPTW) pelo segundo ano consecutivo.


https://www.mjvinnovation.com/pt-br/


Required profile

Experience

Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Other Skills

  • Creativity
  • Collaboration
  • Problem Solving

AI Specialist Related jobs