AI Agent Engineer (Python Backend)

Data lowongan bersumber dari glints. Tombol “Lamar” mengarahkan Anda ke halaman aslinya.

• Membangun
• pipeline RAG modern

: strategi chunking, hybrid search (semantic + keyword/BM25), reranking, grounding & citation, serta memperlakukan retrieval sebagai tool yang dipanggil agent — bukan sekadar prefetch di awal prompt.

• Merancang dan menjalankan
• evals

: test suite otomatis, LLM-as-judge, regression tracking, dan analisis failure mode, sehingga setiap perubahan pada prompt atau harness dinilai berdasarkan data, bukan asumsi.

• Membangun
• observability

untuk sistem agentic: tracing per langkah, token usage, latency (TTFT maupun total), cost per task, tool error rate, dan deteksi drift perilaku.

• Menyeimbangkan trade-off antara
• reliability, latency, dan cost
• : prompt caching, model routing, budget token, fallback ke model yang lebih ringan, retry/timeout, dan graceful degradation.
• Menerapkan guardrail dan keamanan: mitigasi prompt injection, prinsip least-privilege pada tool, penanganan data PII, allowlist tool, dan approval gate untuk aksi berisiko tinggi.
• Berkolaborasi dengan para pemangku kepentingan (stakeholder) untuk menerjemahkan kebutuhan bisnis menjadi workflow agentic yang terukur dan dapat dievaluasi.
• Menyusun dan memelihara dokumentasi teknis, spesifikasi sistem, serta diagram arsitektur.
• ---
• Kualifikasi Pekerjaan (Job Requirements)
• Wajib
• Minimal lulusan S1 di bidang Ilmu Komputer, Sistem Informasi, Teknologi Informasi, atau AI/Machine Learning.
• Pengalaman kerja
• 3–5 tahun sebagai Python Backend/AI Engineer

, dengan setidaknya 1 tahun pengalaman membangun sistem berbasis LLM atau agent yang berjalan di produksi (bukan sekadar proof of concept atau notebook).

• Python sebagai bahasa pemrograman utama
• terbiasa dengan `asyncio`, type hints, dan Pydantic dalam membangun sistem agentic.
• Memiliki rekam jejak nyata dalam membangun aplikasi berbasis LLM atau AI agent untuk sistem berskala besar.
• Mampu menyusun dan mempresentasikan diagram arsitektur sistem AI (agent workflow, data flow, integrasi API, dll.).
• Bahasa Pemrograman & Framework

- Utama (SYARAT MUTLAK)

• Python
• (async/await, typing, Pydantic)
• Framework Agentic (minimal 1): LangGraph, OpenAI Agents SDK, Claude Agent SDK, Pydantic AI, LlamaIndex, CrewAI, Mastra, atau yang setara — termasuk kemampuan merancang agent loop sendiri tanpa framework bila itu pilihan yang lebih tepat.
• Backend Framework: FastAPI (diutamakan) atau Flask, termasuk streaming response melalui SSE/WebSocket.
• Poin Plus: TypeScript/Node.js, Go, Java
• Agent & Harness Engineering
• Tool use / function calling dan structured output — termasuk kemampuan merancang schema tool yang jelas dan minim risiko salah pakai.
• MCP (Model Context Protocol) — pengalaman membangun maupun mengonsumsi MCP server.

Orchestration: single-agent loop, sub-agent, multi-agent, pola planner–executor — beserta pemahaman kapan pendekatan yang lebih sederhana justru lebih andal.

• State & durability: checkpointing, resume, long-running task, idempotency, serta penanganan kegagalan di tengah proses eksekusi.
• Memory: short-term (percakapan), long-term (vector/dokumen), dan working memory berbasis file atau state eksternal.

Sensors & guardrails: validation loop, output parser, permission/allowlist, sandbox eksekusi (Docker/E2B/Firecracker), dan human-in-the-loop approval.

• Retrieval & RAG
• Strategi chunking dan desain metadata; hybrid search (dense + sparse/BM25) serta reranking.
• Grounding dan citation; evaluasi kualitas retrieval (recall@k, faithfulness, answer relevancy).
• Agentic retrieval, query rewriting, dan multi-hop retrieval.
• Poin plus: GraphRAG, contextual/late chunking, evaluasi retrieval otomatis di dalam CI.
• LLM & AI Platform
• Pengalaman menggunakan LLM API (OpenAI, Anthropic Claude, Google Gemini, dsb.).
• Prompt engineering dan context engineering; pemanfaatan prompt caching.
• Pemilihan model berdasarkan hasil evaluasi, bukan sekadar tren.
• Pemahaman tentang fine-tuning/distillation — termasuk kepekaan untuk menilai kapan hal ini justru tidak diperlukan.
• Database (Minimal Menguasai 1 SQL dan 1 Vector)
• SQL: PostgreSQL (diutamakan) atau MySQL
• Vector / Hybrid Search: pgvector, Qdrant, Milvus, Weaviate, Pinecone, atau Chroma
• NoSQL / Cache (Poin Plus): Redis, MongoDB, Firebase
• DevOps & LLMOps
• Mahir menggunakan Git untuk pengelolaan kode dan kolaborasi tim.

Berpengalaman dalam otomatisasi dan CI/CD pipeline, termasuk menjadikan eval sebagai gate sebelum rilis untuk setiap perubahan prompt/harness.

Terbiasa bekerja dengan Docker dan orkestrasi container.

Berpengalaman melakukan deployment dan monitoring sistem AI di lingkungan produksi: token usage, latency, error rate, tool failure rate, dan cost per task.

• Observability LLM: LangSmith, Langfuse, Braintrust, Arize, atau tracing berbasis OpenTelemetry.
• Nilai Tambah (Nice to Have)
• Pengalaman dengan arsitektur multi-agent dan koordinasi agent secara paralel.
• Pengalaman dengan layanan cloud AI/ML: AWS Bedrock, Vertex AI, atau Azure OpenAI.
• Pengalaman dengan message queue / durable execution untuk orchestration: Redis, Kafka, RabbitMQ, atau Temporal.
• Pengalaman melakukan inference atau self-hosting model: vLLM, Ollama, atau setara.
• Kontribusi di proyek open source pada ekosistem agent/RAG.
• Sertifikasi profesional (AWS Certified, Azure AI Engineer, Google Cloud Professional ML Engineer, dsb.).
• Persyaratan Wawancara (Interview Requirements)

Menampilkan dan menjelaskan diagram arsitektur sistem agentic dari proyek yang pernah ditangani, termasuk lapisan harness-nya (context, tool, memory, orchestration, observability).

Menjabarkan keputusan desain beserta trade-off-nya: pemilihan framework, strategi orchestration, batas otonomi agent, serta pertimbangan cost vs latency vs akurasi.

Menceritakan satu kasus kegagalan agent di lingkungan produksi: bagaimana kegagalan tersebut terdeteksi, ditelusuri, dan diperbaiki secara permanen di level harness — bukan sekadar tambal sulam pada prompt.

Menjelaskan strategi evaluasi yang digunakan: apa yang diukur, bagaimana regresi dicegah, dan bagaimana hasil evaluasi memengaruhi keputusan rilis.

Menunjukkan portofolio atau hasil proyek yang dibangun menggunakan Python dan framework agentic AI.