Sistem evaluasi AI untuk CoCounsel Legal generasi berikutnya

Nina Koteva memulai perjalanannya di Thomson Reuters sebagai Ilmuwan Riset Terapan di Thomson Reuters Labs. Lima tahun kemudian, dia pindah ke peran Manajer Produk Teknis, yang pekerjaannya berpusat pada sistem internal. Saat ini, dia membantu memandu pembuatan produk paling ambisius dalam portofolio AI legal perusahaan: CoCounsel Legal generasi berikutnya.

Jalannya pada produk ini mencerminkan alur produk itu sendiri. Apa yang dimulai sebagai pembuktian konsep berpindah ke alfa, kemudian beta, dengan setiap fase meningkatkan pertaruhannya.

“Semula, [CoCounsel] adalah bukti konsep, jadi kami sedang mengerjakan versi 0 banding 1 dari asisten hukum generasi berikutnya, “kata Koteva. “Setelah itu, setelah kami membuktikan konsep tersebut, konsep tersebut akhirnya diserahkan kepada segelintir pelanggan. Dari sana, ia berubah menjadi beta dan benar-benar mengubahnya menjadi sebuah produk.”

Saat ini, fokusnya mencakup pengalaman agen inti CoCounsel Legal dan sistem evaluasi di baliknya, memastikan produk bekerja dengan andal di seluruh tugas yang dilakukan pengacara setiap hari.

Lompat ke ↓
Membangun cara kerja pengacara sebenarnya

---

Umpan balik sebagai alat desain

---

Pelajaran yang didapat dari pembangunan kembali

---

Beralih dari konsep ke keandalan

Membangun cara kerja pengacara sebenarnya

Skala adalah salah satu ujian nyata pertama yang dihadapi Koteva. Pada awal pengembangan, tim produk CoCounsel membangun lebih dari 500 kasus penggunaan untuk menjalankan sistem. Ini merupakan fondasi yang kuat, namun tidak memenuhi kebutuhan pekerjaan.

“Kami melihat bahwa hal tersebut saja tidak cukup untuk mengatasi keragaman dan keragaman tugas yang sebenarnya perlu dilakukan oleh pengacara,” kata Koteva.

Tim menanggapinya dengan memperluas cakupan secara signifikan, bekerja sama dengan para ahli di Thomson Reuters untuk menambah kedalaman bidang-bidang yang penting bagi praktik hukum nyata seperti hukum ketenagakerjaan, investigasi internal, dan pekerjaan yang berhubungan dengan pemerintah.

Pekerjaan liputan tersebut secara langsung membentuk apa yang dapat dilakukan CoCounsel. Semakin luas rangkaian evaluasinya, semakin yakin agen tersebut dapat menangani permintaan dunia nyata di seluruh area praktik.

Daripada menunggu tahap selanjutnya untuk mempelajari apa yang berhasil, tim membangun pengujian berkelanjutan dalam pengembangan CoCounsel sejak awal.

Prototipe awal memberikan kesempatan kepada pakar internal dan pelanggan terpilih untuk berinteraksi dengan sistem secara real time. Saat versi generasi berikutnya dipindahkan ke versi beta, umpan balik tersebut semakin melebar. Pelanggan menggunakannya dalam skenario nyata dan secara aktif memengaruhi tujuan selanjutnya.

“Kami mendapat banyak masukan berharga dari mereka dan mencoba menerapkannya secepat mungkin ke dalam agen inti atau pengalaman aplikasi,” katanya.

Masukan tersebut secara aktif menentukan apa yang akan terjadi selanjutnya. Wawasan penguji mendorong peningkatan yang berarti di seluruh pengalaman, mulai dari membuat interaksi terasa lebih alami dan didorong oleh niat hingga menghadirkan alur kerja utama seperti peninjauan dokumen dan eksplorasi kutipan sepenuhnya dalam produk. Kasus-kasus ini mencerminkan cara kerja pengacara, dan mereka membentuk peta jalan secara real-time.

Pelajaran yang didapat dari pembangunan kembali

Salah satu keputusan yang paling penting adalah membangun kembali CoCounsel Legal dari awal. Pilihan tersebut menciptakan ruang untuk perbaikan yang berarti, dan tim secara cermat memikirkan kecepatan. Pekerjaan hukum menuntut keluaran yang dapat dipercaya, bukan sekedar keluaran yang tiba dengan cepat. Satu permintaan — penelitian, lalu penyusunan, lalu perbandingan dokumen — dapat memerlukan beberapa langkah berurutan. Jika sistem juga memverifikasi kutipan sebelum menampilkan hasilnya, hal ini akan menambah waktu.

“Bagaimana kami menyeimbangkan jenis kepercayaan dalam output dengan latensi adalah hal lain [for improvement],” kata Koteva. Tidak ada jalan pintas dalam hal ini. Melakukan hal yang benar lebih penting daripada menyelesaikannya dengan cepat.

Beralih dari konsep ke keandalan

Bagi Koteva, menyaksikan CoCounsel Legal beralih dari ide awal menjadi sesuatu yang digunakan pengacara dalam pekerjaan sehari-hari adalah bagian yang paling berharga.

“Saya telah menggunakan produk ini sejak pertama kali diluncurkan, jadi melihatnya sampai ke tangan pelanggan dan menjadi produk nyata dengan perjalanan end-to-end sungguh sangat menarik,” katanya.

Faktanya, masukan dari pengujian sangat menarik sehingga Thomson Reuters mempercepat perpindahan CoCounsel Legal ke akses awal lebih cepat dari jadwal. Ini adalah bukti betapa percaya diri produk yang dihasilkan sesuai ekspektasi.

Ketika CoCounsel Legal beralih ke akses awal, fase berikutnya membawa penggunaan yang lebih luas dan, dengan itu, pandangan yang lebih luas tentang bagaimana kinerja produk di seluruh perusahaan dan area praktik nyata.

“Saya pikir hal lainnya [to be excited for] adalah melihat masukan dari pelanggan kami dalam skala yang jauh lebih besar,” kata Koteva.

Sinyal yang lebih luas – dari lebih banyak perusahaan, lebih banyak bidang praktik, dan lebih banyak jenis pekerjaan hukum – adalah awal dari ujian sesungguhnya. Untuk sebuah produk yang telah berkembang sejauh ini, ini adalah tantangan yang sedang dibangun oleh tim.

---

CoCounsel Legal generasi berikutnya dijadwalkan diluncurkan akhir tahun ini. Pelajari lebih lanjut cara kami membangun masa depan AI legal.