NVIDIA เปิดตัว Nemotron ชุดข้อมูลสังเคราะห์ด้านการเงินญี่ปุ่น

แนวทาง AI แบบผสมผสานเพื่อสร้างตัวตนชาวญี่ปุ่นโดยอิงตามการกระจายตัวของข้อมูลในโลกความเป็นจริง

Open Data ทลายกำแพงความเป็นส่วนตัวเพื่อปูทางสู่ AI ในภาคการเงิน

การนำข้อมูลจริงมาใช้ในภาคการเงินมักเผชิญกับข้อจำกัดที่เข้มงวด ทั้งกฎระเบียบด้านความเป็นส่วนตัวและการปฏิบัติตามกฎเกณฑ์ต่างๆ การพัฒนา agentic AI ในโดเมนนี้จึงจำเป็นต้องอาศัยข้อมูลสังเคราะห์ที่สามารถลดความเสี่ยงจากการใช้ข้อมูลจริงได้ โดยข้อมูลเหล่านั้นยังต้องสะท้อนภาพประชากร โครงสร้างครัวเรือน และสถานะสินทรัพย์ที่สมจริงเพื่อจำลองสถานการณ์ทางการเงินที่หลากหลาย

Elith และ NVIDIA จึงได้ร่วมกันเปิดตัว Nemotron-Personas-Finance-Japan ซึ่งเป็นส่วนขยายด้านการเงินของชุดข้อมูลโอเพนซอร์ส "Nemotron-Personas-Japan" ถือเป็นชุดข้อมูลตัวตนแบบเปิดชุดแรกในระดับล้านระเบียนที่ผสานสถิติทางการของญี่ปุ่นเข้ากับข้อมูลการเงินครัวเรือนและความฉลาดทางด้านการเงินอย่างเป็นระบบ

ชุดข้อมูลนี้พัฒนาขึ้นโดยใช้ NeMo SDG-PGMs ซึ่งเป็นเฟรมเวิร์กโมเดลกราฟิกเชิงความน่าจะเป็น และ NeMo Data Designer สำหรับสร้างข้อมูลสังเคราะห์ระดับองค์กร โดยได้รับคำแนะนำจากสถาบันการเงินชั้นนำอย่าง Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group, Meiji Yasuda Life Insurance และสมาคม FDUA เพื่อให้ข้อมูลนำไปใช้งานได้จริง

ตัวชุดข้อมูลเผยแพร่ภายใต้ใบอนุญาต CC BY 4.0 ที่อนุญาตให้ใช้ในเชิงพาณิชย์ ช่วยให้นักพัฒนาสามารถสร้างและประเมินผล AI ได้โดยไม่ต้องใช้ข้อมูลลูกค้าจริง ครอบคลุมตั้งแต่การสร้างเอเจนต์สนทนา (conversational agents) ไปจนถึงการจำลองพฤติกรรมลูกค้า นอกจากนี้ชุดสะสม Nemotron-Personas collection ยังทำงานร่วมกับ NeMo User Sim ได้อย่างราบรื่น เพื่อรันการจำลองที่สอดคล้องกับโลกความเป็นจริงได้ทันที

สิ่งที่อยู่ในชุดข้อมูลนี้?

• ตัวตน (personas) ทั้งหมด 9 ล้านชุด (1 ล้านระเบียน x 9 ตัวตนต่อระเบียน) สื่อสารด้วยภาษาญี่ปุ่นที่เป็นธรรมชาติ
• 50 ฟิลด์ต่อระเบียน: ประกอบด้วย 9 ฟิลด์ตัวตน, 11 คุณลักษณะตัวตน และ 30 ฟิลด์บริบทตามสถิติประชากรและแรงงานของรัฐบาล
• โทเคนรวมประมาณ 1.5 พันล้านโทเคน แบ่งเป็นโทเคนตัวตนประมาณ 750 ล้านโทเคน
• ชื่อที่ไม่ซ้ำกันประมาณ 950,000 ชื่อ และหมวดหมู่อาชีพมากกว่า 1,600 หมวดหมู่ ที่สะท้อนแรงงานญี่ปุ่น
• ความครอบคลุมที่หลากหลาย ทั้งด้านภูมิภาค การกระจายสินทรัพย์ พฤติกรรมทางการเงิน และความกังวลในชีวิต
• คุณลักษณะในรูปแบบภาษาธรรมชาติ: ภูมิหลังทางวัฒนธรรม, ทักษะ, ความทะเยอทะยานในอาชีพ, งานอดิเรก และการวางแผนทางการเงิน
• เปิดให้ใช้ฟรี ทั้งในเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์

กระบวนการสร้างข้อมูลสังเคราะห์

ไปป์ไลน์การสร้างข้อมูล

ชุดข้อมูลนี้สร้างผ่าน NeMo Data Designer ซึ่งเป็นระบบ AI แบบผสมผสานที่รองรับการทำ Jinja templating, การตรวจสอบด้วย Pydantic และการลองใหม่โดยอัตโนมัติ โดยมีการใช้โมเดลหลักได้แก่:

• NeMo SDG-PGMs (Apache-2.0): สำหรับสร้างข้อมูลที่มีพื้นฐานทางสถิติที่แม่นยำ
• gemma-4-31B-it (Apache-2.0): สำหรับสร้างเนื้อหาข้อความภาษาญี่ปุ่นที่ไหลลื่น

บริบททางวัฒนธรรมที่เข้มข้นขึ้น

การออกแบบมุ่งเน้นความสอดคล้องกับสถิติประชากรของญี่ปุ่น แต่เพิ่มความละเอียดในส่วนที่จำเป็นต่อการฝึก AI เช่น การจำแนกสาขาวิชาการศึกษาที่ละเอียดขึ้น การเพิ่มอาชีพเฉพาะทางอย่างเจ้าของธุรกิจ และการจำลองช่วงชีวิตที่สถิติมักมองข้าม เช่น ช่วงว่างงานหรือวัยเกษียณ

นอกจากนี้ยังรวมข้อมูลรายได้ระดับครัวเรือน สินทรัพย์จริง และความฉลาดทางดิจิทัลเข้ากับความฉลาดทางด้านการเงิน เพื่อให้ AI สามารถจับภาพโปรไฟล์ผู้บริโภคในยุคสมาร์ทโฟนได้อย่างแม่นยำ

ความเป็นส่วนตัวโดยการออกแบบ (Private By Design)

ข้อมูลทั้งหมดถูกสังเคราะห์ขึ้น 100% ไม่มีการใช้ข้อมูลบุคคลจริงเป็นพื้นฐาน ข้อมูลประชากรและการเงินอ้างอิงจากสถิติทางการและผลสำรวจสาธารณะ ส่วนชื่อถูกกำหนดตามรูปแบบการตั้งชื่อจริงของญี่ปุ่น เพื่อให้มั่นใจว่าชุดข้อมูลนี้ปลอดภัยและลดความเสี่ยงด้านความเป็นส่วนตัวอย่างสูงสุด

ชุดข้อมูลนี้เหมาะสำหรับใคร

เป้าหมายหลักคือทีมสร้าง AI ทางการเงินในญี่ปุ่น ไม่ว่าจะเป็นธนาคาร บริษัทประกัน หรือสตาร์ทอัพที่เกี่ยวข้อง โดยสามารถนำไปใช้สร้างเอเจนต์บริการลูกค้า ประเมินกลยุทธ์การตลาด หรือทำ red-teaming เพื่อทดสอบความปลอดภัยของระบบ AI

สำหรับนักพัฒนาทั่วไป ชุดข้อมูลนี้มีจำนวนตัวตนมากกว่า Nemotron-Personas-Japan ถึง 50% และมีรายละเอียดฟิลด์ข้อมูลมากกว่าสองเท่า ช่วยให้การฝึกฝนและทดสอบโมเดลภาษาญี่ปุ่นมีประสิทธิภาพและละเอียดอ่อนยิ่งขึ้น

การประยุกต์ใช้ AI ในทางปฏิบัติ

• การสนทนาแบบหลายโต้ตอบ (Multi-turn conversation): ใช้ตัวตนเป็นเมล็ดพันธุ์สร้างชุดข้อมูลบทสนทนาที่เหมือนมนุษย์
• การทดสอบอคติและความเป็นธรรม: ประเมินประสิทธิภาพของ AI ในกลุ่มคนแต่ละช่วงอายุ พื้นที่ และระดับเศรษฐกิจ เพื่อให้มั่นใจว่า AI ทำงานได้อย่างเท่าเทียม
• ลดความเสี่ยงของ model collapse: เพิ่มความหลากหลายของข้อมูลเพื่อป้องกันการเสื่อมถอยของประสิทธิภาพโมเดล
• ความเป็นต้นฉบับทางวัฒนธรรม: ลดการพึ่งพาข้อมูลจากฝั่งตะวันตกและสนับสนุนแนวทาง Sovereign AI systems

จับคู่กับ Nemotron-PII-Japan

ในการเปิดตัวครั้งนี้ยังมี Nemotron-PII-Japan ซึ่งรวบรวมเอกสารธุรกิจสังเคราะห์ 100,000 ฉบับที่มีข้อมูลจำลองสำหรับทดสอบระบบตรวจจับและการปกปิดข้อมูลส่วนบุคคล ช่วยให้นักพัฒนาสามารถทดสอบความปลอดภัยของไปป์ไลน์การจัดการข้อมูลได้ครบวงจร

เริ่มต้นใช้งาน

คุณสามารถดาวน์โหลดชุดข้อมูลเพื่อพัฒนา AI ที่เข้าใจวัฒนธรรมญี่ปุ่นผ่านคำสั่ง Python ต่อไปนี้:

from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")

Nemotron-Personas-Finance-Japan มอบพื้นฐานที่สมจริงและคำนึงถึงความเป็นส่วนตัว เหมาะสำหรับการพัฒนา AI agent ที่ต้องการบริบทเฉพาะทางและเข้าถึงวัฒนธรรมท้องถิ่นอย่างแท้จริง