در دهه 60 میلادی سایپکین (Sypkin) روشی برای ساده کردن مسائل فوق برای تشخیص پارامترهای بهینه و بکاربردن روش های تپه نوردی برای حل آن، معرفی کرد. تستلین و همکارانش در همان زمان کار، بر روی اتوماتاهای یادگیر را آغاز کردند و مفهوم اتوماتای یادگیر برای اولین بار توسط وی مطرح شد.