During learn and experience

۲ مطلب در فروردين ۱۳۹۵ ثبت شده است

Reactive Streams استانداردی برای آینده Stream Processing

با توجه به رشد سریع سیستم های نرم افزاری و افزایش شدید حجم اطلاعات و نیاز به سیستم های real time برای انجام پردازش های سنگین بر روی اطلاعات و جمع آوری اطلاعات مهم از آنها، نیاز به وجود استانداردی برای ارتباط سیستم ها بر پایه stream بسیار دیده می شود. امروزه ابزار ها و framework های فراوانی پردازش های برپایه Stream  را از منابع داده ای مختلف برای ما انجام می دهند ابزار هایی مثل Spark، Kafka، Hadoop و... با استاندارد های خود به پایگاه داده های NoSQL و ... متصل می شوند و در بعضی موارد حتی لازم است این سیستم ها با یکدیگر ارتباط بر پایه Stream داشته باشند.

استاندارد Reactive Streams یک استاندارد مدرن برای متصل کردن سیستم ها و منابع اطلاعاتی برپایه Stream است. به نظر من اهمیت استاندارد Reactive Streams در حال حاضر مانند اهمیت استاندارد JDBC در زمان اوج RDBMS ها بود. در حال حاضر با اینکه Reactive Streams در ابتدای راه است ولی بسیاری از محصولات، ابزار ها و فریم ورک ها در حال تکمیل پشتیبانی خود از استاندارد Reactive Streams هستند و خود را برای آینده آماده می کنند.

در حال حاضر در بین سیستم های پایگاه داده، Mongodb و Kafka و Cassandra و ... در بین فریم ورک ها و ابزار های stream processing سیستم هایی مثل Spark ، کتابخانه ارتباط با دیتابیس Slick در اسکالا، فریم ورک Akka در قالب Akka Stream ، پشتیبانی از Reactive Streams در JDK 9 و بسیاری دیگر از سیستم هایی که نقش بزرگی در دنیای big data و stream processing در حال پشتیبانی از این استاندارد هستند.

نسخه ۱ استاندارد Reactive Streams تمرکز خود را بر روی back pressure، asynchronous و non-blocking بودن قرار داده  ولی احتمالا در آینده مواردی مثل توزیع شدگی و چالش ها آن نیز به این استاندارد اضافه خواهد شد.

تصور یک سیستم large scale که stream processing را را بر مبنای درایور های بر پایه استاندارد Reactive Streams بصورت asynchronous و non-blocking و با کنترل back pressure بین کامپوننت هایی مثل MongoDB، Kafka و Spark انجام می دهد برای تمام کسانی که در این حوزه کار می کنند بسیار هیجان انگیز است.

۱۷ فروردين ۹۵ ، ۲۲:۰۹ ۰ نظر موافقین ۲ مخالفین ۰
سعید زرین فام

سال ۹۴

سال ۹۴ بالاخره تمام شد.سال ۹۴ برای من خیلی دیر گذشت وقتی فکر می کنم میبینم انگار حدود ۳ یا ۴ سال اتفاق برام تو این سال افتاده. شکست ها، پیروزی ها، تنهایی و ... ولی هر چی بوده باید سعی کنم از همشون درس بگیرم و تمام اتفاقات سال ۹۴ رو بکنم توشه و تجربه برای سال ۹۵ و بعد از اون.

یک عادت خوب که در سال ۹۴ دوباره بهش بازگشتم، مطالعه کتاب های غیر کاری و فنی بود که باعث شده حدودا ماهی یک کتاب بخونم (می دونم کمه). یه کار مهم دیگه ای که در سال ۹۴ شروع کردم و در ۹۵ هم باید ادامه پیدا کنه اتمام کارها و نیمه تمام ول نکردن اونهاست که واقعا هم در موفقیت و هم در تمرکز تاثیر گذاره. یک کار دیگه ای هم که دارم سعی میکنم برام به عادت تبدیل بشه، استفاده بهینه از زمانه که برای این کار دارم از Toggl استفاده می کنم.

سال ۹۵ بیشتر زمانم رو برای شرکت بیان روی یک پروژه خفن کار خواهم کرد و با اینکه تصمیم جدایی از رایان سخت بود ولی مثل اینکه سال ۹۴ برای من سال گرفتن تصمیم های سخت بوده (چه در زندگی شخصی و چه کاری!) و از نظر کاری لازم بود همچین تصمیمی بگیرم.

در سال ۹۴ یکسری دوره و کارگاه رایگان در شرکت رایان هم افزا برگزار کردیم که خیلی به دل خودم نشست که به احتمال زیاد در سال ۹۵ هم ادامه خواهد داشت.

اواخر سال ۹۴ یک همکاری ناموفق با آموزشگاه برنامه نویس برای تدریس جاوا و Java EE  داشتم که هر چی میگذره بیشتر خوشحال میشم که باهاشون قطع همکاری کردم!

سال ۹۴ بالاخره اولین پروژه اسکالا عمرم رو هم در یک شرکت استارت زدم و باعث شد پس از چند سال مطالعه بالاخره در عمل یک سیستم با اسکالا تولید کنیم البته بدلایلی هر چه به آخر سال نزدیک می شدیم حضور من در پروژه کمرنگتر میشد و در حقیقت اکثر زحمات پروژه رو امیر عزیز می کشید (و میکشه).

امیدوارم سال ۹۵ باری همه پر از سلامتی و موفقیت باشه و خودم هم بتونم از همه تجربیاتم در سال جدید استفاده کنم و شادتر زندگی کنم.

 

شاد باشید.

 

 

۰۲ فروردين ۹۵ ، ۱۱:۰۵ ۱ نظر موافقین ۲ مخالفین ۰
سعید زرین فام