An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

Chronon — A Declarative Feature Engineering FrameworkA framework for developing production grade features for machine learning models. The purpose of the blog is to provide an overview of core concepts in Chronon.Nikhil Simha RaproluBackgroundAirbnb uses machine learning in almost every product, from ranking search results to intelligently pricing listings and routing users to the right customer support agents.We noticed that feature management was a consistent pain point for the ML Engineers working on these projects. Rather than focusing on their models, they were spending a lot of their time gluing together other pieces of infrastructure to manage their feature data, and still encounteri…

How Airbnb evolved our data catalog into a platform for managing and governing our data warehouse at scale.By: Erik Ritter, Jiaxin Ye, Sylvia Tomiyama, Woody Zhou, Xiaobin Zheng, Zuzana VejrazkovaIntroductionAt Airbnb, millions of data assets exist in a complex ecosystem to inform our business and improve our products. The Data Management team’s mission is to empower the company to manage its data ecosystem at scale.To do this, we need an accurate understanding of all of the assets in our ecosystem and how they relate to each other. In other words, it requires accurate metadata. Our data management platform Metis, named for the Greek goddess of good counsel, is our solution to ensure that t…

How HTTP Streaming can improve page performance and how Airbnb enabled it on an existing codebaseBy: Victor LinIntroductionYou may have heard a joke that the Internet is a series of tubes. In this blog post, we’re going to talk about how we get a cool, refreshing stream of Airbnb.com bytes into your browser as quickly as possible using HTTP Streaming.Let’s first understand what streaming means. Imagine we had a spigot and two options:Fill a big cup, and then pour it all down the tube (the “buffered” strategy)Connect the spigot directly to the tube (the “streaming” strategy)In the buffered strategy, everything happens sequentially — our servers first generate the entire response into a buffe…

Journey Platform: Low-code notification workflow platform that allows technical and non-technical users to create complex workflows through a simple drag and drop user interface.By: Arjun Raman, Ken Snyder, Mengting LiIntroductionEffective communication hinges on delivering the right message, to the right audience, at the right time. At Airbnb, our goal is to engage our users — both guests and hosts — by delivering inspirational and informational notifications through various channels, such as email or in-app messages.Historically at Airbnb, complex notification workflows have been solely managed by engineering teams, with each workflow requiring the deployment of code. As our platform evol…

How Airbnb leverages AWS, Packer, and Terraform to update macOS on hundreds of CI machines in hours instead of daysBy: Michael Bachand, Xianwen ChenAt Airbnb, we run a comprehensive suite of continuous integration (CI) jobs before each iOS code change is merged. These jobs ensure that the main branch remains stable by executing critical developer workflows like building the iOS application and running tests. We also schedule jobs that perform periodic tasks like reporting metrics and uploading artifacts.Many of our iOS CI jobs execute on Macs, which enables running developer tools provided by Apple. CI jobs for all other platforms at Airbnb execute in containers on Amazon EC2 Linux instance…

My Journey to Airbnb — Michael KinotiSaying no to med school and following a dream all the way to Silicon ValleyBecoming a doctor and trying to make it as a DJ have both crossed Michael Kinoti’s mind at one time or another. Instead, we’re lucky to have Michael (who goes by Kinoti) as Airbnb’s Director of Engineering for the Marketing Technology team. He brings with him over 15 years of industry experience at Microsoft and Uber, as well as a global perspective from his childhood in Kenya. Kinoti is passionate about travel and having a large-scale social impact, qualities that align nicely with Airbnb’s mission and vision. Here’s Kinoti’s story in his own words.Doctor, lawyer, or engineer?Any…

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

Airbnb Categories Blog Series — Part II : ML Categorizationby: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Sherry Chen, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Aaron Yin, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showca…

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

by David Vroom, James Mulcahy, Ling Yuan, Rob GulewichIn this post we discuss Netflix’s adoption of service mesh: some history, motivations, and how we worked with Kinvolk and the Envoy community on a feature that streamlines service mesh adoption in complex microservice environments: on-demand cluster discovery.A brief history of IPC at NetflixNetflix was early to the cloud, particularly for large-scale companies: we began the migration in 2008, and by 2010, Netflix streaming was fully run on AWS. Today we have a wealth of tools, both OSS and commercial, all designed for cloud-native environments. In 2010, however, nearly none of it existed: the CNCF wasn’t formed until 2015! Since there w…

By: Hamid Shahid, Laura Johnson, Tiffany LowSynopsisAt Netflix, we have created millions of artwork to represent our titles. Each artwork tells a story about the title it represents. From our testing on promotional assets, we know which of these assets have performed well and which ones haven’t. Through this, our teams have developed an intuition of what visual and thematic artwork characteristics work well for what genres of titles. A piece of promotional artwork may resonate more in certain regions, for certain genres, or for fans of particular talent. The complexity of these factors makes it difficult to determine the best creative strategy for upcoming titles.Our assets are often create…

By Arthur Gonigberg, Argha CPlaintext PastWhen Zuul was designed and developed, there was an inherent assumption that connections were effectively free, given we weren’t using mutual TLS (mTLS). It’s built on top of Netty, using event loops for non-blocking execution of requests, one loop per core. To reduce contention among event loops, we created connection pools for each, keeping them completely independent. The result is that the entire request-response cycle happens on the same thread, significantly reducing context switching.There is also a significant downside. It means that if each event loop has a connection pool that connects to every origin (our name for backend) server, there wo…

Avneesh Saluja, Andy Yao, Hossein TaghaviIntroductionWhen watching a movie or an episode of a TV show, we experience a cohesive narrative that unfolds before us, often without giving much thought to the underlying structure that makes it all possible. However, movies and episodes are not atomic units, but rather composed of smaller elements such as frames, shots, scenes, sequences, and acts. Understanding these elements and how they relate to each other is crucial for tasks such as video summarization and highlights detection, content-based video retrieval, dubbing quality assessment, and video editing. At Netflix, such workflows are performed hundreds of times a day by many teams around th…

By Jennifer Shin, Tejas Shikhare, Will EmmanuelIn 2022, a major change was made to Netflix’s iOS and Android applications. We migrated Netflix’s mobile apps to GraphQL with zero downtime, which involved a total overhaul from the client to the API layer.Until recently, an internal API framework, Falcor, powered our mobile apps. They are now backed by Federated GraphQL, a distributed approach to APIs where domain teams can independently manage and own specific sections of the API.Doing this safely for 100s of millions of customers without disruption is exceptionally challenging, especially considering the many dimensions of change involved. This blog post will share broadly-applicable techniq…

Migrating Critical Traffic At Scale with No Downtime — Part 2Shyam Gala, Javier Fernandez-Ivern, Anup Rokkam Pratap, Devang ShahPicture yourself enthralled by the latest episode of your beloved Netflix series, delighting in an uninterrupted, high-definition streaming experience. Behind these perfect moments of entertainment is a complex mechanism, with numerous gears and cogs working in harmony. But what happens when this machinery needs a transformation? This is where large-scale system migrations come into play. Our previous blog post presented replay traffic testing — a crucial instrument in our toolkit that allows us to implement these transformations with precision and reliability.Repl…

Netflix has open-sourced Escrow Buddy, which helps Security and IT teams ensure they have valid FileVault recovery keys for all their Macs in MDM.To be a client systems engineer is to take joy in small endpoint automations that make your fellow employees’ day a little better. When somebody is unable to log into their FileVault-encrypted Mac, few words are more joyful to hear than a support technician saying, “I’ve got your back. Let’s look up the recovery key.”Securely and centrally escrowing FileVault personal recovery keys is one of many capabilities offered by Mobile Device Management (MDM). A configuration profile that contains the FDERecoveryKeyEscrow payload will cause any new recover…

by Akshay Garg, Roger QueroIntroductionMaximizing immersion for our members is an important goal for the Netflix product and engineering teams to keep our members entertained and fully engaged in our content. Leveraging a good mix of mature and cutting-edge client device technologies to deliver a smooth playback experience with glitch-free in-app transitions is an important step towards achieving this goal. In this article we explain our journey towards productizing a better viewing experience for our members by utilizing features and capabilities in consumer streaming devices.If you have a streaming device connected to your TV, such as a Roku Set Top Box (STB) or an Amazon FireTV Stick, yo…

By Jose Fernandez, Ed Barker, Hank JacobsIntroductionIn November 2022, we introduced a brand new tier — Basic with ads. This tier extended existing infrastructure by adding new backend components and a new remote call to our ads partner on the playback path. As we were gearing up for launch, we wanted to ensure it would go as smoothly as possible. To do this, we devised a novel way to simulate the projected traffic weeks ahead of launch by building upon the traffic migration framework described here. We used this simulation to help us surface problems of scale and validate our Ads algorithms.Basic with ads was launched worldwide on November 3rd. In this blog post, we’ll discuss the methods …

Tycho AndersenThe Compute team at Netflix is charged with managing all AWS and containerized workloads at Netflix, including autoscaling, deployment of containers, issue remediation, etc. As part of this team, I work on fixing strange things that users report.This particular issue involved a custom internal FUSE filesystem: ndrive. It had been festering for some time, but needed someone to sit down and look at it in anger. This blog post describes how I poked at /procto get a sense of what was going on, before posting the issue to the kernel mailing list and getting schooled on how the kernel’s wait code actually works!Symptom: Stuck Docker Kill & A Zombie ProcessWe had a stuck docker API c…

By Chris Wolfe, Joey Schorr, and Victor Roldán BetancortIntroductionThe authorization team at Netflix recently sponsored work to add Attribute Based Access Control (ABAC) support to AuthZed’s open source Google Zanzibar inspired authorization system, SpiceDB. Netflix required attribute support in SpiceDB to support core Netflix application identity constructs. This post discusses why Netflix wanted ABAC support in SpiceDB, how Netflix collaborated with AuthZed, the end result–SpiceDB Caveats, and how Netflix may leverage this new feature.Netflix is always looking for security, ergonomic, or efficiency improvements, and this extends to authorization tools. Google Zanzibar is exciting to Netf…

Raymond Lee | Software Engineer II; Qingxian Lai | Sr. Software Engineer; Karthik Anantha Padmanabhan | Manager II, Engineering; Se Won Jang | Manager II, EngineeringPhoto by Claudio Schwarz on UnsplashOur mission at Pinterest is to bring everyone the inspiration to create the life they love. Machine Learning plays a crucial role in this mission. It allows us to continuously deliver high-quality inspiration to our 460 million monthly active users, curated from billions of pins on our platform. Behind the scenes, hundreds of ML engineers iteratively improve a wide range of recommendation engines that power Pinterest, processing petabytes of data and training thousands of models using hundred…

Pong Eksombatchai | Principal Engineer; Karthik Anantha Padmanabhan | Manager II, EngineeringImage from https://unsplash.com/photos/w7ZyuGYNpRQPinterest’s mission is to bring everyone the inspiration to create a life they love. We rely on an extensive suite of AI powered products to connect over 460M users to hundreds of billions of Pins, resulting in hundreds of millions of ML inferences per second, hundreds of thousands of ML training jobs per month by just a couple of hundreds of ML engineers.In 2021, ML was siloed at Pinterest with 10+ different ML frameworks relying on different deep learning frameworks, framework versions, and boilerplate logic to connect with our ML platform. It was …

An interview with Behnam Rezaei | Pinterest VP, EngineeringAt Pinterest, we’re on a mission to bring everyone the inspiration to create a life they love. For our employees, this extends further to creating the life and career they love. The Pinterest Engineering Blog team sat down with Behnam Rezaei to get an inside scoop into the Monetization Engineering team, what makes Pinterest different and why now is a great time to join our team.Joining Pinterest in March 2023, Behnam Rezaei is Pinterest’s VP for Monetization — Machine Learning Engineering and Data Science based in San Francisco.Can you share more about your team at Pinterest?What’s the goal of the team? What are the biggest opportun…

Soam Acharya | Data Engineering Oversight; Keith Regier | Data Privacy Engineering ManagerBackgroundBusinesses collect many different types of data. Each dataset needs to be securely stored with minimal access granted to ensure they are used appropriately and can easily be located and disposed of when necessary. As businesses grow, so does the variety of these datasets and the complexity of their handling requirements. Consequently, access control mechanisms also need to scale constantly to handle the ever-increasing diversification. Pinterest decided to invest in a newer technical framework to implement a finer grained access control (FGAC) framework. The result is a multi-tenant Data Engi…

Brian Overstreet | Software Engineer, Observability; Humsheen Geo | Software Engineer, ObservabilityTime series is a critical part of Observability at Pinterest, powering 60,000 alerts and 5,000 dashboards. A time series is an identifier with values where the values are associated with a timestamp. Given the widespread use and critical nature of time series, it’s important to give engineers the ability to adequately express what operations to perform on the time series in a readable, understandable, and efficient manner. In this post, we will cover the background of time series at Pinterest, the goals of designing an expressive time series language, and some examples of how we are using thi…

Divye, Teja, Chen, Sam, Lu, Heng, Kanchi, Rainie, Dinesh, Ashish, Nishant, Pooja | Stream Processing Platform Team | Big Data Systems SRE TeamAt Pinterest, stream data processing powers a wide range of real-time use cases. Our Flink clusters are multitenant and run jobs that concurrently process more than 20M msgs/sec across 12 clusters. Over the course of 2022 and early 2023, we’ve spent a significant period of time optimizing our Flink runtime environment and cluster configurations, and we’d like to share our learnings with you.The quick takeaways?We’ve reduced our costs for the Stream Processing Platform by 40% while increasing the number of onboarded jobs on our platform by 40%Our typic…

Haomiao Li | Software Engineer, Closeup Ranking & Blending; Travis Ebesu | Software Engineer, Closeup Ranking & Blending; Fan Jiang | Software Engineer, Closeup Candidates; Jay Adams | Software Engineer, Pinner Growth & Signals; Olafur Gudmundsson | Software Engineer, Pinner Discovery; Yan Sun | Engineering Manager, Closeup Ranking & Blending; Huizhong Duan | Engineering Manager, Closeup RelevanceIntroductionAt Pinterest, Closeup recommendations (aka Related Pins) is typically a feed of recommended content (primarily Pins) that we serve on any pin closeup. Closeup recommendations generate the largest amount of impressions among all recommendation surfaces at Pinterest and are uniquely criti…

Representation online matters: practical end-to-end diversification in search and recommender systemsBhawna Juneja | Senior Machine Learning Engineer; Pedro Silva | Senior Machine Learning Engineer; Shloka Desai | Machine Learning Engineer II; Ashudeep Singh | Machine Learning Engineer II; Nadia Fawaz | (former) Inclusive AI Tech LeadIntroductionPinterest is a platform designed to bring everyone the inspiration to create a life they love. This is not only our company’s core mission but something that has become increasingly important in today’s interconnected world. As technology becomes increasingly integrated into the daily lives of billions of people globally, it is crucial for online pl…

Qi Li | Software Engineer, Core-Services; Zhihuang Chen | Software Engineer, Core-Services; Ping Jin | Engineer manager, Core ServicesAt Pinterest, a wide range of functionalities and features for various business needs and products are supported by an asynchronous job execution platform called Pinlater, which was open-sourced a few years ago. Use cases on the platform span from saving Pins by Pinners, to notifying Pinners about various updates, to processing images/videos etc. Pinlater handles billions of job executions on a daily basis. The platform supports many desirable features, like at-least-once semantics, job scheduling for future execution, and dequeuing/processing speed control o…

Isabel Tallam | Sw Eng, Real Time Analytics; Charles Wu | Sw Eng, Real Time Analytics; Kapil Bajaj | Eng Manager, Real Time AnalyticsDetecting anomalous events has been becoming increasingly important in recent years at Pinterest. Anomalous events, broadly defined, are rare occurrences that deviate from normal or expected behavior. Because these types of events can be found almost anywhere, opportunities and applications for anomaly detection are vast. At Pinterest, we have explored leveraging anomaly detection, specifically our Warden Anomaly Detection Platform, for several use cases (which we’ll get into in this post). With the positive results we are seeing, we are planning to continue t…

Erika Sun ML Engineer | Advertiser Growth Modeling Team; Ogheneovo Dibie Engineering Manager | Advertiser Growth Modeling TeamPhoto by Jason Blackeye on UnsplashSummaryIn this blog post, we describe a Machine Learning (ML) powered proactive churn prevention solution that was prototyped with our small & medium business (SMB) advertisers. Results from our initial experiment suggest that we can detect future churn with a high degree of predictive power and consequently empower our sales partners in mitigating churn. ML-powered proactive churn prevention can achieve better results than traditional reactive manual effort.IntroductionLike many ads-based businesses, at Pinterest, we are intently f…

User Understanding team: Zefan Fu, Minzhe Zhou, Neng Gu, Leo Zhang, Kimmie Hua, Sufyan Suliman | Software Engineer, Yitong Zhou | Software Engineering ManagerIndex Core Entity team: Dumitru Daniliuc, Jisong Liu, Kangnan Li | Software Engineer, Shunping Chiu | Software Engineering ManagerUnderstanding and responding to user actions and preferences is critical to delivering a personalized, high quality user experience. In this blog post, we’ll discuss how multiple teams joined together to build a new large-scale, highly-flexible, and cost-efficient user signal platform service, which indexes the relevant user events in near real-time, constructs them into user sequences, and makes it super ea…

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

Explore is one of the largest recommendation systems on Instagram. We leverage machine learning to make sure people are always seeing content that is the most interesting and relevant to them. Using more advanced machine learning models, like Two Towers neural networks, we’ve been able to make the Explore recommendation system even more scalable and [...]

Read More...

The post Scaling the Instagram Explore recommendations system appeared first on Engineering at Meta.

[...]

Read More...

The post MSVP is Meta’s first video processing ASIC appeared first on Engineering at Meta.

[...]

Read More...

The post Meta introduces its first-generation AI inference accelerator appeared first on Engineering at Meta.

At Spotify, we run a lot of A/B tests. Most of these tests follow a standard design, where we assign users randomly to control and treatment groups, and then observe the difference in outcomes between these two groups. Usually, the control group, also known as the “holdout” group, retains the current experience, while the treatment [...]

The post Encouragement Designs and Instrumental Variables for A/B Testing appeared first on Spotify Engineering.

As companies mature, it’s easy to believe that the core experience and most user needs have been resolved, and all that’s left to work toward are the marginal benefits, the cherries on top. Cherries on top might add delight and panache, but they rarely cause fundamental shifts in performance and success. And as a business, [...]

The post Experimentation at Spotify: Three Lessons for Maximizing Impact in Innovation appeared first on Spotify Engineering.

TL;DR: Spotify is releasing a new commercial product for software development teams: a version of our homegrown experimentation platform that we’re calling Confidence. Based on everything we’ve learned over the last 10+ years about what it takes to enable experimentation at scale, the platform makes it easy for teams to set up, run, coordinate, and [...]

The post Coming Soon: Confidence — An Experimentation Platform from Spotify appeared first on Spotify Engineering.

In Part 1 of this series, we introduced the within-unit peeking problem that we call the “peeking problem 2.0”. We showed that moving from single to multiple observations per unit in analyses of experiments introduces new challenges and pitfalls with regards to sequential testing. We discussed the importance of being clear about the distinctions between [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 2): Sequential Testing appeared first on Spotify Engineering.

Spotify’s approach to challenges in sequential testing with longitudinal data At Spotify, we’re constantly improving our data infrastructure, which means we can get feedback on experiments earlier and earlier. To allow for early feedback in a risk-managed manner, we use sequential tests to monitor regressions in the experiments. However, when moving toward smaller and smaller [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 1): The Peeking Problem 2.0 appeared first on Spotify Engineering.

The marketing technology landscape has exploded in the last decade. With over 11,000 available solutions, an increase of 7,258% over the last 12 years, marketing organizations have never had more tool options to choose from. In this post, we’ll take a look at how leading vendors in the 2023 Modern Marketing Data Stack are differentiating […]

The post How Leaders of the Modern Marketing Data Stack Differentiate Themselves in a Crowded Market appeared first on Snowflake.

As data continues to become more complex, it is critical to have effective ways to present this information. With the explosion of AI/ML, users want to be able to interact with their data and ML models. However, building such data apps has not been easy. Any data practitioner or product owner will attest to how […]

The post Streamlit in Snowflake: Build Python data apps on the Data Cloud appeared first on Snowflake.

Data is essential to marketing. It’s how we know our audience and measure campaign outcomes. It shows us where to adjust a campaign on the fly, for even better results. But working with data is increasingly complex, and having the right stack of technologies is invaluable. To help marketers understand the rapidly changing world of […]

The post Marketing Success in the Age of AI Requires a Modern Marketing Data Stack appeared first on Snowflake.

Snowflake and Salesforce have built on our existing partnership to unify the full breadth of customer and business data and generate actionable insights for our customers. We are happy to announce the general availability of Bring Your Own Lake (BYOL) Data Sharing with the Snowflake Data Cloud from Salesforce Data Cloud. Organizations can now leverage […]

The post Power Holistic Customer Insights with Salesforce and Snowflake Data Sharing-Based Integration appeared first on Snowflake.

Building your data product is only the beginning. You’ve considered a wide variety of use cases, and settled on the one you’ll focus on. Maybe you’re going to help hospitals predict emergency room visits and optimize their staffing. Or you’re going to enable restaurants to reduce their food waste. Or maybe you just have some […]

The post 6 Tips for Setting the Price of Your Data Product appeared first on Snowflake.

In August, Snowflake released new features around Snowpark for Python, DevOps, pipeline replication, and more. Read on to learn more about the full set of features that were just announced. Snowpark Python Updates Snowpark support for Python 3.9 and 3.10 – general availability Python versions 3.9 and 3.10 in Snowpark are now generally available, including […]

The post New Snowflake Features Released in August 2023 appeared first on Snowflake.

The White House recently released the first National Cybersecurity Strategy, which among other things, holds the stewards of data accountable and shifts liability for insecure software products and services away from end users and toward vendors that are capable of taking actions to prevent bad outcomes. We are thrilled to announce both the availability of […]

The post Understanding Snowflake’s Shared Responsibility Model appeared first on Snowflake.

The first annual Data Cloud Industry Day is here! Data Cloud Industry Day 2023 is a free virtual event on September 28, 2023, dedicated to what’s possible for you and your industry in the world of data. From leading-edge innovations to seamless solutions to your toughest industry-specific challenges, Industry Day provides the insights and information […]

The post Data Cloud Industry Day 2023: Your Event Guide appeared first on Snowflake.

Data privacy regulations are sweeping across the globe, with some 71% of countries worldwide adopting data protection and privacy legislation. This wide adoption of legislation requires organizations that store or process personally identifiable information (PII) to have greater control over that data, and better transparency about how they store it. The European Union’s General Data […]

The post Complying with Quebec’s Data Privacy Laws Is Easier with the Data Cloud appeared first on Snowflake.

How experimenting with Dynamic Tables on Snowflake led to improvements in the Data Vault patterns. We have seen enormous interest in Dynamic Tables for Snowflake. So what exactly are Dynamic Tables and where should they fit into your Data Vault architecture? As a reminder, these are the Data Vault table types: And these are the […]

The post Dynamic Tables for Data Vault appeared first on Snowflake.

Higher education institutions have a lot of plates to spin, and the University of Birmingham is no exception. Following a tough pandemic, the need to digitally transform had never been more pressing. The university needed to modernize its data capabilities to better serve staff, students and researchers—and it used the Snowflake Data Cloud to do […]

The post The University of Birmingham Strives to Graduate to a Data-Centric Culture with Snowflake appeared first on Snowflake.

Snowpark is the set of libraries and runtimes that enables data engineers, data scientists and developers to build data engineering pipelines, ML workflows, and data applications in Python, Java, and Scala. Functions or procedures written by users in these languages are executed inside of Snowpark’s secure sandbox environment, which runs on the warehouse. As part […]

The post Securely Connect to LLMs and Other External Services from Snowpark appeared first on Snowflake.

In today’s hyper-connected world of retail and consumer goods, understanding the customer journey is more critical than ever. As digital disruption and evolving customer expectations continue to shape the future of these sectors, organizations are striving to achieve ‘Shopper 360,’ a comprehensive and integrated view of their shoppers that is the retail equivalent of ‘Customer […]

The post 4 Steps to Shopper 360 Success for Retailers and Consumer Goods Brands appeared first on Snowflake.

Companies want to train and use large language models (LLMs) with their own proprietary data. Open source generative models such as Meta’s Llama 2 are pivotal in making that possible. The next hurdle is finding a platform to harness the power of LLMs. Snowflake lets you apply near-magical generative AI transformations to your data all […]

The post Snowpark ML: The ‘Easy Button’ for Open Source LLM Deployment in Snowflake appeared first on Snowflake.

Apache Iceberg continues to grow in popularity as the industry standard for open table formats. Because of its leading ecosystem of diverse adopters, contributors and commercial offerings, Iceberg helps prevent storage lock-in and eliminates the need to move or copy tables between different systems, which often translates to lower compute and storage costs for your […]

The post Unifying Iceberg Tables on Snowflake appeared first on Snowflake.

What is a dead letter queue (DLQ)? Cloudera SQL Stream builder gives non-technical users the power of a unified stream processing engine so they can integrate, aggregate, query, and analyze both streaming and batch data sources in a single SQL interface. This allows business users to define events of interest for which they need to […]

The post Using Dead Letter Queues with SQL Stream Builder appeared first on Cloudera Blog.

CDO Spotlight

The post Trusted Data: Alchemy For Misinformation appeared first on Cloudera Blog.

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Big data technology has disrupted the marketing profession in countless ways. Therefore, it should be no surprise that the marketing analytics market size is projected to double from $3.2 billion in 2021 to $6.4 billon by 2026. This is especially true when it comes to SEO. We have talked extensively about the benefits of data […]

Data analytics technology has been instrumentally valuable for the marketing profession. Global companies are projected to spend over $9.7 billion on marketing analytics within the next seven years. One of the biggest ways that data analytics is changing marketing is that it can help with marketing research. Last month, we talked about the merits of […]

Welcome to 2023, the age where screens are more than mere displays; they’re interactive communication portals, awash with data and always hungry for more. It’s time to dig deeper into the nexus of Big Data, Analytics, and Kitcast Digital Signage, the new frontier of business intelligence that’s transforming our interaction with the commercial environment, one […]

AI technology has become a huge boon for marketers all over the world. AI has been especially useful in the e-commerce field, which is one of the reasons that e-commerce companies are projected to spend $16.8 billion on machine learning by 2030. One of the reasons more e-commerce companies are using AI is that it […]

Artificial intelligence technology has led to a number of major changes in digital technology. one of the biggest concerns caused by AI is the proliferation of new cybersecurity threats. Fortunately, artificial intelligence can also be highly valuable for protecting against cybersecurity challenges. One poll found that 69% of e hey Cortana it’s usually executives believe […]

Data analytics has had a tremendous impact on the financial sector in recent years. Therefore, it should be no surprise that the market for financial analytics is projected to be worth nearly $19 billion by 2030. There are a ton of great benefits of using data analytics in finance. One of the biggest opportunities to […]

In the fast-paced world of modern football, success on the field requires more than just raw talent and hard work. It demands a strategic approach that leverages every available advantage. This is where data collection steps onto the pitch, revolutionizing football performance analysis in unprecedented ways. The Evolution of Football Analysis From Gut Feelings to […]

Big data technology has substantially changed the nature of business. The data analytics market is expected to grow from $30 billion last year to over $393 billion by 2032. A growing number of companies are using data analytics to handle a variety of important functions, including researching their competitors. We have talked about some of […]

Big data has led to some major changes in the fitness industry. The fitness tracker analytics market size was worth over $44 billion last year. However, there are other ways that data analytics is transforming the fitness industry. One way is by helping evaluate the benefits of various certification programs. Data Analytics Demonstrates the Benefits […]

Data analytics technology has significantly improved the state of finance. The financial analytics market size was worth $7.99 billion last year and is projected to be worth over $18.7 billion by 2030. We have talked about some of the many ways that data analytics technology is changing the state of finance. One of the ways […]

Big data can be used in various industries, including HR. One of the biggest benefits of big data in HR is that it can help bolster employee engagement. As 2023 approaches the final third of its year, the paradigm of workplace happiness is experiencing a deep shift, owing to tremendous changes in work dynamics, employee […]

Artificial intelligence (AI) has emerged as a powerful tool in the field of education, transforming traditional pedagogical methods and paving the way for more personalized and adaptive learning experiences. The use of AI voice over generators, in particular, has proven to be a game changer, providing numerous benefits to learners all over the world. With […]

By analyzing the revenue streams of a particular business, you can gain deep insights about the processes that the company uses to make money. In some cases, this can tell you where funds and time are being wasted, while others might learn that they’re missing out on opportunities to increase efficiency, or even uncover some […]

Vendor Management Systems (VMS) have become an indispensable tool for streamlining procurement and fostering strong vendor relationships. With the advent of the Fourth Industrial Revolution, where the lines between physical, digital, and biological spheres are increasingly blurred, a new transformational player has emerged on the VMS scene: Artificial Intelligence (AI). As AI reshapes traditional operational […]

Reading Time: 5 minutes In a microservice architecture, There are multiple services connecting threw each other and there is always the possibility that the other service being called is unavailable or unable to respond. So, what can we do then? Here resilience4j circuit breaker comes into the picture INTRODUCTION Resilience is essential for any system that needs to function effectively, and the resilience4j Circuit Breaker is no exception. The Continue Reading

The post Introduction to Resilience4j Circuit Breaker appeared first on Knoldus Blogs.

Reading Time: 6 minutes In this blog, we will get the opportunity to come across what Kafka is, and explain how Kafka works from the inside out. How does it replicate data between nodes, what happens if replication fails, and how do consumers scale-out automatically? Insights of Apache Kafka Kafka is a statistics streaming system that permits builders to react to new activities as they arise in real-time. Kafka Continue Reading

The post An Introduction to Kafka’s Internals appeared first on Knoldus Blogs.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient appeared first on Knoldus Blogs.

Reading Time: 9 minutes This is Part 2 of an ongoing series of blogs explaining the use cases of Apache HttpClient(Part-1). This blog is going to take you a step ahead and help you know more about the various use cases such as Authentication, Connection Pooling, Cookie Management, GZIP Compression, Multithreading, Content-Encoding, Redirection, and Retries 1. Authentication It’s important to use secure connections (HTTPS) when sending sensitive information over Continue Reading

The post Use-Cases of Apache HttpClient appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Spring Boot is a popular Java-based framework that provides a rapid development environment for building web applications. One of the most important components of any web application is a database. In this blog, we will discuss how to establish an SQL connection in Spring Boot with JPA. SQL Connection with Spring Boot Spring Boot provides support for the Java Persistence API (JPA), which is Continue Reading

The post MySql connection with Spring boot using JPA appeared first on Knoldus Blogs.

Reading Time: 6 minutes What is Zio? ZIO is a functional programming library for building concurrent and asynchronous applications in Scala. It provides a set of composable and type-safe abstractions for managing side effects, such as IO, error handling, and concurrency primitives like fibers, promises, and queues. ZIO is designed to make it easier to write correct and performant concurrent code by providing a more expressive and composable API Continue Reading

The post Getting started with Zio-Http appeared first on Knoldus Blogs.

Reading Time: 6 minutes Design thinking is a problem-solving approach that places the needs and experiences of the end-user at the center of the process. It is a human-centered approach to innovation and problem-solving that involves empathy, creativity, and experimentation. In project management, design thinking is used to develop innovative solutions to complex problems, with the goal of creating products or services that meet the needs of the end-user. Continue Reading

The post Design Thinking in Project Management appeared first on Knoldus Blogs.

Reading Time: 7 minutes Functional programming helps to solve problems in an easier way. Unlike other programming paradigms, such as imperative programming, functional programming focuses on what needs to be done rather than how it should be done. Functional programming also relies on higher-order functions, which are functions that take other functions as arguments or return functions as results. This allows for the composition of functions, which can simplify code Continue Reading

The post Functional programming appeared first on Knoldus Blogs.

Reading Time: 3 minutes A transition is an animation usually used to move content in or out of view. Transitions help to make a UI expressive and easy to use.

The post Make Transitions in React with Material UI appeared first on Knoldus Blogs.

Reading Time: 3 minutes In the browser, DOM manipulation is expensive and time-consuming, both in mounting and unmounting. Part of what makes React very performant is its Reconciliation algorithm. In short, it watches closely for differences, only updates the DOM when necessary, and tries to update only the parts which need to be changed. In this blog, we will explore how DOM manipulation gets easier with the reconciliation algorithm Continue Reading

The post How Does React updates DOM so Efficiently? appeared first on Knoldus Blogs.

Reading Time: 6 minutes Migrating data on Google Cloud BigQuery may seem like a straightforward task, until you run into having to match old data to tables with different schemas and data types. There are many approaches you can take to moving data, perhaps using SQL commands to transform the data to be compatible with the new schema. However, SQL has limitations as a programming language, being a query-centric Continue Reading

The post Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow appeared first on Knoldus Blogs.

Reading Time: 2 minutes To understand the overlapping of Computer Vision and Augmented Reality, Let’s understand what is computer vision, augumented reality and virtual reality. Computer Vision Augmented Reality Virtual Reality A direct comparison of Augmented Reality and Virtual Reality Application of Augmented Reality and Computer Vision Augmented Reality and Computer Vision in Autonomous Cars Security Monitoring with Augmented Vision and Computer Vision Augmented Reality and Computer Vision in Continue Reading

The post Know how Computer Vision and Augmented Reality overlap each other? appeared first on Knoldus Blogs.

I almost called this blog ‘Things I Would Have Loved to Have Known Before Starting Out on a Career in Data Science’. Given the content of this blog, that sentiment remains true. I think the information contained here will be valuable to anyone looking to meaningfully and concretely familiarize themselves with the data science landscape […]

The post The Future of Data Science: Job Trends, Skills, and Technologies You Need to Know appeared first on WeCloudData.

In this blog post, we illustrate how RLHF can be performed on Amazon SageMaker by conducting an experiment with the popular, open-sourced RLHF repo Trlx. Through our experiment, we demonstrate how RLHF can be used to increase the helpfulness or harmlessness of a large language model using the publicly available Helpfulness and Harmlessness (HH) dataset provided by Anthropic. Using this dataset, we conduct our experiment with Amazon SageMaker Studio notebook that is running on an ml.p4d.24xlarge instance. Finally, we provide a Jupyter notebook to replicate our experiments.

A common use case for Amazon RDS Custom for SQL Server is to offload the undifferentiated heavy lifting of managing the underlying infrastructure of the cluster when running SQL Server Analysis Services (SSAS). SSAS is an analytical data engine, based on the VertiPaq technology which is used in decision support and business analytics.In this post, we explain how to launch and setup Amazon RDS Custom for SQL Server and enable SSAS to run either Tabular or Multi-Dimensional model modes.

Amazon Redshift has added many features to enhance analytical processing like ROLLUP, CUBE and GROUPING SETS, which were demonstrated in the post Simplify Online Analytical Processing (OLAP) queries in Amazon Redshift using new SQL constructs such as ROLLUP, CUBE, and GROUPING SETS. Amazon Redshift has recently added many SQL commands and expressions. In this post, we talk about two new SQL features, the MERGE command and QUALIFY clause, which simplify data ingestion and data filtering.

Stitch Fix is a personalized clothing styling service for men, women, and kids. In this post, we will describe how and why we decided to migrate from self-managed Kafka to Amazon Managed Streaming for Apache Kafka (Amazon MSK).

Introduction Many customers have provisioned resources through the AWS Management Console or different Infrastructure as Code (IaC) tools, and then started using AWS Cloud Development Kit (AWS CDK) in a later stage. After introducing AWS CDK into the architecture, you might want to import some of the existing resources to avoid losing data or impacting […]

In this post, we discuss how United Airlines, in collaboration with the Amazon Machine Learning Solutions Lab, build an active learning framework on AWS to automate the processing of passenger documents. “In order to deliver the best flying experience for our passengers and make our internal business process as efficient as possible, we have developed […]

Customers often ask us how they can create an RDS Custom for SQL Server database in their existing networking infrastructure. They want to ensure that the database servers are created within the security perimeter designed by their networking teams. They also want to understand different components and services involved when creating an RDS Custom for SQL Server instance. In this post, we demonstrate how to create an RDS Custom for SQL Server instance. We also show how to create the required prerequisites within an existing networking infrastructure. Amazon RDS Custom requires these prerequisites to create the necessary resources in your AWS account.

To add to our guidance for optimizing deep learning workloads for sustainability on AWS, this post provides recommendations that are specific to generative AI workloads. In particular, we provide practical best practices for different customization scenarios, including training models from scratch, fine-tuning with additional data using full or parameter-efficient techniques, Retrieval Augmented Generation (RAG), and prompt engineering.

This post is co-written by Lisa Levy, Content Specialist at Satori. Data democratization enables users to discover and gain access to data faster, improving informed data-driven decisions and using data to generate business impact. It also increases collaboration across teams and organizations, breaking down data silos and enabling cross-functional teams to work together more effectively. […]

If you’re using Amazon DynamoDB tables with provisioned capacity, one challenge you might face is how best to handle a sudden request traffic increase (spike) without being throttled. The more sudden and extended the traffic spike, the more likely a table will experience throttles. However, throttles aren't inevitable even for spiky traffic. Here we walk you through eight designs to handle traffic spikes, and present their advantages and disadvantages.

In this post, we explain how to migrate the logins, database roles, users, and object-level permissions from on-prem or Amazon Elastic Compute Cloud (Amazon EC2) for SQL Server to Amazon Relational Database Service (Amazon RDS) for SQL Server using the T-SQL.

AWS Glue interactive sessions offer a powerful way to iteratively explore datasets and fine-tune transformations using Jupyter-compatible notebooks. Interactive sessions enable you to work with a choice of popular integrated development environments (IDEs) in your local environment or with AWS Glue or Amazon SageMaker Studio notebooks on the AWS Management Console, all while seamlessly harnessing […]

In this post, we demonstrate one of the many options that you have to take advantage of AWS’s broadest and deepest set of AI/ML capabilities in a multicloud environment. We show how you can build and train an ML model in AWS and deploy the model in another platform. We train the model using Amazon SageMaker, store the model artifacts in Amazon Simple Storage Service (Amazon S3), and deploy and run the model in Azure.

AWS Glue interactive sessions allow you to run interactive AWS Glue workloads on demand, which enables rapid development by issuing blocks of code on a cluster and getting prompt results. This technology is enabled by the use of notebook IDEs, such as the AWS Glue Studio notebook, Amazon SageMaker Studio, or your own Jupyter notebooks. […]

Amazon CodeCatalyst is a unified software development service for building and delivering applications on AWS. With CodeCatalyst, you can implement your team’s preferred branching strategy. Whether you follow popular models like GitFlow or have your own approach, CodeCatalyst Workflows allow you to design your development process and deploy to multiple environments. Introduction In a previous […]

Managing configurations for Amazon MSK Connect, a feature of Amazon Managed Streaming for Apache Kafka (Amazon MSK), can become challenging, especially as the number of topics and configurations grows. In this post, we address this complexity by using Terraform to optimize the configuration of the Kafka topic to Amazon S3 Sink connector. By adopting this […]

Amazon Relational Database Service (Amazon RDS) for SQL Server now supports X2iedn powered by third-generation Intel Xeon Scalable processors built on the AWS Nitro System and featuring the third-generation Intel Xeon Scalable (Ice Lake) processors. SQL Server workloads are highly dependent on memory. As a result, memory-optimized Amazon Elastic Compute Cloud (Amazon EC2) instances are most commonly used by customers.

In this post, we discuss how to perform aggregations on a DynamoDB table using Amazon DynamoDB Streams and AWS Lambda. The content includes a reference architecture, a step-by-step guide on enabling DynamoDB Streams for a table, sample code for implementing the solution within a scenario, and an accompanying AWS CloudFormation template for easy deployment and testing.

In this post, we show you how you can use the RMAN XTTS functionality to migrate from an Oracle database hosted on Amazon Elastic Compute CLoud (Amazon EC2) to Amazon RDS for Oracle. Combined with Amazon Elastic File System (Amazon EFS) integration, XTTS can help reduce the complexity of your migration strategy, reduce the number and copies of data and backups required (as well as associated storage space consumption), and reduce the application downtime associated with completing the migration of your data.

Multi-modal data is a valuable component of the financial industry, encompassing market, economic, customer, news and social media, and risk data. Financial organizations generate, collect, and use this data to gain insights into financial operations, make better decisions, and improve performance. However, there are challenges associated with multi-modal data due to the complexity and lack […]

This post is written in collaboration with Dima Zadorozhny and Fuad Babaev from VirtuSwap. VirtuSwap is a startup company developing innovative technology for decentralized exchange of assets on blockchains. VirtuSwap’s technology provides more efficient trading for assets that don’t have a direct pair between them. The absence of a direct pair leads to costly indirect trading, […]

Amazon SageMaker Feature Store provides an end-to-end solution to automate feature engineering for machine learning (ML). For many ML use cases, raw data like log files, sensor readings, or transaction records need to be transformed into meaningful features that are optimized for model training. Feature quality is critical to ensure a highly accurate ML model. […]

This is a guest post by Khandu Shinde, Staff Software Engineer and Edward Paget, Senior Software Engineering at Chime Financial. Chime is a financial technology company founded on the premise that basic banking services should be helpful, easy, and free. Chime partners with national banks to design member first financial products. This creates a more […]

Traditionally, customers have used role-based access control (RBAC) to manage entitlements within their applications. The application controls what users can do, based on the roles they are assigned. But, the drive for least privilege has led to an exponential growth in the number of roles. Customers can address this role explosion by moving authorization logic […]

In this post, we discuss an automotive manufacturing information management use case where we store information about components within a vehicle as well as the hierarchy between each of the components. For our automotive use case, we use Amazon DynamoDB to deliver transactional queries, such as component attribute lookups. We will also show you how to use DynamoDB for larger responses such as a recursive query for all the components in a vehicle. While recursive object relationships can be represented in graph databases and possibly traditional RDBMS (with complex joins), these deeper queries can also be represented in DynamoDB.

In this post, we demonstrate how to use the DBMS_CLOUD package to transfer files between S3 buckets and directories in an RDS Custom for Oracle database. We also show how you can access data from Amazon S3 directly using Oracle features such as external tables and hybrid partition tables. The features provided by DBMS_CLOUD could vary between different Oracle releases, so pay close attention to the steps in the post and make sure you reference DBMS_CLOUD in the Oracle Database 19c documentation. To avoid confusion, the option discussed in this post is for RDS Custom for Oracle, not for RDS for Oracle. RDS for Oracle offers S3 integration.

According to the United States Census Bureau, over 7.9 million Americans moved from one state to another in 2021 alone. One of the tasks an individual must complete when moving from state to state is trading in their driver’s license from their former state of residence for a license in their new state of residence. Each state’s Department of Motor Vehicles (DMV) is responsible for the issuance and management of driver’s licenses within the state, and this requires collaboration with other state DMVs to gather important data such as traffic offenses occurring out of state. In this post, we discuss how blockchain can streamline driver’s license issuance and foster deeper collaboration betwee…

Machine learning (ML) is becoming increasingly complex as customers try to solve more and more challenging problems. This complexity often leads to the need for distributed ML, where multiple machines are used to train a single model. Although this enables parallelization of tasks across multiple nodes, leading to accelerated training times, enhanced scalability, and improved […]

This post is co-authored with Richard Alexander and Mark Hallows from Arup. Arup is a global collective of designers, consultants, and experts dedicated to sustainable development. Data underpins Arup consultancy for clients with world-class collection and analysis providing insight to make an impact. The solution presented here is to direct decision-making processes for resilient city […]

Many customers are interested in boosting productivity in their software development lifecycle by using generative AI. Recently, AWS announced the general availability of Amazon CodeWhisperer, an AI coding companion that uses foundational models under the hood to improve software developer productivity. With Amazon CodeWhisperer, you can quickly accept the top suggestion, view more suggestions, or […]

Would I assume it’s a coding question still but higher level ( talk to aglo’s? ) or is it situational like how to debug this error or is it architectural or idk having a trouble because I’d assume if they has one meeting say “coding” in the interview and the other say “problem solving “ I’d assume it’s not live coding. Also another meeting is a design session. So like if your not coding or designing what is the problem to solve ? Also not seeing a lot of this category online to prepare for. submitted by /u/citizenofacceptance2 [link] [comments]

Currently, I have over 3 years of work experience, with one year as a SQL developer and two years as a data analyst. I currently earn a package of Rs 3LPA. How can I increase my salary? in India Any suggestions submitted by /u/Galaxy_Pegasus_777 [link] [comments]

I'm currently enrolled in university as a computer science major and will receive my bachelor's soon, I have some projects under my belt and am proficient in Java. Lately I've been thinking about saving money by enrolling in WGU and getting a master's degree in data analytics, would that be worth it to increase my chances of getting hired, or should I stop at the bachelors and look for a job as a Java developer and shift over to data engineering later? I'm having difficulty figuring out the best entry into this field. This is something that has really been bothering me. Thankful for anyone's advice. submitted by /u/ThatBeachGuyy [link] [comments]

I have been applying for jobs and recently got 3 callbacks from some contractor roles in Faang. It turned out all of them asked SQL hard level questions in the OA Hackerrank screening. Those were very tricky and unique questions, and I had no idea to solve them if I didn’t encounter them before. I have done around 200+ easy/medium SQL, and some hard. Is this a norm where they ask very difficult sql in the oa, then medium level question onsite? How to grind sql hard efficiently? submitted by /u/Old-Astronomer-471 [link] [comments]

We have a data warehouse that uses SQL Server 2019 full version. Just one at the moment, and no more expenses will be approved. ​ There are a lot of serious costs constraints at the company I currently work for. There is a huge love-hate relationship with technology, mostly hate. They don't understand technology and don't want to pay for it. People in crucial positions have carved roles doing things manually becoming emperors of their own very basic Excel workbook systems, which senior management doesn't want to upset. Despite the fact that the data they send is old, extremely redundant, and wrong more often than not, they see that as a fault of IT and technology and not the fact it's all d…

Hi I have a data engineer interview on thursday 27th september. I have 2 years of operations experience and 1.3 years of development experience. I feel less confident regarding it because i desperately want to switch my current job for various reasons. I have prepared things related to my resume and related to new job description but still I feel worried because I lack good communication. How can I be confident? Can anyone help out or provide some tips? submitted by /u/zuffido [link] [comments]

Back in the day when we had to scale an analytics pipeline over a large dataset, Hadoop/spark used to be the go to options and later pyspark became popular. Now if the dataset is big we have some really interesting tools which doesn't require complex setup like spinning up a hadoop cluster. We have tools like Polars which can stream data if the memory is not enough. We have Ibis which helps you write generic analytics pipelines and it supports multiple backends and you can either run these pipeline on a query processing engine or a pyspark cluster or even on Pandas or Polars. You can create your own internal datalake using a couple of parquet files and pair it with Duckdb for superfast anal…

I am a data science student who wants to be in data science but it's just impossible to find an internship or an entry level in DS and I know many people who graduated from the same college with the Sam degree and now are DE and mainly it seems like the better option for the short term, but will it be easy to be transferred to DS jobs or shift from DE to DS ? submitted by /u/Emotional-Rhubarb725 [link] [comments]

What level of skills are expected to get a remote job. Are there any sites for this ? Anyone who have a clue about this please guide me. Any ideas or leads will be appreciated thank you. remote #remotejobs #dataengineering submitted by /u/Datadiver01 [link] [comments]

Hello, We build integrations between ERP and desperate systems for exchange of data. Wondering how this service be monetised and what pricing models can be adopted to offer as a SAAS model. Building integration is not just using existing DIY ETL platforms but need subject matter expertise to understand ERP data especially during transformation. How can infra, technology, manpower, subject matter expertise be clubbed into one pricing model. Can it be data storage+ rows of data extracted and stored? Any ideas is greatly appreciated from the community. submitted by /u/srikon [link] [comments]

Hi, I'm a DE with 2 YOE + 2 YOE working as a DA. I am confident in my skills with SQL, Python, Azure, Databricks & Power BI but have next to no exposure in anything beyond that. What do you think an important concept or tool to add to this repertoire is? I've seen job postings with Git, Terraform, Kubernetes, Airflow, Docker, Airbyte, Kafka and lots more besides, so shill me your tools! Thanks submitted by /u/camikaze007 [link] [comments]

What's your views on using duckdb + S3 as your datalake/datalakehouse/datawarehouse. i.e. raw data sits in S3 -> duckdb to clean raw data and write back to s3 -> duckdb to transform cleaned data and write back to s3 -> load transformed data to postgres -> connect postgres to BI tool -> dashboard(s). ​ Would you say this is good or not-so-good practice? How scalable is this (if at all)? Potentially too many read/writes to s3 for your liking? What would be your good-to data pipeline architecture? submitted by /u/theoriginalmantooth [link] [comments]

A cutting-edge unsupervised method for noise removal, dimensionality reduction, anomaly detection, and moreContinue reading on Towards Data Science »

A step-by-step guide to implementing a neural network from scratchContinue reading on Towards Data Science »

In this first article, we’ll dive into ggml, the fantastic tensor library created by Georgi Gerganov. How does it work? How is the tensor…Continue reading on Towards Data Science »

Comparing model-free and model-based RL methods on a dynamic grid worldPhoto by Saffu on UnsplashRecently, Reinforcement Learning (RL) algorithms have received a lot of traction by solving research problems such as protein folding, reaching a superhuman level in drone racing, or even integrating human feedback in your favorite chatbots.Indeed, RL provides useful solutions to a variety of sequential decision-making problems. Temporal-Difference Learning (TD learning) methods are a popular subset of RL algorithms. TD learning methods combine key aspects of Monte Carlo and Dynamic Programming methods to accelerate learning without requiring a perfect model of the environment dynamics.In this a…

An overview of different fields of study and recent developments in NLPNLP taxonomy. Image by author.This post is based on our RANLP 2023 paper “Exploring the Landscape of Natural Language Processing Research”. You can read more details there.IntroductionAs an efficient approach to understand, generate, and process natural language texts, research in natural language processing (NLP) has exhibited a rapid spread and wide adoption in recent years. Given the rapid developments in NLP, obtaining an overview of the domain and maintaining it is difficult. This blog post aims to provide a structured overview of different fields of study NLP and analyzes recent trends in this domain.Fields of stud…

Organizational processes are a key nontechnical determinant of reliability in ML systems.Continue reading on Towards Data Science »

Create, build an publish a Python Package in 5 minutesContinue reading on Towards Data Science »

Don’t let heuristics undermine your ML, learn to combine themIn today’s data-driven landscape, recommendation systems power everything from social media feeds to e-commerce. While it’s tempting to think that machine learning algorithms do all the heavy lifting, that’s only half the story. Real-world systems often rely on a mix of machine learning and heuristic rules — commonly referred to as product rules, business rules, or simply hacks — to generate the most relevant recommendations.For example:You can’t recommend tracks from the same artist too often;You should include content from subscriptions in the feed, but not overwhelm it;If a user has already disliked a certain category or author…

A label-efficient approach to Concept-based ModelsFrom the AIMLAI workshop paper presented at the CIKM conference: “Now You See Me (CME): Concept-based Model Extraction” (GitHub)Visual abstract. Image by the author.TL;DRProblem — Deep Neural Network models are black boxes, which cannot be interpreted directly. As a result — it is difficult to build trust in such models. Existing methods, such as Concept Bottleneck Models, make such models more interpretable, but require a high annotation cost for annotating underlying conceptsKey Innovation — A method for generating Concept-based Models in a weakly-supervised fashion, requiring vastly fewer annotations as a resultSolution — Our Concept-base…

Exploring What Makes an AI Ethics Toolkit TickAI Ethics Toolkits are everywhere, but do we really understand them?Photo by Todd Quackenbush on Unsplash — It’s time to dismantle an AI Ethics ToolkitIntroductionAs AI systems’ use in applications with critical implications continue to multiply, experts have been calling for more participatory and value-conscious practices when designing these systems. There are a number of benefits that increased stakeholder participation can bring to AI systems design, including making them more inclusive, combating existing biases, and providing accountability. In response, the field of AI ethics has produced a significant number of toolkits in recent years.…

Part 3 of a study on generative AI usage and testingPhoto by Randy Fath on UnsplashGPT-4 is bigger and better than GPT-3. GPT-4 can draft up eloquent speeches, pass standardized exams, and even interpret images. Since its release on March 14, 2023, OpenAI continues to iterate and update GPT-4 to improve its performance for the millions of queries it receives each day. However, is the latest version of GPT-4 in OpenAI’s API, called “gpt-4”, actually better than the initial version from March, called “gpt-4–0314”?From the perspective of a machine learning engineer at Kolena, this article is a continuation in a series of discussions highlighting a testing paradigm for LLMs, comparing the perfo…

Can a language model invent unique fantasy character names? Let’s build it from scratchContinue reading on Towards Data Science »

For the 2nd quarter in a row, Monte Carlo was named the #1 Data Observability Platform by G2. Find out why.

To meet the needs of hypergrowth, 300-person e-commerce startup Whatnot built and scaled a self-serve data culture, powered by Snowflake, Looker, and Monte Carlo for data observability. Here's how.

We reduced the average throughput of data in our Tenable One application pipeline by 33% within the first 3 months. Here’s how.

Lakehouse Monitoring is a great option to monitor a specific table or model, but building reliable systems at scale requires data observability. Here’s why.

Defining features in SQL worked for our feature store…until it didn’t. Here is how and why we decided to take advantage of Snowpark.

Databricks SVP of Products Adam Conway discusses his take on future of the data and AI stack, including data observability, generative AI, and the lakehouse.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Easily detect and resolve data pipeline performance issues to optimize reliability, user experience, and cost with Monte Carlo Performance

LLMs hold tremendous promise, but generating sustainable value will require some thought as to how you organize generative AI teams.

Understand how ETL fits into the broader concept of data pipelines and why it's so popular.

TOCA’s data team got off the sidelines, regained data trust, and maximized performance with an assist from data observability.

The modern data stacks allow you to do things differently, not just at a larger scale. Take advantage of it.

Who said data engineering was hard? Workflows are your key to executing DataOps tasks with reliability and scale. This guide will walk you through it all.

Experts from venture capital, Snowflake, and Monte Carlo discuss how generative AI will benefit data teams…and the challenges they must help solve.

Understanding the past, present, and future of architecting reliable data systems.

Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса:* Activation rate * MAU* ARPU и ARPPU * другие метрики На интенсиве вы узнаете:◾️ Как используют SQL в реальной работе — вы сможете сохранит…

Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg

А вы хотите успешно пройти собеседование на аналитика? 🚀📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября!Для кого наш марафон?👉 Для всех, кто хочет повысить свои шансы на успешное прохождение собеседований на аналитика данных.👉 Для тех, кто уже сталкивался с провальными собеседованиями и тестированиями и хочет избежать таких ошибок в будущем.Почему стоит присоединиться к нашему марафону? 💡◾️ Получите ценную информацию об оценке своих навыков.◾️ Разберетесь с техническими вопросами, которые могут вас ожидать на собеседованиях.◾️ Узнаете секреты успешного прохождения собеседований в ТОП-…

Аналитик-разработчик в области автоматизации процессов ИБЯндексМосква, СПБ #гибридjunior, middleКоманда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ.Что нужно делать:- искать оптимальные пути для автоматизации процессов и метрик ИБ;- создавать автоматизированные реестры данных;- разрабатывать и имплементировать подходы к взаимодействию разных подсистем;- внедрять архитектурные решения по улучшению процессов обеспечения ИБ и мер защиты;- взаимодействовать с разработчиками и менеджерами продуктов и сервисов в рамках автоматизации процессов.Мы ждем, что вы:- знаете ключевые концепции и технологии обеспечения ИБ;- понимаете устройство *nix-с…

Всем привет!Требуется Developer Advocate Data Platform в Yandex CloudПозиция: Developer Advocate Data PlatformЛокация: Москва (гибридный формат работы)Занятость: FulltimeКомпания: Yandex Cloud ⛅️#вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункциональная облачная платформа Yandex Cloud помогает компаниям и частным разработчикам создавать и совершенствовать цифровые сервисы и приложения. С момента запуска в сентябре 2018 года выручка и аудитория Yandex Cloud выросли в десятки раз, а сегодня платформой ежедневно пользуются десятки тысяч клиентов. Продуктовая группа Data Platform включает ClickHouse, PostgreSQL, Greenplum®, OpenSearch, Apache Kafka®, Apache Spark™, Data Transfer и дру…

Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Слоя Хранилища на базе методологий Data Vault 2.0 и Anchor Modeling,и построили детальный слой данных с ее применением.Рекомендуем митап архитекторам и разработчикам систем автоматизации процессов разработки DDS. Это отличная возможность узнать, как оптимизировать процесс разработки DDS, да и в целом расспросить обо всём экспертов по данным в лидере российской нефтегазохимии.Митап пройдет онлайн в следующую среду: успейте зарегистрироватьс…

Airflow 2.7.0Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0Из новых фишечек:— Setup and Teardown tasks— Cluster Activity UI— OpenLineage built-in integrationУлучшения:— Убрали поддержку Python 3.7— В рамках улучшения безопасности Airflow запретили функцию проверки Connections в UI— Новый Graph View теперь используется по умолчанию, старую версию удалили— При обновлении версии рекомендуется накатывать миграции через команду airflow db migrateПолный список можно посмотреть тут.

SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и минусы различных решений и фреймворков.А еще вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников.Посетить конференцию можно за счет компании.Но если покупаете билет самостоятельно, то ищите его на вкладке «Для частных лиц». По промокоду нашего канала он будет дешевле — dataengУзнать подроб…

В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3

В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/.Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил и денормализовал всё.

Podlodka #329 – Data-engineeringЧтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым.🎧 Слушать выпуск

Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных🗓18 июля, 17:00 (МСК, GMT +3)🌐ОнлайнВ программе:✔️ Максим Петров — «ETL Pipelines как микросервисы»Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитическими возможностями. ✔️ Андрей Чучалов — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность»Доклад о том, как выявить ошибочную конфигурацию приложения, рассчитать параметры работы и эффективно использовать ресурсы кластера. ✔️ Владислав Шевченко, Оксана Солдатова — «Как мы управляем данными с помощью каталога данных»Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него…

Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom.За 4 недели вы поймёте, как дизайнить сервис такси, приложение для знакомств и разные другие виды высоконагруженных систем.Научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надёжность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов. А также поймёте, как устроены собеседования в Big Tech, и получите детальный план от…

Ребята из PostHog (сервис продуктовой аналитики) выложили в Open Source интересную балалайку HouseWatch. Это веб-сервис, разработанный на Django и React для управления и мониторинга ClickHouse-кластером. PostHog активный пользователь ClickHouse, у них в блоге есть даже занятный пост про сравнение Apache Druid и ClickHouse. Если вы активно используете ClickHouse в продакшене, то рекомендую присмотреться и попробовать в деле.

Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars— Bert Wagner: Cross-Server Data Joins on Slow Networks with Python— Brandt Bucher: Inside CPython 3.11's new specializing, adaptive interpreter— A. Jesse Jiryu Davis: Consistency and isolation for Python programmers— Eric Snow: A Per-Interpreter GIL: Concurrency and Parallelism with Subinterpreters— Mark Shannon: How we are making CPython faster. Past, present and future— Paolo Melchiorre: A pythonic full-text search— Samuel Colvin: How Py…

Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любимый вопрос, а сколько ты получаешь. Именно, чтобы понять как вообще все работает и какие перспективы есть, а может быть их и нет, как на примере Канадского рынка. Самое интересное, что ЗП в 200-300 в Канаде это реально, если например у вас удаленная работа + фриланс. Но конкуренция дикая, куча народа со всего мира приезжает в Канаду и готовы работать еду за 50т в год в нашей индустрии. Поэтому у меня уже есть свой железобетонный рецепт для …

Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника. Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек это 80к. А 80к в год после налогов, это 4к-4.5к в месяц. Если взять средний рент в большом городе, это будет 2.5к. Если взять тоже самое в ипотеку то это будет 4к. То есть ипотека уже не доступна. Но еще надо первоначальный взнос тысяч 100, а как накопить, если жить от ЗП до ЗП. А ведь есть еще расходы на еду, одежду, связь и развлечения. А если работает только один человек? И самое интересно, компании, которые нанимают в Канаде абсолютно в…

А это мощно - Cisco купил Splunk. Скорей всего будет как с Табло, когда душа продукта погибнет. Splunk был такой же уникальный продукт с большим сообществом, крутыми конференциями, идеями. Да и сам продукт топ. Я даже в 2014 году прошел множество тренингов по нему и сдал экзамены, а потом, когда решил уволиться руководство компании cleverdata стало орать на меня и трясти с меня деньги за обучение обратно😅, хорошо, что обошлось без рукоприкладства😳А в 2015 я даже хотел в Splunk пойти на работу в Торонто, но не прошёл собеседование👩‍💻Наверно такая судьба ждет все крутые продукты😞

В потоке информации про generative AI и LLM затерялась информация про Amazon Alexa. После выхода ChatGPT все колонки превратились в тыкву, даже Алиса была намного умней и веселей с самого начала. Мне как бывшему инженеру Alexa было обидно и я все ждал ну когда же. Вроде наконец они решили добавить LLM и сделать более правильное решение. Прошло уже много времени и видать это не так просто добавить свой LLM, вот и статья вышла https://www.amazon.science/blog/alexa-unveils-new-speech-recognition-text-to-speech-technologies

Давненько деньги никуда не инвестировались, и вот снова видим, как одни компании готовятся выйти на биржу (IPO), в другие компании в data инвестируются млны. А на картинке пост, на котором мы видим как две data компании получили денег почти одновременно.

So, you want to be a data pro with 6 figures salary. First of all you need a proper equipment 💻. But what to do if you can't afford 🍏 MacPro 16" M2? It is actually easier. So, your 1st laptop won't be Mac and you would probably stick to Linux or Windows. You would need the following characteristics for your hardware:- 16 Gb RAM- 512 GB SSD hard drive- 14"-16" inches screen and ideally to hook into external monitor- core i7 or at least i5 processorThe brand new machine with these characteristics would cost a lot. That's why we highly recommend you to go with renewed equipment and choose models among Lenovo ThinkPad or Dell. The cost on Amazon would be around 450$. That is fair deal to start …

Не бойтесь пробовать, или Как я стала программистом в возрасте далеко за 29 - статья и автор были забанены на хабре:)

Привет! Подскажите мне по технике для записывания видео, если есть опыт? Мне бы хотелось немного проапгрейдить вариант, когда я записываю на телефон. По идее нужно:- камера и объектив- микрофон без проводной- свет- может есть еще чего из необходимого? Какие-то громоздкие штуки не хочу рассматривать, в идеале, чтобы было все мобильно.

Крутое интервью Андрея Стыскина, директор в Amazon, ex-CEO Яндекс.ПоискВ этом видео Дмитрий Грац взял интервью у Андрея Стыскина, в котором они поговорили про подход к менеджменту в Amazon и чем он отличался от Яндекса. Андрей поделился своими впечатлениями от процессов найма, онбординга, принятия решений на основе письменной культуры (ревью документов). Напоследок была тема про жизнь в Лос-Анджелесе, куда переехал Андрей в феврале 2023 года. И чем жизнь там отличается от Москвы. В общем, это интересное интервью, после которого я решил в скором времени прочитать книгу "Working backwards", в которой можно подробнее узнать про культуру Amazon (пока я читал токльо Invent and Wander, про котору…

Шо за биг дата?Алексаднр Сайков — мой коллега по дата инженерному цеху, выступил с презентацией про биг дату — что это вообще такое, чем там занимаются, на кой нужон дата инженер и вот это вот всё. Если тема интересует, а маркетинговые видосы с баззвордами надоели — смотрите запись его годного выступления на ютубе!

Сегодня был замечательный день, сразу отражает всю индустрию.Утром слушал о миграции с Azure Databricks на Snowflake. 👏В обед слушал о миграции с AWS Snowflake на Databricks, тут я бы даже сказал это не миграция, а больше как добавление еще одного продукта, который делает тоже самое.😔А под вечер я ковырял Redshift, где делаю прототип миграции AWS Athena на Redshift. 👨‍💻При этом абсолютно везде одинаковые проблемы - дорого/медленно/качество данных/legacy&tech debt. Вообще такие решения принимаются сверху. Меня вообще нигде не спросили, хотят я книгу написал про Snowflake, и 3 года внедрял Databricks, и с Redshift мы вообще знакомы с 2014 года.

"In 20 years only your children will remember that you worked late." - хороший пост от человека, кто был в VP в Amazon. Иногда я пишу - что нужно работать 24/7, чтобы чего-то добиться. Мой график иногда выглядит так:- понедельник - четверг - работаю 7 утра до 12 вечера- пятница обычный день- суббота - 5-6 часов работаю, пока дети в дополнительной школе- воскресенье как правило рабочий деньТо есть получается много. Сложно назвать что я работаю нон-стоп, но это значит я радом с ноутбуком, в каком-то смысле раб своего ноутбука (своих задач), а не наоборот.И многие люди в комментариях возразят - "да ну.... я лучше будут смотреть как дети растут/наслаждаться жизнью/или ваш вариант". С этим не по…

На работе я часто видел ссылки про data contracts и посты на эту тему от Chad Sanderson. С одной стороны темы data consumers/data producers не нова, а с другой стороны раз есть бизнес проблема, то почему бы не предложить решение. Товарищ запустил компанию и полчил 7лям для старта.Уверен тема и проблема уже мусолилась в стартапах. Поэтому аудитория то очень важная составляющая для успешного запуска компании.

Разве может робот написать симфонию? Теперь даНейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент для контент-мейкеров.🔵 Stable Audio — диффузионная модель, которая создает музыку и звуковые эффекты по текстовому описанию. Ее натренировали на датасете из более чем 800 000 файлов, представленных AudioSparx — компанией, продающей стоковые аудио.🔵 Вопрос авторских прав, когда речь заходит о ИИ-контенте, стоит остро — спросите у художников, которые борются против обучения нейросетей на их работах. Использование материалов AudioSparx для тре…

Google Bard: умный ИИ, который поможет вам в любых делахGoogle наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете и в сервисах Google: в почте, среди документов на диске, на Youtube и так далее. Это позволяет Bard выполнять довольно сложные задачи:🔵 найти на Диске ваше резюме и подготовить сопроводительное письмо;🔵 составить маршрут путешествия, выбрав дату, рейс, отель и даже видео Youtube, чтобы убить время в дороге;🔵 написать текст по запросу и перепроверить его достоверность. Этого навыка многим людям не хватает, а у ИИ аж специальная кнопка есть…

Еще один шаг на пути к работе в зарубежной IT-компанииЕсли ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отличная возможность, чтобы его преодолеть, если вы хотите изменить свою профессиональную жизнь и присоединиться к международной команде!Программа обучения сфокусирована на рабочих кейсах и навыках, необходимых для успешного общения с интервьюерами и коллегами:🗣️ СамопрезентацияНаучитесь рассказывать о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.🙌 Работа в командеОвладейте навыками стендапа, план…

Еще больше эмодзи на все случаи жизниВопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, временами их все равно не хватает. Иногда кажется, чтобы идеально выразить мысль, нужен эмодзи с танцующей крысой.Или магистром Йодой.Или сиба-ину в шляпке.К счастью, благодаря нейросетям проблема решенаEmojiGen — приложение, которое генерирует эмодзи по запросу. Оно состоит из двух компонентов:🔵 Stable Diffusion, натренированная на эппловских эмодзи, создает изображение,🔵 Rembg удаляет фон.В результате получаются кастомные эмодзи, которые вы мо…

LlamaIndex — фреймворк для работы с LLM и данными разных форматовОн упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически любые виды данных. LlamaIndex индексирует и анализирует их, чтобы ускорить поиск информации и интеграцию с внешними приложениями и нейросетями.Что это дает на практике?🔵 Удобный интерфейс для взаимодействия с LLM. Можно загрузить в LlamaIndex документ, а затем попросить краткое содержание или задать конкретный вопрос. Фреймворк обработает данные и запрос пользователя, передаст их нейросети, а та уже выдаст ответ.🔵 Объединение разных источни…

Вот бы платили каждый раз, когда вы отвлекаетесь на игры…Думаете, просто это мечты? А вот и нет!Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одинаковых рядом по горизонтали или вертикали и зарабатываете очки.🔵 Игроки не просто убивают время в пробке или на скучном совещании, но и соревнуются за призы от банка и партнеров. За набранные очки выдают кэшбэки, скидки, промокоды, денежные вознаграждения до 300 000 рублей и авиабилеты. В сумме призовой фонд — больше 20 000 000.🔵 Головоломка будет доступна в приложении до 1 октября 2023 года, а 12 октября еще и пройдет розыгрыш призов по 50…

Уходим в WhatsApp?Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть отличия. Ключевое в их позиционировании— это особое внимание защите данных:🔵 Админы не смогут видеть номера телефонов подписчиков, подписчики не могут видеть номера админов, и никто не может видеть, на какие каналы подписаны другие люди.🔵 Сообщения удаляются из каналов через 30 дней.🔵 Владельцы каналов могут скрыть их из каталога, ограничить список подписчиков и запретить делать скриншоты и пересылать сообщения.Кроме тотальной секретности…

Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом. Yandex Scale 2023 будет идти 2 дня:🔵 25 сентября — онлайн-открытие;🔵 26 сентября — основная часть.В расписании мероприятия больше 30 докладов от экспертов компании по темам Data Platform, Infra + K8s, Security, Digital Workplace, Serverless и ML. Смотреть можно онлайн и оффлайн. Если выберете второй вариант, есть шанс лично познакомиться с выступающими и задать все свои вопросы. А после — посетить afterparty!Программа очень насыщенная, так что мы рекомендуе…

Если проанализировать тернии, до звезд доберетесь быстрее!Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, что это было давно, да и вообще — редкость.Всему виной световое загрязнение. Домашние лампы, уличные фонари и фары машин делают жизнь удобнее и безопаснее, но создают над городами световые купола. Последствий для людей и окружающей среды много, и одно и из них — то, что большинство из нас не могут ночью из окна увидеть звездное небо, если только не уедут куда-нибудь подальше.Именно это и пришлось сделать Луисону Дюмону, основателю компании …

Klack: ASMR для пользователей MacЕсть ли что-то более умиротворяющее, чем стук клавиш механической клавиатуры? Есть, конечно, но согласитесь — звук в любом случае приятный.🔜 Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про классное приложение на Mac. Если вас по какой-то причине не устраивает звук вашей клавиатуры (или у вас и вовсе та самая многострадальная «бабочка» из 2016-2019 годов), то Klack создан специально для вас. 🔵 Функция у него одна — генерировать и выдавать через динамики щелчки механических клавиш во время печати. Можно настроить звучание и громкость для достижения идеального ASMR-эффекта.🔵 Приложение платное и, судя по отзывам, стоит своих денег:…

На вопрос «Чем занимается инженер данных?» можно ответить по-разномуМожно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.А можно подробнее и с наглядным примеромBetPawa — беттинговый сервис, который много работает с OLTP, обработкой транзакций в реальном времени. Компания столкнулась с тем, что ее DWH не справляется с постоянным потоком данных. Они обрабатывались долго и не всегда корректно отображались в отчетах, а само хранилище работало медленно, ненадежно и требовало слишком много ресурсов.Мы спроектировали архитектуру для заказчика и выстроили новые процессы инжиниринга. В результате — быстрое, гибко масштабируемое DWH, которое раб…

Нейросеть, которая дала новую жизнь мемам нулевыхВсе выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самые видео «идущего к реке», «женщины, кандибобер которой — не то, о чем вы подумали», а также «отзыв на столовую с чаем, который делает из тебя человека». Только на английском!Как это случилось?Внимание пользователей было буквально приковано к Hey Gen — сервису, который может переводить короткие видео (30-50 секунд) с одного языка на другой (более 100 языков и акцентов). И если бы только переводить, тут нас уже совершенно не удивишь. При пер…

6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолиоИменно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.Студенты курса научатся:🔵 использовать различные инструменты для обработки данных — PostgreSQL, Kafka, Airflow и другие;🔵 проектировать пайплайны, создавать витрины и хранилища;🔵 применять полученные знания на реальных рабочих задачах.Обучение проходит онлайн и рассчитано примерно на 12 часов в неделю — удобно совмещать с работой или другими курсами. Оно включает в себя вебинары, практические задания и тренажеры.Во время обучения наставники рег…

Не любите данные? Вы просто не умеете их готовитьУверены, что все наши подписчики любят данные, но не удержались от этой шутки.Знаете, что такое Mise en place?Это французский кулинарный термин, который переводится как «ставить на место». Так называют подготовку ингредиентов, когда повара заранее отмеряют, нарезают и раскладывают по мискам продукты, чтобы не тратить время потом. Так овощи не сгорят, пока вы режете мясо, или не окажется вдруг в процессе готовки, что какого-то важного компонента не хватает.Этот подход можно использовать не только в кулинарии, но и в других областях, включая работу с данными. Их тоже надо подготовить, почистить и упорядочить. Как это сделать, рассказывает стать…

Если не знаете, как подступиться к SQL — начните с этого гайдаСразу предупреждаем: с телефона ссылку лучше не открывать.Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «но». О нем в конце, а пока расскажем, что интересного там есть:🔵 Самые основы — что такое SQL и как устроены базы данных;🔵 Анатомия запросов с разбором, из чего они состоят, как пишутся и какие вообще бывают;🔵 Доступное описание возможностей SQL — от базовых операций до более сложных концептов вроде CTE, оконных функций и подзапросов;🔵 Практические вопросы на закрепление материала.Гайд представляет собой большую доску разделенную на несколь…

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:sqlpkg installhttps://github.com/nalgeon/sqlpkg-cli/releases/0.1.0

SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипастить SQL руками, так что файлы им не нужны. Возможно, не так уж и ошибался — никто не попросил эту возможность.Но все же странновато для SQL-песочницы не уметь загружать SQL-файлы. Так что теперь она умеет ツЗаодно обновил иконки. Использовал svgrepo.com — опенсорсный репозиторий иконок, очень рекомендую.

Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂

Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов

Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодится.https://sqlpkg.org/Реестр пакетов работает отдельно от менеджера и не требует его. Достаточно найти нужный пакет на сайте, скачать под свою ОС и загрузить стандартными средствами (.load или load_extension).А менеджер пакетов работает отдельно от реестра и тоже не требует его :) Чтобы установить пакет, достаточно указать менеджеру на файл спецификации. Его можно захостить где угодно или даже разместить локально.

Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука

Больше функций в SQL-песочницеSqlime — это опенсорсная SQLite-песочница в браузере.В ней всегда были стандартные функции SQLite: общего назначения, дата-время и математические.А теперь есть намного больше, от регулярных выражений и матстатистики до динамического SQL!По сути, я приделал к песочнице все свои расширения, которые до этого подключались только к «обычному» SQLite (кроме работы с файлами и юникода, который под веб не захотел компилироваться).https://sqlime.org/

sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статистика— UUID— CSVhttps://github.com/nalgeon/sqlean.py

Покрывающий индекс в SQLПокрывающий индекс — самый быстрый способ выбрать данные из таблицы.Например, есть запрос, который выбирает сотрудников с указанной зарплатой:select id, namefrom employeeswhere salary = 90;Если нет индекса, он обходит всю таблицу (так называемый фулскан).Создадим индекс по зарплате:create index employees_idxon employees(salary);Теперь тот же запрос будет находить записи по зарплате в индексе (это быстрее, чем обходить всю таблицу). И для каждой найденной записи будет обращаться к таблице, чтобы получить значения id и name.Но если создать покрывающий индекс:create index employees_idxon employees(salary, id, name);То запрос будет отрабатывать только по индексу, вообще …

Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean

Некоторые из них в SQLite уже были, но с полным набором удобнее

25 текстовых функций в SQLiteС помощью стандартных функций instr, substr и replace можно много чего сделать. Но мне хотелось более полного набора возможностей, как в PostgreSQL, Python или Go. Пришлось добавить.Новое расширение text содержит 25 функций для работы со строками: от slice, contains и count до split_part, trim и repeat. И многие из них совместимы с PostgreSQL!А если добавить функции работы с регулярками из regexp, вас и вовсе будет не остановить ツ

SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним расходы компании от месяца к месяцу в абсолютном выражении:select year, month, expense, expense - lag(expense) over w as difffrom expenseswindow w as ( order by year, month)order by year, month;year mon exp dif2020 1 82 2020 2 75 -72020 3 104 292020 4 94 -102020 5 99 52020 6 105 62020 7 95 -102020 8 110 152020 9 104 -6lag(value, offset) возвращает значение value из строки, отстоящей на offset строк назад от текущей. По умолчанию offset равн…

Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32');-- helloBase64:select encode('hello', 'base64');-- aGVsbG8=select decode('aGVsbG8=', 'base64');-- helloBase85:select encode('hello', 'base85');-- BOu!rDZselect decode('BOu!rDZ', 'base85');-- helloURL-кодирование:select encode('hel lo!', 'url');-- hel%20lo%21select decode('hel%20lo%21', 'url');-- hel lo!И все они теперь доступны в SQLite с помощью расширения crypto.

Как освоить новую профессию во взрослой жизни?В 21 веке многие компании смотрят в первую очередь на ваши навыки, а не на дипломы. Это особенно актуально для развивающихся сфер, за которыми не успевают программы вузов. Одно из таких направлений — аналитика — особенно востребовано в век цифровизации. Получить первый оффер с зарплатой от 70 000 рублей здесь можно и без профильного образования, главное — освоить hard skills и подтвердить их практикой, в том числе через учебные проекты.Станьте незаменимым специалистом с самой полной программой «Аналитик PRO» от Changellenge >> Education! Под руководством действующих экспертов из Google, BCG, Авито, VK и не только вы освоите полный скиллсет анали…

Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса:* Activation rate * MAU* ARPU и ARPPU * другие метрики На интенсиве вы узнаете:◾️ Как используют SQL в реальной работе — вы сможете сохранит…

Вышел перевод книги не для новичков – «Сверхбыстрый Python» (ориг. Fast Python), и вы можете приобрести ее как в бумажном виде, так и в PDF, со специальными промокодами от переводчика на скидку 22-25% (в конце поста)!Книга довольно объемная, с минимумом рисунков и максимумом примеров. Ниже перечислены темы, которые очень полно освещаются в книге:– Профилирование кода на Python с поиском узких мест (cProfile, SnakeViz, line_profiler);– Оптимизация работы базовых структур данных Python: списки, множества и словари и их вычислительная сложность;– Поиск избыточного выделения памяти, правильная оценка памяти, занимаемой объектами;– Ленивые вычисления и генераторы для работы с большими данными;– …

Сколько онлайн-курсов вы уже купили? Я не буду предлагать вам еще один. Наоборот! Приглашаю пройти 98 уроков по BI-аналитике бесплатно. 15 сентября в День открытых дверей своей школы я дам доступ к 5 лучшим курсам:- Power BI с нуля до профи 2023 - Бизнес-дашборды в Excel - Финансовые дашборды на данных 1С - DAX-Power Query- Аналитика личных финансов Изучайте теорию, делайте практику, общайтесь в чате участников и даже получайте обратную связь от кураторов. Оцените качество каждого курса изнутри и сделайте осознанный выбор. Регистрируйтесь, чтобы не пропустить.Реклама. ИП Колоколов Алексей Сергеевич. ИНН 662704837675. erid: 2VtzqwWS15s

Приглашаем на Yandex Scale 2023!Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.Что вас ждет в этом году:🚀6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML;🔊главные новости платформы и индустрии;🎙30+ выступлений экспертов, кейсы клиентов и партнеров;🏢9 стендов на офлайн-выставке;🤝Нетворкинг: не упустите возможность встретиться с руководителями разработки и задать им все интересующие вас вопросы.📅 В этом году конференция будет проходить два дня:25 сентября – онлайн: от…

🗣 Сегодня в рекомендациях авторский курс про интеграции и архитектуру с практикой. Курс для тех, кто • хотел бы улучшить свои навыки в проектировании архитектуры и интеграций веб-сервисов• нацелен стать хард-скиловым IT аналитиком Middle+—————▫️научитесь выбирать стиль интеграции под вашу задачу;▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);▫️поймете как правильно собирать требования и моделировать в UML;▫️подготовитесь к собеседованию, решив более 100 тестов;▫️разработаете свой API на Python.—————🟢вы получаете большую базу фундаментальных знаний, доступ к урокам останется навсегда 💡• Всю программу и отзывы смотр…

https://habr.com/ru/companies/yandex/articles/760448/AppMetrica зарелизила свои SDK в опенсорс

Как Дата саентисту использовать мощность Linux на максимум? Бесполезно ставить устаревшие утилиты, бездумно чистить процессы, и читать бредовые статьи по взлому wi-fi через Aircrack. Подумайте сами, спектр работы с Linux безграничен, вы можете - поднять свой впн за пару команд, собрать информацию о любом человеке c новыми OSINT инструментами, разогнать видеокарту в Linux с помощью опций ядра для значительного повышения мощности и многое другое.Об этом можно узнать здесь. Вообще канал «Linux Academy» единственное место в телеграме, где вы пройдете путь от -"гугл, как выйти из Vim", до профессионала по работе с Linux и хакингу.Подписывайтесь, такие знания в 2023-м году на вес золота: Linux Ac…

14 сентября, 18:00 Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neoflex и Русагро рассмотрят актуальные сложности, тренды и инструменты построения production ML-систем.Темы докладов:◽️ Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts◽️ Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы◽️ Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM◽️ Оптимизация работы видеоаналитических се…

Анализ данных и машинное обучение в облаке Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольшую платформу обработки данных, используйте Data Analytics Virtual Machine.В чем преимущества Data Analytics Virtual Machine в @Selectel:◽Это виртуальные серверы с предустановленным набором инструментов для анализа данных, BI и машинного обучения. Решение подойдет для небольших команд и стартапов и поможет с хранением, обработкой, анализом и визуализацией данных.◽Вам не придется тратить время на установку драйверов для видеокарты, Python и …

Про самовыражение в эпоху продуктивностиДля начала надо сказать, что я совсем не разделяю современные подходы к продуктивности. Мне кажется большинство из них про то, что есть некоторый способ заниматься какой-то деятельностью, и этот способ кем-то наделён некоторым свойством «правильности», достаточно начать применять способ и всё изменится (или станет лучше)И я вижу, что часто этот культ продуктивности переносится на подходы к выражению собственных мыслей или другим видам публичного творчестваМол есть какой-то «правильный» способ вести блог, телеграм-канал, снимать ролики, писать рассказы, записывать подкастыМне кажется, что отчасти это желание найти «правильный» способ возникает из того,…

Подводя итог, экономическое системное мышление – это в первую очередь умение видеть организацию (или какой-то кусок организации, если источники прибыли явно могут быть выделены в отдельные направления) через призму ее продуктов, оргструктуры, процессов, источников получения прибыли (сегментов рынка) и умение эти компоненты рассматривать как экономические объекты, то есть в конечном счете через расходы/доходыА вот что такое «организационное системное мышление», я расскажу в следующем постеЕсли вам интересно читать про тему бизнес-мышления — жмякайте «👍»; если вы не понимаете вообще о чем я пишу и зачем — «🤔»; если считаете, что устраивать опросы через кнопки моветон — «💩»

Сразу предупрежу, что в этом посте будет минимум конвенциональных терминов, наверняка для всего о чём я пишу есть подходящие термины в книгах по разработке продуктов, менеджменту, системной инженерии. Мне важны не термины, а смыслыПродолжу писать про то, что аналитики часто бывают оторваны от бизнеса и поэтому у многих возникает ощущение, что их работа не приносит ценности бизнесуКак я писал выше, это может быть и следствием организационной структуры и целеполагания организации и её внутренней культуры. Но также это про бизнес-ориентированность самого аналитика. Этот навык в зарубежных источниках часто называют business acumen. Google Translate переводит как «деловая хватка», но это не раск…

Возвращаясь к теме с бизнес-мышлениемВ комментариях задали интересный вопрос «Если это структурный вопрос и ценностный, то что с этим делать то можно?». Если упрощать, то вопрос может звучать как «Что делать если в компании в целом с бизнес-мышлением туго и с отношением к продукту как к продукту?»В большинстве случаев, отсутствие в компании продуктовой культуры и ориентации на бизнес-метрики — это следствие плохого целеполагания на уровне менеджмента компании. Из-за невнятного целеполагания, чаще всего в организационной структуре отсутсвует важная деталь: отношения между подразделениями не способствуют к тому, чтобы сотрудники сообща взаимодействовали в интересах бизнеса. В хорошей оргструк…

🚀Стань экспертом в Machine Learning и MLOps!🤖В сентябре в Risoma School стартуют два курса, где вы сможете прокачать навыки для проектов машинного обучения и MLOps:1. MLOps для Data Science и разработки ML моделей - курс для Data Scientists & Analytics, для эффективной работы с экспериментами, моделями и подготовки production решений c FastAPI и Airflow.2. MLOps для Batch Scoring: автоматизация пайплайнов и CI/CD c DVC, MLflow и Airflow - курс для Machine Learning, Data и DevOps инженеров.💻 Вы научитесь:•Управлять экспериментами и жизненным циклом моделей•Работать с продвинутыми сценариями версионирования данных и моделей•Использовать Git и следовать Git-flow •Настраивать мониторинг работы …

https://t.me/ohmydataengineer?boostТут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме?Или, например, видео-кружочки, как вам такой контент?Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях.@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор и никакой рекламы!@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Понты паруса нашиЯ тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.Вот, я например, бейджик на LinkedIn заработал 😝😝😝@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор 😂@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Вопрос подписчикаСреди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается?Честный ответ доступен подписчикам по ссылке тут.В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели.P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂)@ohmydataengineer | Поддержать автора на Patreon | н…

Пятничный юмор 🙄@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пообщаться. Как всегда, выбор за вами, за уши вас никто тянуть не будет, но networking is king 😄Сommunity Day такой же насыщенный, как и другие дни конференции:— Доклады об архитектуре дата-платформ, устройстве баз данных и инструментах работы с данными.— Дискуссии со спикерами и участниками после докладов.— Обсуждение трендов Data Engineering.— Интеллектуальная викторина. Чтобы получить билет, зарегаться надо тут@ohmydataengineer | Поддержать…

В продолжении разговора про рынок РФВы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в гриву.Так вот в процессе подготовки к выступлению, про которое писал в предыдущем посте, вбил я как-то в браузер название чатика, а получил кое-что интересное:http://datajobs.pro/Аггрегатор информации по вакансиям по работе с данными с HH, по технологиям, языкам программирования и т.п. По графикам видно, например, что ходуб не умер 😂, Airflow требуется все чаще, а что-то все меньше и меньше ввиду санкций и ухода вендоров.Покликать, полазит…

Новая роль на конференцииИтак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного выступления - 1 шаг.6 сентября в онлайне поговорим на SmartData про рынок найма, приходите послушать!@ohmydataengineer | Поддержать автора на Patreon |на Бусти

Вопрос к залуВот у меня назрел материал, небольшой, но больше чем классическое сообщение в канале, небольшая статья, на русском языке. Где ее размещать, на каком ресурсе?Habr? Дзен? Пикабу? Telegraph?Посоветуйте в комментариях, пожалуйста!

Труба данных pinned «Я завел OnlyFans Патреон... За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю…»

Я завел OnlyFans Патреон...За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю, я это делаю потому, что мне кажется это актуальным для меня и для вас.Однако вы также могли заметить, что и количество контента на канале немного упало. Это тоже довольно просто пояснить: мне приходится перелопачивать огромное количество шлака, чтобы запостить что-то актуальное. Потому что постить пост в стиле "Топ-10 команд SQL которые я использую в работе каждый день" мне не хочется. Кажется, что я дошел до этапа, когда появление …

Про тимлидствоУ меня было: - полностью распределенная команда (UK, Кипр, Польша, Болгария, Израиль), 7 разных национальностей, хорошо, что говорим на одном языке - английском- с разницей в возрасте от самого молодого до самого возрастного в 17 лет- выросшая с 4 до 11 человек, часть из которых я не нанимал и еще часть в моей команде, но структурно подчиняются другим менеджерам (так сказать, embedded), по скиллам от джунов до сильных сеньоров- причем один из этих людей еще когда-то был менеджером этой команды, но то ли ему не понравилось, то ли не справился, классический олдскульный инженер- 8 лет легаси "хуяк-хуяк и в продакшен", с минимумом документации, сделанное все 4 предыдущими поколени…

Python и ExcelТолько ленивый не написал о том, что питончик подвезли в эксель. Еще больше экселек богу экселек на поддержку!Но в целом, конечно же, новость хорошая.https://support.microsoft.com/en-us/office/introduction-to-python-in-excel-55643c2e-ff56-4168-b1ce-9428c8308545@ohmydataengineer

Залип в этот Miro-борд, очень структурированный подход к потреблению и усвоению знаний. В этом случае хорошее пояснение про Data Meshне удивлен, что автор канала @datanature занимается визуализацией данных 😄За эту "интеграцию" полученое 0 деняк, автор даже не знает, что я сделал этот пост.

Салют,💥 Многие видели письма от dbtLabs об очередном повышении цен на услуги.Для кого-то это повышение будет многократным.В связи с этим, мои рекомендации по альтернативам (для оркестрации dbt jobs):1. Github Actions (если используете Github)2. Gitlab CI (если используете Gitlab)3. Prefect - удобно, приятно, лаконично4. Paradime.io - с радостью бы попробовал на замену dbtCloud🟢 Чем вы пользуетесь, что могли бы рекомендовать и почему?

🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering. Чтобы было честно, начну со своей программы. 🔸Ключевые моменты: — Упор на современные и удобные тулы: Modern Data Stack — Фокус на…

❓ Для кого программа Analytics Engineer:— Те, кто ищет оптимальные способы решения задач и работет "вдолгую"— Кто хочет использовать Modern Data Stack в своем проекте— Кто готов и любит работать руками, погружаться, копать, разбираться— У кого уже есть неплохой опыт (1-3 года, 1-2 компании/проекта)— Кто хочет найти новый проект / место работы с более интересными задачами🟢Особенности и плюсы— Современная программа, топовые инструменты: dbt, Clickhouse, Airbyte, Datalens, Metabase, Cube.js— Вы научитесь решать задачи самым оптимальным путем, это хорошая игра "вдолгую"— Рабочие Labs в Github, половина Labs уже имеют автоматическую проверку правильности выполнения через Github Actions— Опыт раб…

🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering.Чтобы было честно, начну со своей программы.🔸Ключевые моменты:— Упор на современные и удобные тулы: Modern Data Stack— Фокус на создание ценности (бизнес-результат), а не процесс— Кульминация каждых 4-5 занятий - практическая задача (Lab) оформленная как репо в Github— В целом это квинтэссенция моего опыта и знаний, которые я получил на практике в течение последних 8 лет 🔸5 модулей + Capstone project:1. Data Integration: ELT2. DWH Basics3. dbt Deep Dive4. Business Intelligence5. Advanced Toolkit6. Capstone projectПрограмма подробно: https://github.com/kzzzr/analytics-eng…

👀 Интересуюсь, есть ли планы поддержи Clickhouse target в dbtCloud.Как думаете, будет?

Эту проблему удалось решить, уменьшив количество строк, обрабатываемых в одном пакете (обращении к Lambda).Проблема означала, что превышен размер ответа от Lambda Function. Чем больше строк на вход - тем больше ответ.Решение: обрабатывать мЕньшими батчами. MAX_BATCH_ROWS 800Подробнее о конфигурации функций в Redshift по ссылке.

Абсолютно неинформативный лог при ошибке в Amazon Redshift + Lambda UDFЗатруднительно выяснять реальную причину проблемы. Особенно если при ручном запуске на порции данных ошибки нет.#udf #lambda #h3 #redshift

H3 geospatial indexing system - почему это интересно для пользователей?#h3

❓ Что делать если в СУБД отсутствуют необходимые функции и преобразования?🔸Использовать User Defined functions или External functions (они же Lambda functions).Мой кейс - это работа с гео-индексами H3 (не поддерживается в Amazon Redshift):— Агрегация точек в шестигранники-гексагоны— Обезличивание данных при сохранении полезности— Работа с разным масштабом гексагонов (детально - обобщенно)— Построение тепловых карт (Heatmaps)🔸Как это делается в двух словах?— Создаем Lambda функцию - это почти unlimited возможности на любых языках программирования— Регистрируем функцию в SQL: CREATE EXTERAL FUNCTION lambda_udf AS ...— Убеждаемся что всё корректно: конфигурация function, аргументы и типы данны…

❄️ Snowflake - перспективный лидер, и я ищу подводные камниСейчас в процессе тестирования СУБД Snowflake на замену Amazon RedshiftПока выполнено:— Сделал и загрузил дамп данных: Redshift -> S3 (Parquet) -> Snowflake. Для этого написал макрос.— Собрал dev container для работы с dbt— Настроил работу внешних таблиц: EXTERNAL STAGES— Внёс все изменения по синтаксису, чтобы отработал слой моделей staging.*Возникают сложности с:— Регистр колонок и Reserved words в названиях колонок— Работа с JSON Flattening. Синтаксис отличается от Redshift— Работа с внешними таблицами (STAGES, EXTERNAL TABLES) устроена чуть по-другомуПотенциальные проблемные места:— Конечно, Costs. Используются разные VIRTUAL WA…

🌐 Ранее в блоге я делал несколько постов о задачах класса reverse ETL и инструментах для их решения:— Have you ever heard of Operational Analytics?— Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census— Looker action -> Braze (Customer engagement platform)— There is a number of successful companies who aim to provide reverse-ETL as a service#reverse_etl

😎 Уже более полугода использую Census App для задач reverse ETLСегодня получил письмо касательно интеграции синков данных с dbtCloud jobs и уже выполнил все рекомендации.As part of working with dbt Labs to improve dbt Cloud triggers, we have been migrating to webhook-based integration which requires different dbt Cloud permissions.Legacy dbt Cloud Triggers will be disabled in two weeks on August 14th, 2023.To upgrade, the Service Token provided to Census requires at least the developer permission (for Enterprise) or Member permission (for Team) in order to configure new webhooks. You can then provide the new Service Token in your Organization Settings. For more information, see our document…

Слайды моего доклада с [dbt meetup]:🔸 Оркестрация dbt jobs для Dev, Test, Prod без головной боли— Сформулируем требования— Что нужно для запуска dbt jobs?— Какие бывают Environments— Критерии выбора решения для запусков— Обзор решений: devcontainer, dbtCloud, Github Actions, Gitlab CI, Airflow / Prefect / Dagster, Argo Workflows— Матрица оценок по критериям— Выводы: что, в каких случаях и почему лучше использовать Доступны гиперссылки и .gif-анимация.Задавайте вопросы, если появятся.#meetup

⚡️Старт трансляции через 45 минутУ меня много интересного, всех ждуhttps://www.youtube.com/live/RTjHlmyq3_E

After:

Польза вопросов Последние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink. В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким…

О приоритизации задач Дорогой читатель Алексей Махоткин @squadette в коментах к прошлому посту прислал релевантную заметку (спасибо большое! люблю такое, шлите ещё). Мой ограниченный опыт подтверждается богатым (подозреваю) опытом автора из ЖЖ — ошибка довольно распространённая.https://gaperton.livejournal.com/36144.html ⁃ неопределённость в проектах есть всегда; ей можно управлять (хотя бы наблюдать и иметь в виду). ⁃ неопределённость к концу проекта должна снижаться ⁃ мутные задачи делать сложно и неохотно, поэтому есть склонность откладывать их на конец проекта. ⁃ вместе с тем, в сложных задачах скрыто куча потенциальной неопределённости — и лучше бы узнать о них пораньше ⁃ иначе неопред…

Польза вопросовПоследние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink.В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким и застал себя за тем, что «искал ключи где светло, а не там где их мог потерять»Благо дело было перед регулярной встрече 1-1 и на помощь пришёл наш бравый лид (привет, Саша!). Через ряд последовательных вопросов у него получилось упорядочить хаос в моей голове: вспомнить о цели проекта, предстоящих этапах и когда это должно быть сделано.прошли от обратного: дедлайн условно 1 сентября — значит, 31 августа должен быть релиз? нет, релиз нужен мини…

Нет правильных решенийв школе было просто: тебе дают пример, ты что-то там решаешь на листочке и выдаёшь ответ — «42!». И сссразу получаешь обратную связь «правильно / неправильно».дальше всё получается сложнее. возьмём кластер Кликхауса, которому плоховато от нагрузки. Что с этим можно сделать? можно добавить ещё хостов, можно апнуть текущие хосты, можно добавить шардирование. с другой стороны можно проверить нагрузку; что больше грузит систему — запись или чтение? может мы пишем что-то лишнее, т.е. оптимизировать запись. Или у нас Даталенс с Графаной спамят по стопицот одинаковых запросов в секунду?здесь нет «правильного» ответа. По-хорошему надо бы зарыться в логи и разобраться что проис…

#послушано 🎧 Rework: AI! GPT! What a time to be alive!речи фаундеров 37 Signals просто как бальзам на мою fomo-душу! Для тех, кто переживает, что «поезд AI ушёл» и его уже не догнать, ребята предлагают взглянуть с другой стороны: в этой отрасли настолько быстро всё меняется, что период полураспада навыков — 48 часов! Если вы были мастером по MidJourney версии 3, то в пятой версии уже всё поменялось и буквально надо вкатываться заново. Поэтому можно смело начинать вкатываться с версии 5 (или 10!) — и все будут примерно на том же уровне.Главный совет от ребят — Have fun!Apple Podcasts🎧 Moscow Python: Пайтон в мире анализа данныхМой бывший СТО из агентства Epoch8 — Андрей Татаринов — заглянул …

ClickHouse: стриминг для бедныхдостался в поддержку проект по реалтайм обработке данных на основе КХ — чем больше в него погружаюсь, тем больше он нравится!смысл простой: из брокера сообщений инсёртим данные в КХ и там через материализованные представления раскладываем их в одну широкую денормализованную витрину.на выходе получаем основные данные для аналитики бизнеса с задержкой в единицы секунд для основных атрибутов и доезд остальных по мере поступления. вообще Кликхаус мне представляется как кладезь интересных технических решений. По мере погружения проект отметил два пункта, почему такой проект в принципе работает: 1. колоночное хранение 2. движки таблиц семейства MergeTree 3. матвьюхи…

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

там завтра наши хэды из платформы данных будут рассказывать как ворочать петабайтами в YTsaurus (он же Ыть, он же а-ля Хадуп)https://t.me/ytsaurus_ru/2869

👆 Минутка кибербезопасностиРегулярно появляются новости, что взломали очередную компанию, поэтому тема актуальная. Кажется, что проблема где-то на другом уровне, но часто взломы начинаются с отдельного человека, который решил, что qwerty — сильный и надёжный пароль.В подкаст «Запуск завтра» пришёл хакер-предприниматель, компания которого проводит аудит безопасности: за деньги пытаются сломать компании с последующим отчётом и предложениями по улучшению.кулстори: для одной компании делали аудит, сделали скан и нашли забытый всеми почтовый сервис, торчащий наружу. Спарсили с Линкедина сотрудников, сгенерерили почтовые адреса и по всем прошлись проверкой на базовые пароли — нашёлся один с услов…

🤓 data-архитектуры: Lamda vs Kappaпо рабочей необходимости въезжаю в тему стриминга данных, пытаюсь вникнуть в тамошние концепции, основные проблемы и методы их решения. Первая тема на пути — базовые отличия обработки данных батчами и на непрерывном потоке.батчинг — это просто и надёжно: тащишь все данные за какой-то период (для надёжности — с нахлёстом) и пересчитываешь спокойно произвольный период в прошлое по мере доезда всех данных. Получается консистентно, но вчера.стриминг — это быстро, но сложно: данные льются потоком, их надо успевать читать и записывать. Если воркер упал, что происходит с данными? если для трансформации нужен стейт или джойн, то сколько держать событие в памяти? по…

#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета. Потом была пауза в развитии и вернулся к разработке в 2011, чтобы в следующем году уже на основе Кликхауса вышла Метрика 2.0Постепенно соседние отделы тоже интересовались возможностью быстро обрабатывать тонны логов и Кликхаус распространялся внутри Яндекса. В 2016 решили выложить КХ в опенсорс — были опасения про безопасность, но плюсы этого решения оказались существеннее. А недавно КХ отделился совсем и стал стартапом с завидной оценкой…

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

потрёпанный жизнью книжным клубом Кабанчик

Summary

A significant amount of time in data engineering is dedicated to building connections and semantic meaning around pieces of information. Linked data technologies provide a means of tightly coupling metadata with raw information. In this episode Brian Platz explains how JSON-LD can be used as a shared representation of linked data for building semantic data products.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that finds data quality issues before the code and data are deployed to production. Datafold leverages data-diffing to compar…

Summary

Data systems are inherently complex and often require integration of multiple technologies. Orchestrators are centralized utilities that control the execution and sequencing of interdependent operations. This offers a single location for managing visibility and error handling so that data platform engineers can manage complexity. In this episode Nick Schrock, creator of Dagster, shares his perspective on the state of data orchestration technology and its application to help inform its implementation in your environment.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes t…

Summary

Cloud data warehouses and the introduction of the ELT paradigm has led to the creation of multiple options for flexible data integration, with a roughly equal distribution of commercial and open source options. The challenge is that most of those options are complex to operate and exist in their own silo. The dlt project was created to eliminate overhead and bring data integration into your full control as a library component of your overall data system. In this episode Adrian Brudaru explains how it works, the benefits that it provides over other data integration solutions, and how you can start building pipelines today.

Announcements

Hello and welcome to the Data Engineering Podca…

Summary

Data persistence is one of the most challenging aspects of computer systems. In the era of the cloud most developers rely on hosted services to manage their databases, but what if you are a cloud service? In this episode Vignesh Ravichandran explains how his team at Cloudflare provides PostgreSQL as a service to their developers for low latency and high uptime services at global scale. This is an interesting and insightful look at pragmatic engineering for reliability and scale.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out o…

Summary

Generative AI has unlocked a massive opportunity for content creation. There is also an unfulfilled need for experts to be able to share their knowledge and build communities. Illumidesk was built to take advantage of this intersection. In this episode Greg Werner explains how they are using generative AI as an assistive tool for creating educational material, as well as building a data driven experience for learners.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship …

Summary

Data pipelines are the core of every data product, ML model, and business intelligence dashboard. If you're not careful you will end up spending all of your time on maintenance and fire-fighting. The folks at Rivery distilled the seven principles of modern data pipelines that will help you stay out of trouble and be productive with your data. In this episode Ariel Pohoryles explains what they are and how they work together to increase your chances of success.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete …

Summary

As businesses increasingly invest in technology and talent focused on data engineering and analytics, they want to know whether they are benefiting. So how do you calculate the return on investment for data? In this episode Barr Moses and Anna Filippova explore that question and provide useful exercises to start answering that in your company.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downstream team. You specify the customer…

Summary

All software systems are in a constant state of evolution. This makes it impossible to select a truly future-proof technology stack for your data platform, making an eventual migration inevitable. In this episode Gleb Mezhanskiy and Rob Goretsky share their experiences leading various data platform migrations, and the hard-won lessons that they learned so that you don't have to.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downs…

Summary

Real-time data processing has steadily been gaining adoption due to advances in the accessibility of the technologies involved. Despite that, it is still a complex set of capabilities. To bring streaming data in reach of application engineers Matteo Pelati helped to create Dozer. In this episode he explains how investing in high performance and operationally simplified streaming with a familiar API can yield significant benefits for software and data teams together.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building co…

Summary

Data has been one of the most substantial drivers of business and economic value for the past few decades. Bob Muglia has had a front-row seat to many of the major shifts driven by technology over his career. In his recent book "Datapreneurs" he reflects on the people and businesses that he has known and worked with and how they relied on data to deliver valuable services and drive meaningful change.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enrich…

Summary

For business analytics the way that you model the data in your warehouse has a lasting impact on what types of questions can be answered quickly and easily. The major strategies in use today were created decades ago when the software and hardware for warehouse databases were far more constrained. In this episode Maxime Beauchemin of Airflow and Superset fame shares his vision for the entity-centric data model and how you can incorporate it into your own warehouse design.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of buildi…

Summary

Feature engineering is a crucial aspect of the machine learning workflow. To make that possible, there are a number of technical and procedural capabilities that must be in place first. In this episode Razi Raziuddin shares how data engineering teams can support the machine learning workflow through the development and support of systems that empower data scientists and ML engineers to build and maintain their own features.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly…

Summary

Data transformation is a key activity for all of the organizational roles that interact with data. Because of its importance and outsized impact on what is possible for downstream data consumers it is critical that everyone is able to collaborate seamlessly. SQLMesh was designed as a unifying tool that is simple to work with but powerful enough for large-scale transformations and complex projects. In this episode Toby Mao explains how it works, the importance of automatic column-level lineage tracking, and how you can start using it today.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer dat…

Summary

Architectural decisions are all based on certain constraints and a desire to optimize for different outcomes. In data systems one of the core architectural exercises is data modeling, which can have significant impacts on what is and is not possible for downstream use cases. By incorporating column-level lineage in the data modeling process it encourages a more robust and well-informed design. In this episode Satish Jayanthi explores the benefits of incorporating column-aware tooling in the data modeling process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehous…

Summary

Data engineering is all about building workflows, pipelines, systems, and interfaces to provide stable and reliable data. Your data can be stable and wrong, but then it isn't reliable. Confidence in your data is achieved through constant validation and testing. Datafold has invested a lot of time into integrating with the workflow of dbt projects to add early verification that the changes you are making are correct. In this episode Gleb Mezhanskiy shares some valuable advice and insights into how you can build reliable and well-tested data assets with dbt and data-diff.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack…

Our fifth season dives into large language models (LLMs), from understanding the internals to the risks of using them and everything in between. While we're at it, we'll be enjoying our morning brew.In this session, we interviewed Chengyin Eng (Senior Data Scientist, Databricks), Sam Raymond (Senior Data Scientist, Databricks), and Joseph Bradley (Lead Production Specialist - ML, Databricks) on the best practices around LLM use cases, prompt engineering, and how to adapt MLOps for LLMs (i.e., LLMOps).

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Omar Khattab - Computer Science Ph.D. Student at Stanford, creator of DSP (Demonstrate–Search–Predict Framework), to discuss DSP, common applications, and the future of NLP.

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Yaron Singer, CEO of Robust Intelligence, Professor of Computer Science at Harvard University, and guest of Data Brew Season 3 (our first repeat guest!). In this session, we discuss generative AI, the trends toward embracing LLMs, and how the surface area for vulnerabilities in generative AI is much bigger.

For our fifth season, we will dive into LLMs from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed David Talby who is the CTO at John Snow Labs; they help healthcare & life science companies put AI to good use. David's interests include natural language processing, applied artificial intelligence in healthcare, and responsible AI.

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Друзья, мы уходим на каникулы и несколько месяцев не будем выпускать новые эпизоды. Чтобы слушать наш подкаст в перерыве, подписывайтесь на «Запуск++». Это бонусные выпуски подкаста, доступные платным подписчикам. Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0806boap или в закрытом тг-канале Либо/Либо https://cutt.ly/zap0806botg Подписаться только на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Продюсеры — Настя Медведева и Саша Малинина; Звукорежисс…

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Пятая часть всех пользователей интернета на планете приходится на Китай. При этом китайский интернет существует почти обособленно от остального мира. Как так получилось и в чем отличие пользовательского опыта в Китае разбираемся с двумя экспертами — Джеймсом Гриффитсом, британским журналистом и автором книги про файрвол и Леонидом Ковачичем, китаистом, изучающим системы контроля за интернетом в КНР. Реклама. Осваивайте новые стеки и технологии в Яндекс Практикуме: https://clck.ru/34FzoC Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0106epap или в закрытом тг-канале Либо/Л…

Омар Ганиев занимается кибербезопасностью больше 10 лет, а его команда ищет уязвимости в смарт-контрактах и взламывает внутренние сети банков. В этом эпизоде он рассказывает Самату, как забытые сервера приводят к взломам огромных корпораций, почему в блокчейне так много платят за обнаружение уязвимости и какие меры безопасности стоит принимать обычным пользователям. Реклама. Курс «Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/34FzkS Ссылки: Выступление Омара про AI security: https://www.youtube.com/watch?v=RhbKkaibUGQ Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap2505epap или в закрытом тг-канале Либо/Либо https…

Алексей Миловидов занимается проектом ClickHouse больше 10 лет. За это время его разработка стала опенсорсной, вышла из-под крыла Яндекса и привлекла несколько миллиардов инвестиций. В этом эпизоде Алексей вспоминает этот путь и рассказывает, чем сейчас живет компания ClickHouse. Реклама. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/34FzhT Ссылки: Документация ClickHouse: https://clck.ru/34TBES Andy Pavlo: Database Systems CMU: https://clck.ru/34TBFM Книга Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, автор Мартин Клеппманн: https://clck.ru/34TBNE Build Your Own Redis: https://…

Чтобы ваш телефон мог с высокой точностью определить, где вы находитесь, государства вкладывают миллиарды долларов в запуск в космос спутников, а еще строят сложную инфраструктуру на земле. В этом эпизоде эксперт по системам навигации Игорь Веренинов рассказывает, как они устроены и как их делают еще точнее. Реклама. Станьте экспертом Яндекс Практикума: https://clck.ru/34FzZN Эпизод про точное время: https://pc.st/e/0J2gxUNxjHU Эпизод подкаста «Собес» про ChatGPT: https://pc.st/e/4NZyyE2wmPu Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/26vdkmC или в закрытом тг-канале Либо/Либо https://cutt.ly/e6vsNWv Подписаться только на «Запуск…

В подкастах важен хороший звук, и Самат наконец-то решил разобраться, как его получают. В этом ему помогает Илья Лукашев — звукорежиссер и большой энтузиаст микрофонов. Почему поролон для подавления шумов — миф? Как создать эффект шепота в ухо? Нужно ли покупать микрофон для зум-созвонов? Обо всем этом — в новом эпизоде. Реклама. «Курс Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/33pVid Сообщество Ильи: https://vk.com/boring_sound YouTube-канал Ильи: https://www.youtube.com/@ilyalukashev/videos Ссылки: Сравнение направленности микрофонов: https://clck.ru/34Fy89 Бинауральный микрофон: https://clck.ru/34Fy8t Audio test kitchen: https://www.audiotestkitchen.com Gearspace: htt…

Тизер: в этом выпуске дочь Самата учится программировать! 150 тысяч детей учат информатику по программе Яндекс Учебника. Гость сегодняшнего эпизода Влад Степанов рассказал, зачем школьникам питон и как его команда проектирует уроки для детей, которые и так с детства пользуются гаджетами и интернетом. Реклама. «Курс по автоматизации тестирования на Java и Python» от Яндекс Практикума: https://clck.ru/33pVge Информатика от Яндекс Учебника: https://education.yandex.ru/inf/ Рекомендации от гостя: Подкаст про викторианский стиль: https://clck.ru/34C6R7 Игра, разработанная детьми: https://clck.ru/34C6Rm Канал Veritasuim: https://youtube.com/@veritasium (видео с русским дубляжом — https://youtube.…

В этом эпизоде разбираемся, как считывать сигналы с мозга, анализировать активность лобных долей и играть в нейроигры. И главное — зачем всё это нужно. В гостях — Дмитрий Конышев, руководитель разработки в компании Нейроботикс. Реклама. Бесплатный курс от Яндекс Практикума «Подготовка к алгоритмическому собеседованию»: https://clck.ru/33pVgN Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Яндекс Практикум. https://practicum.yandex.ru/ Редакторка — Маша Агличе…

Предсказательные модели, вычисления на суперкомпьютерах и анализ горных пород с помощью нейросетей — вот что получается, когда в консервативную индустрию приходят бодрые айтишные стартапы. Основатель компании Digital Petroleum Дмитрий Коротеев рассказывает, как разрабатывает инструменты, экономящие время и деньги нефтяных гигантов. Релама. Бесплатный курс от Яндекс Практикума «Основы Go»: https://clck.ru/33pVg3 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — …

Как русскоязычной компании сделать имя в Кремниевой долине? В этом выпуске Ира Назарова, СEO Evil Martians, учит Самата нетворкать и критиковать по-американски, а еще рассказывает, как продавать то, что бесплатно. Реклама. Курс от Яндекс Практикума Middle Python-разработчик: https://clck.ru/33pVdS Сайт Злых Марсиан https://evilmartians.com Твиттер марсиан https://twitter.com/evilmartians Эпизод Запуска++ про Ruby можно послушать по подписке. Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zapuskzavtra@gmai…

Зачем знать время с точностью до наносекунд? Что будет, если не «подкручивать» часики? Как секунда может быть отрицательной? Инженер из Facebook Олег Облеухов рассказывает, как люди и компьютеры гонятся за точностью времени. А еще пугает Самата тем, что случится в 2036 году. Реклама. Курс для прокачки навыков фронтенда от Яндекс Практикума: https://clck.ru/33pVdD Эпизод про сотовые сети: https://pc.st/e/2Bw2jdxLn3j Посты Олега в инженерном блоге Facebook: NTP: https://clck.ru/33qvmN Open source time appliance: https://clck.ru/33qvrC Leap second: https://clck.ru/33qvu9 PTP: https://clck.ru/33qvur Leap Second: https://en.wikipedia.org/wiki/Leap_second Подписаться на «Запуск++» в Телеграме: ht…

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

Главный спонсор подкаста курсы Learn Python — https://learn.python.ru/ Этот выпуск посвятили опыту перехода на Pydantic 2 и пригласили Антона Огородникова, Magnit tech, чтобы обсудить: об Антоне почему решили переводить сервис на Pydantic 2 и как это делали

сколько времени и ресурсов ушло на переход

на какие side-эффекты наткнулись

что такое гильдии в Magnit tech

планируют ли вводить тестирование первых версий софта

использовали ли ребята Bump Pydantic

как долго надо ждать прежде чем внедрить софт

ответ на вопрос, реально ли найти работу, если контрибьютера в разные фреймворки (25-30 pr в мес) Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Канал Миши в Telegram — https://t.me/tri…

Новый выпуск посвятили актуальным новостям за август 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Litestar 2.0

поддержка Python в Microsoft Excel PEP 683 – Immortal Objects, Using a Fixed Refcount

PyPi Safety and Security Engineer PyPi теперь требует 2fa для всех новых пользователей Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Этот выпуск посвятили важности архитектуры, как она связана с тестированием и зачем нужны линтеры и пригласили Николай Хитрова, Литрес, чтобы обсудить: почему Elixir

почему Алан Кэй назвал ООП ошибкой

как жить, когда у тебя всё — объект нравится ли Мише actor model что делают, когда всё плохо используют ли подходы из чистой архитектуры

про абстрактную фабрику фабрик

применение MVC и как настраивали процессы в Литрес

тулзы, которые автоматически говорят про сложность

как организовано тестирование

линтеры для тестов

почему не нужно сразу использовать интересные штуки «вся история про архитектуру — это про внесение изменений»

ответ на вопрос про большой граф зависимостей при использовании DI б…

Новый выпуск посвятили актуальным новостям за июль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Pydantic 2 FastAPI 0.100.0

PEP 703 — no GIL

Threads и Python 3.10

PSF ищет человека, который будет заниматься фултайм улучшением процессов разработки CPython

Амазон выкатил поддержку Python 3.11 в лямбдах Дэвид Бизли выпустил бесплатный курс Advanced Python Mastery

PyPI перестает принимать .egg-файлы для загрузки

В PEP 387 – Backwards Compatibility Policy добавлен Soft Deprecation Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/…

Новый выпуск посвятили актуальным новостям за июнь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. Ссылки на новости из выпуска:

StackOverflow выпустил результаты очередного опроса разработчиков

В python 3.13 удалят еще 20 модулей из stdlib (PEP 594) Выбрали участников PSF Board на 2023 год PSF наняли специалиста по безопасности

Видео с Pycon US

Видео с DjangoCon EU

релиз Jupyter Lab 4 Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Митап Moscow Python 15 июня —https://moscowdjango.timepad.ru/event/2445754/ Все выпуски — https://podcast.pyth…

Этот выпуск посвятили аналитике данных и пригласили Андрея Татаринова, Epoch8, чтобы обсудить: как Андрей попал в выпуск

Epoch8

отличие веб-разработчиков от тех «кто молотит данные»

как устроен Pandas

колоночная база данных

первая проблема в обработке данных

почему строка в Python — сложно

про Pandas

все так хорошо, что NumPy доживает свои дни?

«при использовании Pandas бояться деградации скорости из-за копирований не надо»

оптиизации

почему Polars быстрый

Polars vs. Pandas

брать ли Polars вместо Pandas оптимизация больших проектов «с Pandas 2.0 преимущество стало меньше»

тренд на ускорение и Rust

анекдот и ответ на вопрос

«Polars это неполная замена Pandas»

ответ на вопрос, почему inplace …

Новый выпуск посвятили типизации в Python, разобраться во всех нюансах помогли Никита Соболев, wemake.services и Сергей Петров, Selectel. Тайм-коды

1:30 - типы это худшее или лучшее, что произошло с Python?

4:52 - что продвигает Никита

6:30 - нужно ли топить за типы

10:00 - PEP 692, TypedDict

13:24 - PEP 698, Override Decorator for static type

14:50 - PEP 695, Type Parameter Syntax

22:00 - PEP 688, История его появления от Никиты

23:53 - SQLAchemy 2 сильно пошатнула работу с типами

29:10 - типы ушли в runtime (или ушли от runtime)

30:40 - что не так с валидацией

37:13 - ответ на вопрос, насколько часто используете протоколы в качестве типов

39:15 - ответ на вопрос, стоит ли читать книги по …

Новый выпуск посвятили актуальным новостям за май 2023 года в мире Python. Параллельно играли в Diablo, поэтому лучше смотреть видеоверсию. Ниже оставили ссылки на все материалы этого подкаста. Тайм-коды 00:00 - интро

2:30 - GIL в Python

4:00 - нужны ли subenterpretator при наличии GIL

10:00 - subenterpretator в Ruby

12:45 - стандартная библиотека (что добавлять, что отбавлять)

13:20 - с одной стороны добавили Pathlib

14:00 - одно взлетает, а другое нет (FastAPI, AIOHTTP)

14:35 - сравнение добавления в Python и Ruby

16:26 - Dark Python

17:00 - пример добавления типов

17:55 - то, когда добавили Asyncio

18:45 - концепция: «современный Python - это PyPI»

19:00 - dataclass

20:45 - расширение си…

В гостях у Moscow Python Podcast Даниил Мясников, Руководитель Python-разработки в Контуре. Обсудили в выпуске:

зачем затаскивать Python в компанию с С# разработчиками

какая была реакция у бизнеса реакция разработчиков о переходе на Python

основные претензии C# разработчиков к внедрению Python

блиц-вопросы от Гриши про интерфейс и про IronPython

чему питонист может научиться у шарписта

комфортно ли было переключаться между стилями

многих ли шарпистов удалось переключить на Python как обучали сотрудников Python

что не нравилось в Python и как замеряли перфоманс

истории Миши и Гриши про Linux

что фиксировали при заносе, а что отдали на откуп разработчиков

блиц-вопрос про аннотации типов

для ч…

Новый выпуск посвятили актуальным новостям за апрель 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• статья от Python Software Foundation - https://pyfound.blogspot.com/2023/04/the-eus-proposed-cra-law-may-have.html • европейские акты:

- Cyber Resilience Act - https://digital-strategy.ec.europa.eu/en/library/cyber-resilience-act - Product Liability Act - https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52022PC0495 • релиз urllib3 2.0 - https://sethmlarson.dev/urllib3-2.0.0 • PyPI анонсировали поддержку trusted publisher - https://blog.pypi.org/posts/2023-04-20-introducing-trusted-publishers/ • менеджер пакетов от создателя Flask - https://github.c…

В гостях у Moscow Python Podcast Артем Рудаковский,

преподаватель Лицея Академии Яндекса. Обсудили в выпуске:

путь Артема в программировании и начало преподавания

что такое Академия Яндекса

Яндекс приходит в школы и делает свое обучение или заменяет уроки информатики

что вкладывается в тезис «программирование — вторая грамотность» и будет ли необходимо программировать, чтобы выжить через 50 лет

насколько нужно программирование, когда есть ChatGPT

главные различия при обучение программированию подростка и взрослого

честно ли показывать программирование интересным или нужно показывать реальность в индустрии

инструменты, которые используют в Лицее Академии Яндекса

гайды для родителей, которые …

Привет! В специальном выпуске с ответами на вопросы зрителей обсудили: портрет middle-разработчика как не сломать типы хорошая ли идея перейти с Python на Golang

остался ли смысл от AIOHTTP после релиза Django 4.2

как дебажить асинхронный код на предмет наличия блокирующих event loop вызовов

и другие вопросы Ведущие: Михаил Корнеев и Григорий Петров

CFP Moscow Python Conf

https://cfp.conf.python.ru Все выпуски:

https://podcast.python.ru Митапы MoscowPython:

https://moscowpython.ru Курс Learn Python:

https://learn.python.ru/

Новый выпуск посвятили актуальным новостям за март 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• LTS-релиз Django 4.2 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Вышел pandas 2.0 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Релиз PyTorch 2.0 - https://pytorch.org/blog/pytorch-2.0-release/ • Исследование экосистемы Django от JetBrains - https://lp.jetbrains.com/django-developer-survey-2022/ • PEP 709 – Inlined comprehensions - https://peps.python.org/pep-0709/ • PEP 582 - https://discuss.python.org/t/pep-582-python-local-packages-directory/963/430 • PEP 710 Recording the provenance of installed https://peps.python.org/pep-0710…

В гостях у Moscow Python Podcast Мстислав Казаков, руководитель Python практики, Usetech. Обсудили в выпуске:

что такое observability

куда смотреть, если observability не завезли

зачем придумывать навороты с логгингом

как ввести в проект observability

о главной проблеме логов

о readiness и liveness или зачем начинать с хелсчеков в Django

Sentry и Elastic APM, в чем разница и схожесть

как работает New Relic

в чем плюсы Elastic APM и почему стоит начинать с docker run

«‎когда говорят об observability у всех в голове prometheus и grafana»‎

ответы на вопрос про ошибку процесса измерения, в чем преимущество ELK перед Graylog, про отслеживание блокировок баз данных в observability, ​про отличия п…

В гостях у Moscow Python Podcast Алексей Андрияш, тимлид, YADRO. Обсудили в выпуске:

чем занимается команда тулов в YADRO Jenkins и причем здесь «большой драчевый напильник»

с чего начинать работу с CI/CD

нужно ли изучать Jenkins про запас или просто знать о нем

умирает ли концепция DevOps «проблемы возникают, когда есть сложные environments или стенды»

деплой в системе хранения данных и использование пирамиды тестирования

оффтоп, как Алексей пришел к такой жизни с DevOps почему о DevOps вспоминают, когда все плохо и каким людям лучше не становиться девопсами

про YAML

зачем делить команду тулов и команду DevOps

ответили на вопросы, применим ли антипаттерн преждевременной оптимизации к DevOp…

Одна из самых больших проблем начинающих продуктов – это поиск сегмента пользователей, которым он будет помогать решать задачу. С Ваней Замесиным обсудили как можно подойти к этой проблеме. Применили фреймворк Jobs to be done и рассмотрели как появляются новые успешные продукты в разрезе “работ”, которые выполняются. Яндекс Практикум запустил курс «Архитектура программного обеспечения» — курс для опытных разработчиков, которые хотят научиться создавать с нуля архитектуру сервисов и приложений. Вас ждёт много практических заданий, прокачка насмотренности в области архитектуры ПО и экспертиза от техлидов Яндекса и других технологических компаний: https://clck.ru/35XSP8 Запрыгиваем на конферен…

Несколько десятков лет назад программирование и наука были неразрывно связаны, ведь код был инструментом для научных исследований и расчетов. Но в какой-то момент времени произошло разделение, и сегодня привычное нам промышленное программирование очень далеко от того, что используется в фундаментальной и прикладной науке. Почему так случилось? На каких языках программируют ученые сегодня? Каких практик из ИТ индустрии не хватает науке, а что, наоборот, мы можем перенять от ученых и исследователей? Как решение научных задач влияют на промышленную разработку? Александр Нозик, кандидат физ.-мат. наук и директор центра научного программирования в МФТИ, устроил нам увлекательный экскурс в мир на…

После выпусков про напитки мы плавно переходим на самое интересное в этой жизни – еду. Вместе с сырным сомелье Александром Крупецковым, который много лет назад предпочел сыры программированию на C#, мы разбираемся в том, как из одного и того же молока можно получить так много различных сыров, как отличить хороший сыр от плохого, откуда у него берется плесень, и, главное, какой же сыр – самый лучший! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Т…

У вас есть гениальная идея стартапа, но нет понимания как его можно воплотить в жизнь и превратить в следующий единорог? Часто ответом на этот вопрос могут быть стартап-акселераторы. Как они могут помочь начинающему бизнесу нам рассказал управляющий партнер синдиката United Investors Илья Мартын. Пишите, чтобы узнать детали и запартнёриться с подкастом и конференциями Podlodka Crew: t.me/katerina_sbityakova и t.me/rio_de_novo. Или на почту [email protected] ⚓️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://…

Опенсорс – это не только комьюнити, любовь к программированию и прекрасная идеология, но и возможность заработать! Вместе с Петром Зайцевым из Percona выясняем, где же скрываются ниши для бизнеса на опенсорсе. Твиттер гостя – PeterZaitsev Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Соцсети и сайт гостя

https://twitter.com/PeterZaitsev/

https://linkedin.com/in/peterzaitsev/ https://www.instagram.com/peterzaitsev/ https:/…

Задумывались ли вы, что происходит в момент, когда вы запрашиваете выдачу в своем любимом поисковике авиабилетов? Авиация — сложнейшая предметная область, с множеством организаций, связанных друг с другом, различными стандартами, кучей исключений и, конечно, достаточным количеством легаси. Поэтому разобраться в этом — дело чести для нашего подкаста! Разобраться в том, как устроена автоматизация всех взаимосвязанных процессов, позволяющая нам в три клика находить маршруты для самых нетривиальных путешествий нам помогал Иван Садовой, техлид команды Авиа в Tutu.ru. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: http…

Есть хорошая такая вероятность, что когда-нибудь Netflix купит права на экранизацию истории создания и развития языка Dart – настолько она захватывающая! Слава Егоров, лид команды нативного компилятора Dart, наблюдал за этой историей своими глазами, так как он был в команде разработки с нулевого дня. Если вы хотите получше узнать про философию Dart, его основные языковые фичи, сильные и слабые стороны, не скатываясь в обсуждение Flutter – этот выпуск для вас! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitte…

Наконец мы записали выпуск про один из самых космополитичных и доступных напитков! Про пиво нам рассказал сооснователь пивоварни Чаща – Сергей Гаршин. В выпуске начали с историй как пиво спасало в дремучем средневековье, а закончили классификацией и мифами про пиво из порошка. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла, Катя Петрова Полезные ссылки: Untappd (самая популярная социальная сеть/ каталог у биргиков в России)

https://unta…

Чтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Книга Data Warehouse Toolkit

https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/data-warehou…

Вторая часть серии посвящена исключительно практическим вопросам: как ухаживать за бородой, как (и нужно ли?) бороться с мешками и синяками под глазами, чем отличается уход за кожей лица от остальных частей тела, зачем ходить к косметологу и какие основные ошибки совершают люди при борьбе с акне. Надя Каплева, Chief Medical Officer в Pora.ai дала множество полезных рекомендаций и, как и в прошлом выпуске, подкрепила советы мощной теоретической базой. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.c…

Что делать, если система стала настолько сложной, что невозможно понять кто, как и в каком порядке должен вызвать какие API? Перейти на event-driven подход! Что это и зачем – разбираемся с Виктором Гамовым. Слушать второй эпизод подкаста «Бреслав и Ложечкин»: https://clc.to/wF8N8A

Канал с анонсами: https://t.me/breslavandlozhechkin Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Егор Толстой Полез…

Холакратия, как управленческая система, встречается в организациях не так часто, тем интереснее получился разговор с тимлидом из Точки – Кузнецовым Андреем. Основа подхода в разделении ответственности между самоорганизующимися командами. На систему посмотрели как на уровне отдельной команды, так и целой организации. Сыграйте в игру от Точки и узнайте, насколько вам подходит такой уровень самоорганизации. Перед вами будут кейсы из реальной разработки и варианты ответа, как поступить и решить задачу. Выбирай тот, что вам ближе, и смотрите, к чему это приведёт. 🎮 Играть: https://t.me/Hola_Tochka_bot Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Конституция на английском

https:…

Здоровая и красивая кожа – это система, на которую влияет огромное количество разных факторов. В выпуске с Надей Каплевой, Chief Medical Officer в Pora.ai, мы разобрались в том, как правильно построить ритуалы домашнего ухода за кожей и выбрать работающую именно для вас косметику. Мы всё ещё партнёримся с Точкой! Посмотрите, какие сервисы они создают и как живут их разработчики, на сайте (https://tchk.me/uKrxaq). Там же найдёте ссылку на хабр, выступления на конфах и вакансии. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккау…

Перед вами новый шедевр игровой индустрии с потрясающей графикой. Задумывались ли вы о всей той магии, которая случается, чтобы пиксели сложились в ошеломительную картинку? Какой объем вычислений происходит, чтобы вот та тень от деревца была максимально реалистична? Скорее включайте выпуск и давайте разбираться! Никита Лисица преподает графику в СПБГУ, а в этом выпуске устроил для нас эксклюзивную лекцию по 3D графике и рассказал, как сложные алгоритмы преобразуются в живописные ландшафты, реалистичные тени и мягкое освещение. Обсудим различные API для работы с видеокартой, разбираемся, как устроен процесс рисования, как работают различные эффекты и как все это дело можно оптимизировать. Кс…

Закрываем сезон разговором про длинные технологические тренды с Андреем Себрантом. Андрей — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks.Не забудьте поделиться этим эпизодом (и любыми другими, которые вам понравятся).ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://shorturl.at/finK1Я.Музыка: https://clck.ru/JJB8ySupport the show

Дмитрий Железов получил PhD по математике в Университете Чалмерс. Он сооснователь компании Subsquid, которая разрабатывает протокол для индексации данных на блокчейн.https://www.subsquid.io/Support the show

Григорий Сапунов — специалист по машинному обучению, соавтор канала Gonzo-ML и сооснователь компании Intento.Gonzo-MLhttps://t.me/gonzo_MLIntentohttps://inten.to/Не забудьте подписаться на юутбhttps://youtu.be/5ioSqLspbAESupport the show

Григорий Бакунов эксперт в области информационных технологий, соведущий подкаста радио-Т и автор канала @addmetoМы начали с разговора про искусственный интеллект, а закончили широким обзором технологий, которые меняют нашу повседневную жизнь.Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Григорий Свердлин долгое время руководил Ночлежкой, а сейчас создал "Идите лесом!" — организацию, которая помогает избежать мобилизации."Ночлежка"https://homeless.ru/"Идите лесом!"https://iditelesom.org/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Гостевой эпизод подкаста тренд-хантеры.Support the show

Говорим с Арчетом и Павлом Комаровским про безопасность ИИ.Телеграм-канал и YouTube Павла.Телеграм-канал и подкаст Арчета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Оксана Мороз защитила диссертацию "Культурная травма в российском литературном дискурсе конца XX века", а последнее время интересуется темой Death Tech и тем, как технологии трансформирую отношение людей к смерти.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?Доклад на конференции TechTrain. Если хотите увидеть слайды, сходите на YouTube. Кстати, если вы подпишетесь, то поможете увеличить количество людей, которые регулярно смотрят или слушают "Проветримся!" https://youtu.be/BmUSfln9WrEКстати, у ребят в ближайшую неделю ещё две большие конференции. Heisenbug — большая конференция по тестированиюJpoint — большая конференция для Java-разработчиков.Не пропустите!Support the show

Мария Шутова занимается коммерциализацией исследований в Cell and Gene Therapy Catapult.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Разговор с Анной Ковалёвой для Reforum.Support the show

Topics include Heliclockter, Wagtail 5, Git log customization, and MiniJinja template engine.

Topics include mpire, mopup, Immortal Objects for Python, and Common Docstring Formats in Python.

Topics include Make Each Line Count, Keeping Things Simple in Python, Parsel, A Comprehensive Guide to Python Logging with Structlog, and Stamina.

Topics include Omnivore app, Djangonaut.space, Server-side hot reload, and Python in Excel.

Topics include Differentiating between writing down dependencies to use packages and for packages themselves, PythonMonkey, Quirks of Python package versioning, and bear-type.

Topics include async-timeout, PyPI Project URLs Cheatsheet, httpx-sse, and Creating a context manager in Python.

Topics include A Steering Council notice about PEP 703 (Making the Global Interpreter Lock Optional in CPython), Google's post-cookie world could turn into DRM for the internet, How ruff changed my Python programming habits, and pathlib api extended to use fsspec backends.

Topics include Cython 3.0, Reading code: An important but seldom-discussed skill, Major new version of MicroPython: v1.20.0, and Advanced Python Tips for Development.

Topics include Pydantic v2 released, Two Ways to Turbo-Charge tox, Awesome Pydantic, and CLI tools hidden in the Python standard library.

Topics include Plumbum: Shell Combinators and More, Our plan for Python 3.13, Some blogging myths, and Jupyter AI.

Topics include Pydantic roadmap, The Right Way to Run Shell Commands From Python, US: Yep, We're Buying Your Data, Including Your Embarrassing Secrets, and Pro-Tip – pytest fixtures are magic!

Topics include PythonGUIS, JupyterLab 4.0 is Here, Proposing a struct syntax for Python, and Python 3.13 Removes 20 Stdlib Modules.

Topics include pystack, Securing PyPI accounts via Two-Factor Authentication, Propan - a declarative Python MQ framework, and Makefile tricks for Python projects.

Infrastructure as code refers to the use of software and configuration files to convey infrastructure specifications. This is in contrast to the traditional approach of manually provisioning servers, operating systems, storage, and other infrastructure components. With the growth of cloud computing, the infrastructure as code paradigm is becoming more integral to managing compute resources. AutoCloud

The post AutoCloud and infrastructure as code with Tyson Kunovsky appeared first on Software Engineering Daily.

Charlie Gerard is a highly accomplished software engineer and technologist. She’s worked at Stripe, Netlify, and Atlassian and authored the book, Practical Machine Learning in JavaScript. In her spare time, Charlie explores the field of human-computer interaction and builds interactive prototypes using hardware and machine learning. Some of her recent projects include building a DIY

The post Catching up with technologist Charlie Gerard appeared first on Software Engineering Daily.

Incident management is the process of responding to unplanned events or service interruptions, and then restoring service to an operational state. Having robust incident management is vital to many software teams. Blameless is a framework designed to help software companies manage their production incidents effectively. It provides a workflow for managing the incident response as

The post Blameless with Ken Gavranovic appeared first on Software Engineering Daily.

Cloud applications continue to grow in popularity, but ensuring the security of these applications often presents a formidable engineering challenge. This challenge motivated the creation of Jit. Jit is a continuous security platform for developers, and seeks to enable every cloud app to start with minimum viable security, or MVS, without slowing development velocity. David

The post Minimum Viable Security for Cloud Apps with David Melamed appeared first on Software Engineering Daily.

ScyllaDB is a fast and highly scalable NoSQL database designed to provide predictable performance at a massive cloud scale. It can handle millions of operations per second at a scale of gigabytes or petabytes. It’s also designed to be compatible with Cassandra and DynamoDB APIs. Scylla is used by Zillow, Comcast, and for Discord’s 350M+

The post Highly Scalable NoSQL with Dor Laor appeared first on Software Engineering Daily.

React is an immensely popular JavaScript library that is used to build website user interfaces. A key feature of React is that it uses a virtual Document Object Model, or DOM, to selectively update the desired regions of the web page, which provides major performance advantages. Million.js is an open source project that provides an

The post Making React 70% faster with Aiden Bai of Million.js appeared first on Software Engineering Daily.

Cox Automotive has been at the frontier of digitizing the automotive space with popular products such as AutoTrader, Kelly Blue Book, and Dealertrack. To deliver these products the company manages large quantities of data and diverse engineering teams. Scaling its operations required an engineering transformation of the company. Chris Dillon is the VP of Architecture

The post Engineering Transformation at Scale with Chris Dillon appeared first on Software Engineering Daily.

Serverless backend platforms are cloud services that simplify the process of building a backend. These platforms are growing rapidly in popularity because they can greatly accelerate application development, and improve the developer experience. Convex is a real-time backend platform that uses 100% TypeScript and is designed with reactive UI frameworks in mind. The team behind

The post Building a full cloud backend with James Cowling appeared first on Software Engineering Daily.

Exafunction is a leader in deploying deep learning models at scale. One of their products is Codeium, a coding assistant for software developers based on Exafunction’s deep learning technology. Codeium provides AI-assisted autocompletion in your IDE, making it easier for you to incorporate deep learning technology in your software development workflow. Varun Mohan is the

The post Modern Coding Superpowers with Varun Mohan appeared first on Software Engineering Daily.

Tom Preston-Werner is a renowned software developer, inventor and entrepreneur. He co-founded GitHub and is the creator of the avatar service Gravatar, the TOML configuration file format, and the static site generator software Jekyll. Tom is currently working on the full-stack web framework, RedwoodJS. He joins us today to tell us the latest about RedwoodJS,

The post The Latest on RedwoodJS with Tom Preston-Werner appeared first on Software Engineering Daily.

Incident management is the process of managing and resolving unexpected disruptions or issues in software systems, especially those that are customer-facing or critical to business operations. Implementing a robust incident management system is often a key challenge in technical environments. Rootly is a platform to handle incident management directly from Slack, and is used by

The post Cross-functional Incident Management with Ashley Sawatsky and Niall Murphy appeared first on Software Engineering Daily.

AI-assisted software delivery refers to the utilization of artificial intelligence to assist, enhance, or automate various phases of the software development lifecycle. AI can be used in numerous aspects of software development, from requirements gathering to code generation to testing and monitoring. The overarching aim is to streamline software delivery, reduce errors and, ideally, reduce

The post AI for Software Delivery with Birgitta Böckeler appeared first on Software Engineering Daily.

The Buy Now, Pay Later model, or BNPL, is traditionally a business-to-consumer model that is gaining traction in the business-to-business domain. Adoption of BNPL in business-to-business scenarios offers benefits like improved cash flow management for buyers, and increased sales for suppliers, often leading to higher order value. However, this model introduces complexities, including the need

The post Expanding B2B Payments with Sohil Pandya appeared first on Software Engineering Daily.

Database caching is a fundamental challenge in database management and there are hundreds of techniques to satisfy different caching scenarios. PolyScale is a fully automated database cache. It offers an innovative approach to database caching, leveraging AI and automated configuration to simplify the process of determining what should and should not be cached. Ben Hagan

The post Database Caching with Ben Hagan appeared first on Software Engineering Daily.

In memory of Software Engineering Daily Founder, Jeff Meyerson. 1988 – 2022 Jeff founded Software Engineering Daily in 2015 and hosted the podcast until 2022. He was willful, hard working, and a strong advocate for self-direction. To hear more about what Jeff was like, please listen to Remembering Jeff Meyerson with Erika Hokanson. If you’d

The post An update about SED from Jeff’s family appeared first on Software Engineering Daily.

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

-=Выпуск 75=- Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах. Ссылка по теме: канал Оли

-=Выпуск 74=- Исполнилось полгода ChatGPT, а через несколько дней Apple представили миру свои очки Vision Pro. Оба события можно пообсуждать по отдельности, но еще интересней вместе: редкий случай, когда можно заглянуть в будущее с помощью вполне линейной экстраполяции.

-= Выпуск 73 =- Запись митапа “ИТМО говорит ChatGPT - да!” с моим минимальным предисловием. Сам митап я модерировал с колоссальным удовольствием, потому что на практике убедился, что в сильном вузе обсуждают не как ограничить или запретить новинку — а как ей полезней и интересней всего пользоваться; и студентам, и преподавателям. А если где с новой технологией начинают бороться — это про сам вуз говорит плохое, а не про технологию :) Запись с видео можно посмотреть

-=Выпуск 72=- На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

A Demo Front-End is a simple UI that provides basic features to demonstrate and explore such an API.

The Demo Front-End is a gift that keeps on giving.

Practical advice The Demo Front-End works best when it's immediately available in all the places where the related API is available.

The Demo Front-End was eventually made available in production too, so that internal users could troubleshoot calls coming from the product clients, i.e., their partners.

The Demo Front-End we built for them was, among other things, a solution to a problem that they told us they had.

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

In this article, we’ll explore the Resilience and Observability Bottleneck: how you can recognize it coming, how you might realize it has already arrived, and what you can do to survive the bottleneck.

Shift to explicit resilience business requirements As a startup, new features are often considered more valuable than technical debt, including any work related to resilience.

At a minimum, you can create new test scenarios to further validate system resilience.

It may mean examining your overall design and architecture of the system and evolving it to meet the product resilience needs.

Continually optimize your resilience It's one thing to get through the bottleneck, it's another to stay out…

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

After hours of analyzing our scaleup portfolio, the Scaleups team at Thoughtworks has discovered that these three critical areas can cause stagnating business growth within startups.

For some, it manifests as technical debt reaching such a level that developers are dissatisfied, and productivity is down.

For others, experimentation and time to market have slowed after the original product market fit.

In our upcoming webinar, Scaling Bottlenecks: Technology mistakes every growing startup makes, our expert panel has extensively analyzed scaleups like yours to uncover common challenges.

Join us for our webinar and take away practical solutions to conquer technology obstacles, empower your team…

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

Martin Fowler: 14 Aug 2023We are saddened today to learn of the passing of Stefan Tilkov.

We’ve met Stefan several times at workshops and conferences and always enjoyed his good company and insightful views.

He advocated many of the things that we and our colleagues support - and as well as skillfully explaining these ideas, he also backed them up with concrete experience from his work.

We shall really miss his wise contributions online, and regret that we won’t get the chance to chat with him again.

We offer our condolences to his family, friends, and colleagues at INNOQ.

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.

Ищет, скачивает и обновляет расширения.

Чтобы добавить недостающие функции.

В Sqlime приехали 70 дополнительных функций.

Встроенные функции в Go 1.21Go 1.21 собрал множество приятных штук, от оптимизации по профилю (profile-guided optimization) до пакетов стандартной библиотеки для работы со срезами и картами (см.

В Go 1.21 добавили три новых: min , max and clear .

Встроенные функции — не ключевые слова, вы спокойно можете их перекрыть:// так можно max := "My name is Max" min := 4 - 1 make := func () int { return 14 } fmt .

Println ( max , min , make ()) // My name is Max 3 14А вот любопытный вопрос:Зачем «замусоривать» общее пространство имен и делать встроенные min и max вместо одноименных дженерик-функций в пакете cmp ?

clear внутри функции обрабатывает container в соответствии с фактическим типом: карты о…

Виды JOIN в SQLВ SQL-джойнах скрыто больше, чем можно подумать.

Вот как он выглядит в общем случае:table [join-type] JOIN table join-specificationТаблица ( table ) — не обязательно прямо вот таблица.

Например, выберем вакансии вместе с соответствующими названиями компаний:select job_name , comp_name from jobs join companies on jobs .

Перекрестный JOINТретья и последняя разновидность — перекрестный джойн (cross join), также известный как «Декартово соединение» (Cartesian join):select job_name , comp_name from jobs cross join companies ;Перекрестный джойн игнорирует значения столбцов.

Я удивлен, что она вообще вошла в стандарт (подозрительно связано с тем, что она реализована в Oracle).

Мне не нужен ваш язык запросовЭта заметка может показаться резковатой.

Чего я не могу понять, так это почему авторы считают новый язык запросов сильной стороной продукта.

name from movies join movies_actors using ( movie_id ) join actors using ( actor_id )Хм.

movie_id ) as rating from movies join movies_actors using ( movie_id ) join actors using ( actor_id ) where movie_id in ( select movie_id from actors join movies_actors using ( actor_id ) where actors .

Мне не нужен ваш модный язык запросов.

sqlite3 + расширения в PythonПодключить расширение для SQLite с помощью стандартного модуля sqlite3 довольно просто.

Если только вам не повезло использовать macOS, в который sqlite3 не поддерживает расширения.

Поэтому я создал пакет sqlean.py : полностью совместимую замену стандартному sqlite3 , которая заодно включает полезные расширения.

Установка и использованиеУстановите пакет через pip install :pip install sqlean.pyИ используйте вместо sqlite3 :import sqlean as sqlite3 # такой же интерфейс, как в стандартном `sqlite3` conn = sqlite3.connect(":memory:") conn.execute("create table employees(id, name)") # плюс сразу подключены расширения из `sqlean` cur = conn.execute("select median(value…

Покрывающий индекс — самый быстрый способ выбрать данные из таблицы.

Разберемся на примере запроса, который выбирает сотрудников с указанной зарплатой: