Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

How we quantify brand perceptions from social media platforms through deep learningBy Tiantian Zhang, Shuai Shao (Shawn)IntroductionAt Airbnb, we have developed Brandometer, a state-of-the-art natural language understanding (NLU) technique for understanding brand perception based on social media data.Brand perception refers to the general feelings and experiences of customers with a company. Quantitatively, measuring brand perception is an extremely challenging task. Traditionally, we rely on customer surveys to find out what customers think about a company. The downsides of such a qualitative study is the bias in sampling and the limitation in data scale. Social media data, on the other ha…

Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

Applying Quality of Service techniques at the application levelAnirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin FedorkaIntroductionIn November 2020, we introduced the concept of prioritized load shedding at the API gateway level in our blog post, Keeping Netflix Reliable Using Prioritized Load Shedding. Today, we’re excited to dive deeper into how we’ve extended this strategy to the individual service level, focusing on the video streaming control plane and data plane, to further enhance user experience and system resilience.The Evolution of Load Shedding at NetflixAt Netflix, ensuring a seamless viewing experience for millions of users simultaneously is paramoun…

A summary of sessions at the first Data Engineering Open Forum at Netflix on April 18th, 2024The Data Engineering Open Forum at Netflix on April 18th, 2024.At Netflix, we aspire to entertain the world, and our data engineering teams play a crucial role in this mission by enabling data-driven decision-making at scale. Netflix is not the only place where data engineers are solving challenging problems with creative solutions. On April 18th, 2024, we hosted the inaugural Data Engineering Open Forum at our Los Gatos office, bringing together data engineers from various industries to share, learn, and connect.At the conference, our speakers share their unique perspectives on modern developments,…

Video annotator: a framework for efficiently building video classifiers using vision-language models and active learningAmir Ziai, Aneesh Vartakavi, Kelli Griggs, Eugene Lok, Yvonne Jukes, Alex Alonso, Vi Iyengar, Anna Pulidohttps://medium.com/media/02a5bbf97c619182adba24b45e42edcb/hrefIntroductionProblemHigh-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Conventional techniques for training machine learning classifiers are resource intensive. They involve a cycle where domain experts annotate a dataset, which is then transferred to data scientists to train models, review outcomes, and make changes. This labeling process t…

At Netflix, we want to ensure that every current and future member finds content that thrills them today and excites them to come back for more. Causal inference is an essential part of the value that Data Science and Engineering adds towards this mission. We rely heavily on both experimentation and quasi-experimentation to help our teams make the best decisions for growing member joy.Building off of our last successful Causal Inference and Experimentation Summit, we held another week-long internal conference this year to learn from our stunning colleagues. We brought together speakers from across the business to learn about methodological developments and innovative applications.We covered…

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin YuNetflix uses data science and machine learning across all facets of the company, powering a wide range of business applications from our internal infrastructure and content demand modeling to media understanding. The Machine Learning Platform (MLP) team at Netflix provides an entire ecosystem of tools around Metaflow, an open source machine learning infrastructure framework we started, to empower data scientists and machine learning practitioners to build and manage a variety of ML systems.Since its inception, Metaflow has been designed to provide a human-friendly API for building data and ML (and today AI…

The surprising and not so surprising benefits of generations in the Z Garbage Collector.By Danny Thomas, JVM Ecosystem TeamThe latest long term support release of the JDK delivers generational support for the Z Garbage Collector.More than half of our critical streaming video services are now running on JDK 21 with Generational ZGC, so it’s a good time to talk about our experience and the benefits we’ve seen. If you’re interested in how we use Java at Netflix, Paul Bakker’s talk How Netflix Really Uses Java, is a great place to start.Reduced tail latenciesIn both our GRPC and DGS Framework services, GC pauses are a significant source of tail latencies. That’s particularly true of our GRPC cl…

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platformby Binbing Hou, Stephanie Vezich Tamayo, Xiao Chen, Liang Tian, Troy Ristow, Haoyuan Wang, Snehal Chennuru, Pawan DixitThis is the first of the series of our work at Netflix on leveraging data insights and Machine Learning (ML) to improve the operational automation around the performance and cost efficiency of big data jobs. Operational automation–including but not limited to, auto diagnosis, auto remediation, auto configuration, auto tuning, auto scaling, auto debugging, and auto testing–is key to the success of modern data platforms. In this blog post, we present our project on Auto Reme…

By Jose FernandezToday, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF applications. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring it enhances rather than hinders our operational efficiency. This tool enables Netflix to embrace eBPF’s potential.Introducing bpftopbpftop provides a dynamic real-time view of running eBPF programs. It displays the average execution runtime, events per second, and estimated total CPU % for each…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin Tingley1. Spot the DifferenceCan you spot any difference between the two data streams below? Each observation is the time interval between a Netflix member hitting the play button and playback commencing, i.e., play-delay. These observations are from a particular type of A/B test that Netflix runs called a software canary or regression-driven experiment. More on that below — for now, what’s important is that we want to quickly and confidently identify any difference in the distribution of play-delay — or conclude that, within some tolerance, there is no difference.In this blog post, we will develop a statistical…

by Moshe KolodnyIn this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications.The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of these methods presents a unique trade-off: you have to choose between controlling the test fixture and setup, or controlling the test driver.For instance, when using react-testing-library, a unit testing solution, you maintain complete control over what to render and how the underlying services and imp…

Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan ZhuThis is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and studio operations. This introductory blog focuses on an overview of our journey. Future blogs will provide deeper dives into each service, sharing insights and lessons learned from this process.The Netflix video processing pipeline went live with the launch of our streaming service in 2007. Since then…

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |This is the second part of a three series and focuses on how we selected the new storage technology that ended up replacing HBase.MotivationHBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come a…

David Chang; Staff Software Engineer |Develocity, formerly known as Gradle Enterprise, is a powerful tool that speeds up local and CI build time, helps troubleshoot your builds, and analyzes your data. At Pinterest, we have a dedicated team, Mobile Builds, and we ensure that developers can build fast and often. This enables developers to be more productive by getting faster feedback on their code. We’ve been using the Develocity API to send data to Honeycomb for about a year. Honeycomb helps engineering teams deeply understand their own production systems through observability. If you’re already a Develocity customer, you might be wondering why you might want to build additional tooling to …

Eric Tzeng; ML Research Scientist, ATG | Raymond Shiau; ML Research Scientist, ATG |In this engineering note, we wanted to share some of our latest progress on Pinterest Canvas, a text-to-image foundation model for enhancing existing images and products on the platform. Building image foundation models has been a core part of Pinterest’s ML strategy for the past decade, but these have been focused on representation learning tasks (e.g. our Unified Visual Embedding v2, v3, etc.). More recently, we have begun to explore the application of generative models, specifically those that can be conditioned on existing Pinterest images, to create new backgrounds for products.Pinterest Canvas is built…

Michelle Vu; Web Performance Engineer |In this article we will focus on the systems we have in place to proactively detect and prevent regressions from being fully released in production.A/B Experiment ChecksCollecting performance metrics internally allows us to pipe these logs into our internal experiments framework. Pinterest has an excellent culture of wrapping any major user-impacting changes in an A/B experiment, which enables us to detect the performance impact of these changes. Below, we will describe how experiment regressions are detected and handled.Graded Experiment RegressionsExperiments that show a significant performance regression for five or more days of the last seven days …

Chia-Wei Chen; Sr. Software Engineer | Raymond Lee; Sr. Software Engineer | Alex Wang; Software Engineer I | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Karthik Anantha Padmanabhan; Sr. Manager, Engineering | Se Won Jang; Sr. Manager, Engineering |The Journey of our Ray InfrastructureIn the Part 1 of our blog series, we discussed the reason why we were motivated to invest in Ray to solve critical business problems. In this blogpost, we will go one step further to describe what it takes to integrate Ray into a web-scale company like Pinterest, where we have various unique constraints and challenges to embrace new technologies. This is a more comprehensive version of Ray Infrastructu…

Ning Zhang; Principal Engineer | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |IntroductionThe ads-serving platform is the highest-scale recommendation system at P…

Michelle Vu | Web Performance Engineer;Fighting regressions has been a priority at Pinterest for many years. In part one of this article series, we provided an overview of the performance program at Pinterest. In this second part, we discuss how we monitor and investigate regressions in our Pinner Wait Time and Core Web Vital metrics for desktop and mobile web using real time metrics from real users. These real time graphs have been invaluable for regression alerting and root cause analysis.Real Time Real User MonitoringAll Pinner Wait Time and Core Web Vital metrics for desktop and mobile web are monitored in real time for real users. These real time graphs have been invaluable for regress…

Alberto Ordonez Pereira | Senior Staff Software Engineer; Lianghong Xu | Senior Manager, Engineering;This blog marks the first of a three-part series describing our journey at Pinterest transition from managing multiple online storage services supported by HBase to a brand new serving architecture with a new datastore and a unified storage service.In this introductory post, we will provide an overview of how HBase is used at Pinterest, why we decided to migrate away from it and the high-level execution path. The subsequent blog post will delve into how we looked into our specific needs, evaluated multiple candidates and decided on the adoption of a new database technology. Finally, the last…

Michelle Vu | Web Performance EngineerDetecting, preventing, and resolving performance regressions has been a standard at Pinterest for many years. Over the years, we have seen many examples showing significant business metric movements resulting from performance optimizations and regressions. These concrete examples motivate us to optimize and maintain performance. In particular, fighting regressions was made a priority because we’ve seen countless times that months of hard earned optimizations can easily be wiped out by a regression. Oftentimes, the regression was from a single line of code, and investing a little bit of time to change the implementation brings us back to baseline. In thi…

Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, EngineeringWriting queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant amounts of data spread across different domains.We took the rise in availability of Large Language Models (LLMs) as an opportunity to explore whether we could assist our data users with this task by developing a Text-to-SQL feature which transforms these analytical questions directly into code.How T…

Leif Sigerson | Sr. Data Scientist; Wendy Matheny | Sr. Lead Public Policy Manager;User engagement is a critical signal used by Pinterest and other online platforms to determine which content to show users. However, it is widely known that optimizing purely for user engagement can surface content that is low-quality (e.g., “clickbait”), or even harmful. Our CEO, Bill Ready, explains that if we’re not careful, content ranking can surface the “car crash we can’t look away from”. On the other hand, “if you ask somebody after they saw the crash, ‘you want to see another one?’, the vast majority of people will say ‘Goodness no’”.In this blog, we will discuss Non-Engagement Signals, a critical co…

Adopted by Pinterest multiple user facing surfaces, Ads, and Board.Jianjin Dong | Staff Machine Learning Engineer, Content Quality; Michal Giemza| Machine Learning Engineer, Content Quality; Qinglong Zeng | Senior Engineering Manager, Content Quality; Andrey Gusev | Director, Content Quality; Yangyi Lu | Machine Learning Engineer, Home Feed; Han Sun | Staff Machine Learning Engineer, Ads Conversion Modeling; William Zhao | Software Engineer, Boards Foundation, Jay Ma | Machine Learning Engineer, Ads Lightweight RankingLinkSage: Graph Neural Network based model for Pinterest off-site content semantic embeddingsBackgroundPinterest is the visual inspiration platform where Pinners come to searc…

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team; Xiao Li | Software Engineer, Real Time Analytics Team; Ming-May Hu | Software Engineer, Real Time Analytics Team; Zhenxiao Luo | Software Engineer, Real Time Analytics Team; Kapil Bajaj | Manager, Real Time Analytics TeamAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short…

Yulin Lei | Senior Machine Learning Engineer; Kaili Zhang | Staff Machine Learning Engineer; Sharare Zahtabian | Machine Learning Engineer II; Randy Carlson | Machine Learning Engineer I; Qifei Shen | Senior Staff Machine Learning EngineerIntroductionPinterest strives to deliver high-quality ads and maintain a positive user experience. The platform aims to show ads that align with the user’s interests and intentions, while also providing them with inspiration and discovery. The Ads Engagement Modeling team at Pinterest plays a crucial role in delivering effective advertising campaigns and helping businesses reach their target audience in a meaningful way. The goal of the engagement modeling…

Sam Wang | Sr. Technical Program Manager; Joe Gordon | Sr. Staff Software EngineerAt Pinterest we are continuously looking for ways to improve our developer experience, and we have recently shipped AI-assisted development for everyone while balancing safety, security, and cost. In this blog post, we share our journey of unlocking AI-assisted development, from the initial idea to the General Availability (GA) stage. Join us as we delve into the opportunities, challenges, and successes we encountered along the way.Like many companies, we initially disallowed the use of Large Language Models (LLMs) until we thoroughly evaluated their legal and security implications. During that time, many engi…

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

Meta’s advertising business leverages large-scale machine learning (ML) recommendation models that power millions of ads recommendations per second across Meta’s family of apps. Maintaining reliability of these ML systems helps ensure the highest level of service and uninterrupted benefit delivery to our users and advertisers. To minimize disruptions and ensure our ML systems are intrinsically [...]

Read More...

The post Meta’s approach to machine learning prediction robustness appeared first on Engineering at Meta.

We’re sharing how we streamline system reliability investigations using a new AI-assisted root cause analysis system. The system uses a combination of heuristic-based retrieval and large language model-based ranking to speed up root cause identification during investigations. Our testing has shown this new system achieves 42% accuracy in identifying root causes for investigations at their [...]

Read More...

The post Leveraging AI for efficient incident response appeared first on Engineering at Meta.

Meta is currently operating many data centers with GPU training clusters across the world. Our data centers are the backbone of our operations, meticulously designed to support the scaling demands of compute and storage. A year ago, however, as the industry reached a critical inflection point due to the rise of artificial intelligence (AI), we [...]

Read More...

The post Maintaining large-scale AI capacity at Meta appeared first on Engineering at Meta.

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

[...]

Read More...

The post Introducing the next-gen Meta Training and Inference Accelerator appeared first on Engineering at Meta.

Bandwidth estimation (BWE) and congestion control play an important role in delivering high-quality real-time communication (RTC) across Meta’s family of apps. We’ve adopted a machine learning (ML)-based approach that allows us to solve networking problems holistically across cross-layers such as BWE, network resiliency, and transport. We’re sharing our experiment results from this approach, some of [...]

Read More...

The post Optimizing RTC bandwidth estimation with machine learning appeared first on Engineering at Meta.

Systems and application logs play a key role in operations, observability, and debugging workflows at Meta. Logarithm is a hosted, serverless, multitenant service, used only internally at Meta, that consumes and indexes these logs and provides an interactive query interface to retrieve and view logs. In this post, we present the design behind Logarithm, and [...]

Read More...

The post Logarithm: A logging engine for AI training workflows and services appeared first on Engineering at Meta.

Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open [...]

Read More...

The post Building Meta’s GenAI Infrastructure appeared first on Engineering at Meta.

Slow build times and inefficiencies in packaging and distributing execution files were costing our ML/AI engineers a significant amount of time while working on our training stack. By addressing these issues head-on, we were able to reduce this overhead by double-digit percentages. In the fast-paced world of AI/ML development, it’s crucial to ensure that our [...]

Read More...

The post Improving machine learning iteration speed with faster application build and packaging appeared first on Engineering at Meta.

At Meta, the quest for faster model training has yielded an exciting milestone: the adoption of Lazy Imports and the Python Cinder runtime. The outcome? Up to 40 percent time to first batch (TTFB) improvements, along with a 20 percent reduction in Jupyter kernel startup times. This advancement facilitates swifter experimentation capabilities and elevates the [...]

Read More...

The post Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta appeared first on Engineering at Meta.

What’s going on with generative AI (GenAI) at Meta? And what does the future have in store? In this episode of the Meta Tech Podcast, Meta engineer Pascal Hartig (@passy) speaks with Devi Parikh, an AI research director at Meta. They cover a wide range of topics, including the history and future of GenAI and the most [...]

Read More...

The post How Meta is advancing GenAI appeared first on Engineering at Meta.

HawkEye is the powerful toolkit used internally at Meta for monitoring, observability, and debuggability of the end-to-end machine learning (ML) workflow that powers ML-based products. HawkEye supports recommendation and ranking models across several products at Meta. Over the past two years, it has facilitated order of magnitude improvements in the time spent debugging production issues. [...]

Read More...

The post AI debugging at Meta with HawkEye appeared first on Engineering at Meta.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

Large sets of diverse data present several challenges for clustering, but through a novel approach that combines dimensionality reduction, recursion, and supervised machine learning, we’ve been able to obtain strong results. The post Recursive Embedding and Clustering appeared first on Spotify Engineering.

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Learn more about how Ripple is centralizing data and turning it into compelling insights to support business growth.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

6 Ways AI + the AI Data Cloud Can Optimize the Media Supply Chain

The post Streamlining the Media Supply Chain appeared first on Snowflake.

There is a scene in Mission: Impossible – Rogue Nation where Tom Cruise is hanging onto the outside of a jet as it has taken off. And while, yes, he’s going with it, he’s not really on board or in control. Some data executives feel like that. It’s not enough to establish goals — or, […]

The post Data Strategies Map a Journey From Origin To Destination appeared first on Snowflake.

Learn how Snowflake can help protect customer and usage data for data residency requirements.

The post Snowflake Expands Leading AI Data Cloud into Global Regulated and Sovereign Markets appeared first on Snowflake.

Regulated and sovereign markets across the world have stringent requirements stipulating certain important data be kept within geographical borders or even for certain workloads to have dedicated environments, separate from those of other customers. In these markets, organizations need a secure and well-governed data foundation with effective controls to help comply with regulatory requirements. Historically, […]

The post Snowflake Expands Leading AI Data Cloud into Global Regulated and Sovereign Markets appeared first on Snowflake.

Removing deployment complexity helps democratize AI

The post H2O.ai Simplifies Data Handling for AI with Snowflake Native Apps and Snowpark Container Services appeared first on Snowflake.

Put data and AI to work, from claims analytics to risk selection and beyond

The post 16 Ways Insurance Companies Can Use Data and AI appeared first on Snowflake.

Streamlined onboarding helps customers reap knowledge graph benefits faster

The post Embedded Snowpark Container Services Set RelationalAI’s Snowflake Native App on Path for Success appeared first on Snowflake.

Hear what Snowflake experts, partners and customers are saying about gen AI, DCRs and more.

The post Top 4 Takeaways from Cannes Lions 2024 appeared first on Snowflake.

Deep dive for using DNS with Cloudera Data Services on Azure

The post DNS Zone Setup Best Practices on Azure appeared first on Cloudera Blog.

Bucket Layouts in Apache Ozone

The post Apache Ozone – A Multi-Protocol Aware Storage System appeared first on Cloudera Blog.

These top artificial intelligence and machine learning companies are providing great options for anyone interested in AI or machine learning.

Data analytics technology offers a number of benefits in healthcare, so nursing programs are teaching their students about it.

More construction companies are using AI technology to improve their business models.

Data analytics technology has helped us better understand the importance of coming up with strategic domains for online marketing.

AI technology has had a huge impact on the legal profession and led to the inception of disruptive new software.

Big Data & AI in Forex: Discover how trading robots are revolutionizing financial markets and unlocking new strategies for success.

AI has helped companies improve their internal communications significantly, which is encouraging for many businesses in 2024.

Dive into the role of AI in promoting fairness within the lending sector and its transformative effects.

AI has led to some major breakthroughs in GUI brainstorming software.

AI can help small businesses improve their financial management practices, which helps them save money.

Companies that rely on big data need to use the most reliable online data transfer services.

Automate coding tasks with Gen AI - the ultimate tool for developers to streamline writing and enhance productivity.

AI startups should invest in the right IT support staff if they want to be successful.

AI technology can help sales people make the most of POS systems, which helps them reach their goals more easily.

AI is helping insurance companies better deal with DUIs when writing policies.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient – Duplicate – [#180397] appeared first on Knoldus Blogs.

Reading Time: < 1 minute The post An Introduction to Kafka’s Internals – Duplicate – [#159280] appeared first on Knoldus Blogs.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

Machine Learning Platforms (ML Platforms) have the potential to be a key component in achieving production ML at scale without large technical debt, yet ML Platforms are not often understood. This document outlines the key concepts and paradigm shifts that led to the conceptualization of ML Platforms in an effort to increase an understanding of these platforms and how they can best be applied.

Technical Debt and development velocity defined

Development Velocity

Machine learning development velocity refers to the speed and efficiency at which machine learning (ML) projects progress from the initial concept to deployment in a production environment. It encompasses the entire lifecycle of a ma…

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

https://youtu.be/UgzFYMDV36A?si=AOv16-nAJ2yuSlbS What better year to start the Christmas season than to drop a new episode of Unapologetically Technical! In this episode, I interview Stephane Derosiaux from Conduktor. We talk about his time evolving architectures and creating real-time systems at Auchan (grocery) and Adeo/Leroy Merlin (Home Improvement). We discuss the issues of British food and how […]

https://youtu.be/6JwMxovXUjg?si=ghQ5MMT6Cup9pIzu Another month, another episode! In this episode of Unapologetically Technical, I interview Matteo Merli the co-creator of Apache Pulsar and CTO of StreamNative. We talk about his interest in creating communication protocols and how that morphed into creating Apache Pulsar. He shares why Pulsar was created at Yahoo and how they convinced and managed […]

https://youtu.be/gmOxIAt0kJA?si=Q95ZCyEaIiNA7zLL Unapologetically Technical is finally back with a new episode! In this episode of Unapologetically Technical, I had the pleasure of interviewing Neil Avery from Liquidlabs. We discussed his experiences creating grid computing systems at major banks like Royal Bank of Scotland and Deutchebank, as well as his journey to founding a startup called Logscape […]

Schneider Electric is a leader in digital transformation in energy management and industrial automation. To effectively manage customer account hierarchies in its CRM at scale, Schneider Electric started leveraging advances in generative artificial intelligence (AI) large language models (LLMs) in April 2023. They created a solution to make timely updates to their customer account hierarchies in their CRM by linking customer account information to the correct parent company based on the latest information retrieved from the Internet and proprietary datasets. In this post, we explore further iterations of this project and how the team applied what they learned to the Salesforce CRM system us…

In this post, we discuss a design for a highly searchable movie content graph database built on Amazon Neptune, a managed graph database service. We demonstrate how to build a list of relevant movies matching a user’s search criteria through the powerful combination of lexical, semantic, and graphical similarity methods using Neptune, Amazon OpenSearch Service, and Neptune Machine Learning. To match, we compare movies with similar text as well as similar vector embeddings. We use both sentence and graph neural network (GNN) models to build these embeddings.

Today, we are excited to announce a new capability in Amazon SageMaker inference that can help you reduce the time it takes for your generative artificial intelligence (AI) models to scale automatically. You can now use sub-minute metrics and significantly reduce overall scaling latency for generative AI models. With this enhancement, you can improve the […]

UUID Version 7 (UUIDv7) was introduced to improve the randomness of UUIDv4. UUIDv7 encodes a Unix timestamp with millisecond precision in the first 48 bits of the UUID, meaning that UUIDv7 is time-based and sequential. Trusted Language Extensions (pg_tle) for PostgreSQL is a new open source development kit to help you build high performance extensions that run safely on PostgreSQL. In this post, we demonstrate how to create and install a Trusted Language Extension (TLE) using PL/Rust as the trusted language to generate a UUIDv7. We also take a deeper look into the underlying implementation of the extension.

AWS has partnered with InfluxData to launch Amazon Timestream for InfluxDB, a managed version of the popular InfluxDB 2.x open source time series database engine. In this post, we demonstrate how to use the AWS InfluxDB migration script to migrate your data from your existing InfluxDB OSS 2.x instances to Timestream for InfluxDB. At the end of this post, we show one way to perform a live migration, with additional AWS resources.

Amazon Q Business is a fully managed, generative artificial intelligence (AI)-powered assistant that helps enterprises unlock the value of their data and knowledge. With Amazon Q, you can quickly find answers to questions, generate summaries and content, and complete tasks by using the information and expertise stored across your company’s various data sources and enterprise […]

ATPCO is the backbone of modern airline retailing, enabling airlines and third-party channels to deliver the right offers to customers at the right time. ATPCO's reach is impressive, with its fare data covering over 89% of global flight schedules. In this post, using one of ATPCO’s use cases, we show you how ATPCO uses AWS services, including Amazon DataZone, to make data discoverable by data consumers across different business units so that they can innovate faster. We encourage you to read Amazon DataZone concepts and terminologies first to become familiar with the terms used in this post.

As conversational artificial intelligence (AI) agents gain traction across industries, providing reliability and consistency is crucial for delivering seamless and trustworthy user experiences. However, the dynamic and conversational nature of these interactions makes traditional testing and evaluation methods challenging. Conversational AI agents also encompass multiple layers, from Retrieval Augmented Generation (RAG) to function-calling mechanisms that […]

Amazon Redshift is a fast, scalable, secure, and fully managed cloud data warehouse that makes it straightforward and cost-effective to analyze all your data using standard SQL and your existing extract, transform, and load (ETL); business intelligence (BI); and reporting tools. Tens of thousands of customers use Amazon Redshift to process exabytes of data per […]

In the post, we introduce the AWS Neuron node problem detector and recovery DaemonSet for AWS Trainium and AWS Inferentia on Amazon Elastic Kubernetes Service (Amazon EKS). This component can quickly detect rare occurrences of issues when Neuron devices fail by tailing monitoring logs. It marks the worker nodes in a defective Neuron device as unhealthy, and promptly replaces them with new worker nodes. By accelerating the speed of issue detection and remediation, it increases the reliability of your ML training and reduces the wasted time and cost due to hardware failure.

AWS Data Pipeline helps customers automate the movement and transformation of data. With Data Pipeline, customers can define data-driven workflows, so that tasks can be dependent on the successful completion of previous tasks. Launched in 2012, Data Pipeline predates several popular Amazon Web Services (AWS) offerings for orchestrating data pipelines such as AWS Glue, AWS […]

At AWS, we are constantly innovating and evolving our services to meet the ever-changing needs of our customers. In this post, we want to help you understand the differences between Amazon CloudSearch and Amazon OpenSearch Service, and how you can transition to OpenSearch Service. Comparing Amazon CloudSearch and Amazon OpenSearch Service CloudSearch is a fully […]

Customers can migrate their AWS CodeCommit Git repositories to other Git providers using several methods, such as cloning the repository, mirroring, or migrating specific branches. This blog describes a basic use case to mirror a repository to a generic provider, and links to instructions for mirroring to more specific providers. Your exact steps could vary […]

Building with AWS requires you to interact with and manipulate your AWS resources, whether it’s to manage infrastructure, deploy applications, or troubleshoot issues and many AWS customers use AWS Cloud9 to do so today. However, developers want the ability to work with AWS resources within their own Integrated Development Environment (IDE) because it allows them […]

Mistral AI’s Mistral Large 2 (24.07) foundation model (FM) is now generally available in Amazon Bedrock. Mistral Large 2 is the newest version of Mistral Large, and according to Mistral AI offers significant improvements across multilingual capabilities, math, reasoning, coding, and much more. In this post, we discuss the benefits and capabilities of this new […]

Large language models (LLMs) have achieved remarkable success in various natural language processing (NLP) tasks, but they may not always generalize well to specific domains or tasks. You may need to customize an LLM to adapt to your unique use case, improving its performance on your specific dataset or task. You can customize the model […]

Amazon OpenSearch Serverless is a serverless version of Amazon OpenSearch Service, a fully managed open search and analytics platform. On Amazon OpenSearch Service you can run petabyte-scale search and analytics workloads without the heavy lifting of managing the underlying OpenSearch Service clusters and Amazon OpenSearch Serverless supports workloads up to 30TB of data for time-series […]

Amazon Q is a fully managed, generative artificial intelligence (AI) powered assistant that you can configure to answer questions, provide summaries, generate content, gain insights, and complete tasks based on data in your enterprise. The enterprise data required for these generative-AI powered assistants can reside in varied repositories across your organization. One common repository to […]

In September 2022, Ethereum transitioned to a Proof of Stake (PoS) consensus model. This change allows anyone with a minimum of 32 ether to stake their holdings and operate a validator node, thereby participating in network validation and earning staking rewards. In this post, we explore the technical challenges and requirements of operating an institutional-grade Ethereum staking service. Additionally, we outline a solution for deploying an Ethereum staking service on AWS.

Ola Money is a financial service provided by Ola Financial Services (OFS), which is part of the Ola group of companies. In this post, we share the modernization journey of Ola Money’s MySQL workloads using Amazon Aurora, a relational database management system built for the cloud with MySQL and PostgreSQL compatibility that gives the performance and availability of commercial-grade databases at one-tenth the cost.

This post is written in collaboration with Mackenzie Johnson and Phil Catterall from ActionIQ. ActionIQ is a leading composable customer data (CDP) platform designed for enterprise brands to grow faster and deliver meaningful experiences for their customers. ActionIQ taps directly into a brand’s data warehouse to build smart audiences, resolve customer identities, and design personalized […]

This post is a joint collaboration between Salesforce and AWS and is being cross-published on both the Salesforce Engineering Blog and the AWS Machine Learning Blog. Salesforce, Inc. is an American cloud-based software company headquartered in San Francisco, California. It provides customer relationship management (CRM) software and applications focused on sales, customer service, marketing automation, […]

In this post, we guide you through five common components of efficient code debugging. We also show you how Amazon Q Developer can significantly reduce the time and effort required to manually identify and fix errors across numerous lines of code. With Amazon Q Developer on your side, you can focus on other aspects of […]

In today’s digital landscape, the protection of personally identifiable information (PII) is not just a regulatory requirement, but a cornerstone of consumer trust and business integrity. Organizations use advanced natural language detection services like Amazon Lex for building conversational interfaces and Amazon CloudWatch for monitoring and analyzing operational data. One risk many organizations face is […]

Starting with the Amazon Neptune engine version 1.3.2.X, openCypher query performance is up to 9 times faster and provides up to 10 times higher throughput than previous engine releases. You can create a new cluster or upgrade to this release for faster query performance, more open source features, and additional benefits.

Managing data across diverse environments can be a complex and daunting task. Amazon DataZone simplifies this so you can catalog, discover, share, and govern data stored across AWS, on premises, and third-party sources. Many organizations manage vast amounts of data assets owned by various teams, creating a complex landscape that poses challenges for scalable data […]

Today, we are excited to announce AWS Trainium and AWS Inferentia support for fine-tuning and inference of the Llama 3.1 models. The Llama 3.1 family of multilingual large language models (LLMs) is a collection of pre-trained and instruction tuned generative models in 8B, 70B, and 405B sizes. In a previous post, we covered how to deploy Llama 3 models on AWS Trainium and Inferentia based instances in Amazon SageMaker JumpStart. In this post, we outline how to get started with fine-tuning and deploying the Llama 3.1 family of models on AWS AI chips, to realize their price-performance benefits.

Today, we are excited to announce the availability of the Llama 3.1 405B model on Amazon SageMaker JumpStart, and Amazon Bedrock in preview. The Llama 3.1 models are a collection of state-of-the-art pre-trained and instruct fine-tuned generative artificial intelligence (AI) models in 8B, 70B, and 405B sizes. Amazon SageMaker JumpStart is a machine learning (ML) hub that provides access to algorithms, models, and ML solutions so you can quickly get started with ML. Amazon Bedrock offers a straightforward way to build and scale generative AI applications with Meta Llama models, using a single API.

Today, we are excited to announce that the state-of-the-art Llama 3.1 collection of multilingual large language models (LLMs), which includes pre-trained and instruction tuned generative AI models in 8B, 70B, and 405B sizes, is available through Amazon SageMaker JumpStart to deploy for inference. Llama is a publicly accessible LLM designed for developers, researchers, and businesses to build, experiment, and responsibly scale their generative artificial intelligence (AI) ideas. In this post, we walk through how to discover and deploy Llama 3.1 models using SageMaker JumpStart.

As customers are migrating to the AWS Cloud to take advantage of managed database services such as Amazon RDS for MySQL, Amazon RDS for MariaDB, and Amazon Aurora MySQL-Compatible Edition, they also look to automate these administrative tasks. This post shows how a DBA or other user with access to a custom API can make MySQL and MariaDB backup requests. It uses Infrastructure as Code (IaC) with the AWS CDK to simplify the deployment.

i’ve been in the data engineer role for a bit out of college. my last team i developed code for pipelines but on this team i’m working with SQL and it’s more analyzing and then fixing code/views based on customer needs i’m feeling like a failure at work. it’s only been two months with this team but i’ve stayed until 7pm each day trying to analyze a SQL view. it’s my first task or issue that i have to look into and ive already spent three days looking at this issue. it’s driving me insane that i haven’t been able to find it. for context, a lot of null values are showing up and over the three days i’ve found that it’s joining on a table that doesn’t even have a record of that date in it since…

Hello everyone I'm trying to extract data from dynamodb to s3 in csv format I'm using glue to do that as it will be on large scale of data The issue is the json data have nested json and i need it all to be in sperate columns in the csv file Does anyone has any idea on that? submitted by /u/Mountain-Luck7673 [link] [comments]

Hi everyone, I recently completed my MS in Data Science from a UK university and am currently seeking job opportunities. Throughout my studies, I developed a strong interest in Data Engineering, particularly due to my background in DevOps and Python. Despite my efforts, I haven't been getting much traction . I'm considering whether to pursue AWS Data Engineer or Azure Data Engineer certifications to enhance my job prospects. Or, should I focus on gaining practical experience by developing more projects on clouds free tier account . Any advice would be greatly appreciated. submitted by /u/krishkarma [link] [comments]

10gb large csv file, read with pandas "low_memory=False" argument. took a while! exported as parquet with the compression methods below. Snappy ( default, requires no argument) gzip brotli https://preview.redd.it/5hl246xx0yed1.png?width=1350&format=png&auto=webp&s=5533ce2ce13b5c60b53742d7f3322758599966bb Result: BROTLI Compression is the Winner! https://preview.redd.it/ugf12jkg0yed1.png?width=1298&format=png&auto=webp&s=5540f6c8a7680978160c6456fbc44ede2506f9ad submitted by /u/BrianDeFlorida [link] [comments]

Hi, I’ve read online that it’s generally good to keep parquet file sizes between 128mb and 1GB. I also read that it’s a rule of thumb to partition in such a way that there are fewer than 1000 partitions. This brings the upper limit of parquet datasets to about 1TB. However, there are many datasets which exceed 1TB, sometimes by several orders of magnitude. In such cases, what storage method should be used? submitted by /u/No-Result-3830 [link] [comments]

Hi, I think I might be placed in a data infrastructure team for new grad. Does that come under data engineering? How can I help myself prepare for the role? submitted by /u/basilyusuf1709 [link] [comments]

Hi everyone, I'll be joining a small company as a data engineer soon. They use a dedicated server to host and deploy their solutions, which costs them around $200 a month. They store and manage IoT data for vehicles in real time, generating approximately 30GB of data daily. I’ve noticed that many data engineering jobs use cloud solutions like GCP and AWS. However, due to the high costs (engineers in my country earn an average of $250 monthly, and cloud solutions seem much more expensive), so switching to these providers isn’t an option for the company. My questions are: Is it practical to use open-source tools like Kafka, Cassandra, and Spark on a dedicated server, or will it be too much of…

Hi! I'm a DBA for a SQL Server environment. I have 2 years of experience with it. I know it's not much. Furthmore, it's a really laid back job, there isn't much to do, just managing tickets from time to time. I'm barely learning anything at the job and thats why I spend my time learning stuff alone. I'd like to transition to a Data Engineering role somewhere else one day. I have some basic understanding of SQL and right now I'm learning Python Pandas for data manipulation. What else could you recommend me to do so I can prepare myself in the best way possible? submitted by /u/GoBeyond111 [link] [comments]

Hi All, "Actually i am studying for data engineering role and have seen few comments on the tech channel to predict the competition as freshers i want to know how many candidates are competing for each available role hence I've noticed a significant number of comments on various tech education channels, such as around 10k comments on Data Science learning videos. This trend is similar across other tech channels as well. I'm curious to know if all these viewers are studying for specific roles. If anyone has insights into how YouTube's algorithm works, could you please share? Specifically, I'm interested in understanding if YouTube comments can be used as a metric to gauge upcoming competitio…

I’ve been looking for implementation of CDC using debezium with S3 as a sink, without using kafka connect. Any guidance will be much appreciated. I’m using postgres as the data source btw. submitted by /u/Real-Pea-8932 [link] [comments]

I have been looking into the data cataloging offering specially in open source and I'm arriving to a conclusion that none does everything I'm looking for. When it comes to customisation such as create a custom plugin that adds some UI component, what is for you the best one? I feel it Amundsen but not quite... Looking for some flexibility like airflow has for plugins. Basically, I'm looking to add a data security component to the data catalog that meet my organisation needs. But additional requirements will exist in future to be added submitted by /u/rollingroll89 [link] [comments]

So, I have a relational data model coming out of Dynamics that I need to put into a star schema. My problem is that I have several fact tables that follow a logistic process from one another. For instance, my Leads table tracks all of the Sales Leads we get, which in turn become records in my Opportunities table to track Leads that are being worked, and then those turn into one or more records in my Projects table, which represents work being done on Opportunities that have been sold. In turn, there's also the Activities table, which tracks all activity done at the Lead, Opportunity, or Project level. In an ideal Star Schema, if I wanted to create measures that combine data points from thes…

Hi guys, I am new to the data engineering. I work in the integration team where pull data from the data sources that clients connect. Suppose the Client connects CRM on Day 1 then on Day 1 we pull all the client's CRM Objects (Object means Entities. SF uses the term Object) from that CRM and on the next day we only pull the data that is modified. Now to fetch so much large data, we have to divide the data into multiple jobs, each job representing 1 month. We were using EventBrige and Lambda to fetch the data. We put these jobs into the event bridge and then our lambda runs to process these jobs. The approach is not scaling due to the following reasons: The loss of the message (jobs) is some…

Which programming language Api do you primarily use for developing real time applications that interact with Apache Kafka and Flink in your production environment? You can give a brief explanation of your or your team's reasoning for choosing that language. Thanks in advance for your response View Poll submitted by /u/nifesimii [link] [comments]

I have been working on this project where our team is supposed to pull data from dozens of Social Media and Ad platforms. Is there any reliable python framework or service (think plaid) provides connectors to all these apis? I have tried FiveTran and AirByte, but they get expensive over time. Our team doesn't have the skill set to host the AirByte Open source version on a Cloud platform. submitted by /u/himanshuy [link] [comments]

Learn from Software Engineers and Discover the Joy of ‘Worse is Better’ Thinkingsource: unsplash.comRecently, I have had the fortune of speaking to a number of data engineers and data architects about the problems they face with data in their businesses. The main pain points I heard time and time again were:Not knowing why something brokeGetting burnt with high cloud compute costsTaking too long to build data solutions/complete data projectsNeeding expertise on many tools and technologiesThese problems aren’t new. I’ve experienced them, you’ve probably experienced them. Yet, we can’t seem to find a solution that solves all of these issues in the long run. You might think to yourself, ‘well …

Machine Learning unknowns that researchers struggle to understand — from Batch Norm to what SGD hidesContinue reading on Towards Data Science »

Moving data around can be slow. Here’s how you can squeeze every bit of performance optimization out of Python.Continue reading on Towards Data Science »

How to use Python and OSMnx to create beautiful visuals of global cities’ road networks.Continue reading on Towards Data Science »

Photo by Zdeněk Macháček on UnsplashData modeling is a process of creating a conceptual representation of the data and its relationships within an organization or system. Dimensional modeling is an advanced technique that attempts to present data in a way that is intuitive and understandable for any user. It also allows for high-performance access, flexibility, and scalability to accommodate changes in business needs.In this article, I will provide an in-depth overview of data modeling, with a specific focus on Kimball’s methodology. Additionally, I will introduce other techniques used to present data in a user-friendly and intuitive manner. One particularly interesting technique for modern…

A visual explanation of the math behind decision trees and gradient boostingContinue reading on Towards Data Science »

Navigating the Latest GenAI Announcements — July 2024A guide to new models GPT-4o mini, Llama 3.1, Mistral NeMo 12B and other GenAI trendsImage Created by Author with GPT-4o to represent different modelsIntroductionSince the launch of ChatGPT in November 2022, it feels like almost every week there’s a new model, novel prompting approach, innovative agent framework, or other exciting GenAI breakthrough. July 2024 is no different: this month alone we’ve seen the release of Mistral Codestral Mamba, Mistral NeMo 12B, GPT-4o mini, and Llama 3.1 amongst others. These models bring significant enhancements to areas like inference speed, reasoning ability, coding ability, and tool calling performanc…

Understanding its role in future AI, brain research, and consciousnessContinue reading on Towards Data Science »

Whether you are a Data Engineer, Machine Learning Engineer or Web developer, you ought to get used to this toolHow the antic sun shines upon PydAntic users. Image by Vladimir Timofeev under license to Ilija Lazarevic.There are quite a few use cases where Pydantic fits almost seamlessly. Data processing, among others, benefits from using Pydantic as well. However, it can be used in web development for parsing and structuring data in expected formats.Today’s idea is to define a couple of pain points and show how Pydantic can be used. Let’s start with the most familiar use case, and that is data parsing and processing.Let’s say we have a CSV file with a dozen columns and thousands of rows. The…

How to stop worrying and love the dataGenerated by the author using Midjourney Version 6Definition: eval (short for evaluation). A critical phase in a model’s development lifecycle. The process that helps a team understand if an AI model is actually doing what they want it to. The evaluation process applies to all types of models from basic classifiers to LLMs like ChatGPT. The term eval is also used to refer to the dataset or list of test cases used in the evaluation.Depending on the model, an eval may involve quantitative, qualitative, human-led assessments, or all of the above. Most evals I’ve encountered in my career involved running the model on a curated dataset to calculate key metri…

Modern RAG for modern models.Continue reading on Towards Data Science »

Feeling inspired to write your first TDS post? We’re always open to contributions from new authors.When we encounter a new question, topic, or challenge, taking the first step forward is often the most difficult part. That’s the moment where self-doubt kicks in, our existing knowledge feels hazy and inadequate, and procrastination often appears like the only acceptable choice.Our standout articles this week won’t magically solve every single challenge you’ll ever face as a data scientist or machine learning engineer, but what they do all offer is a pragmatic, action-focused roadmap for overcoming those initial hurdles in the learning process.From expanding your foundational statistics knowl…

An overview of how to leverage streaming using open source tools applied to building a simple agentic chat botThe model of our agentic application. We’ll show how you can build this with streaming so you can create a great user experience. Image by author.In this post we will go over how to build an agentic chatbot that streams responses to the user, leveraging Burr’s (I’m an author) streaming capabilities, FastAPI’s StreamingResponse, and server-sent-events (SSEs) queried by React. All of these are open source tools. This is aimed at those who want to learn more about streaming in Python and how to add interactivity to their agent/application. While the tools we use will be fairly specific…

You will not think about using Regular Expressions anymore.Continue reading on Towards Data Science »

How to extend Bounded Kernel Density Estimation to the 2D case? Let’s explore how to fix boundary bias around the unit disk.Photo by Leo_Visions on Unsplash0. IntroductionMonteCarlo IntegrationNumerical methods become essential when closed-form solutions for integrals are unavailable. While traditional numerical integration techniques like trapezoidal integration are highly effective for low-dimensional and smooth integrals, their efficiency diminishes rapidly, becoming clearly intractable as the dimensionality of the integrand increases.Unlike traditional techniques, the convergence rate of Monte Carlo methods, which leverage randomness to evaluate integrals, does not depend on the dimensi…

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

Каналов про IT в Центральной Азии много, хороших каналов про IT — мало. Наши партнёры из “The Tech” собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥Нажимайте на кнопку ниже и добавляйте папку себе, и оставайтесь в тренде всего самого интересного из IT-мира.#netquiz_partners

Если вдруг вас интересует тема разработки LLM, то вчера стартовал бесплатный курс от ребят из DataTalks.Club — LLM ZoomcampКурс рассчитан на 10 недель в формате живых трансляций и домашних заданий с обсуждениями.Весь необходимый материал в открытом доступе на Гитхабе: https://github.com/DataTalksClub/llm-zoomcamp

100 самых популярных Python докладовНашел в сети подборку из 100 самых просматриваемых докладов про Python: 100 most-watched Python 2023 conference talks ordered by the number of viewsСреди этих докладов популярны темы про Rust, data engineering и оптимизацию производительности.К слову, PyCon US 2024 уже прошел, но в открытом доступе до сих пор нет докладов. Надеюсь на их скорое появление, т.к. там есть на что посмотреть.

На прошлой неделе JetBrains анонсировали релиз их новой IDE для разработки на Rust: RustRoverИзначально это был плагин для их IDE, который в итоге перерос в полноценный продукт. Также ребята решили предоставить бесплатную лицензию на продукт для некоммерческой разработки для всех. Я попробовал и получил бесплатную лицензию на 1 год, возможно в будущем её можно будет продлить.Впервые язык Rust я попробовал ещё в далёком 2015 году, когда вышла первая стабильная версия языка. С тех пор были неоднократные попытки с моей стороны написать что-нибудь существенное, но не было подходящих проектов под рукой. Сейчас же видно, что Rust плотно вошел в экосистему Python и внёс значительный вклад в её раз…

Большая папка с крутыми каналами про IT ⚡️ Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥Переходите по ссылке, добавляйте папку себе и оставайтесь в тренде всего самого интересного из IT-мира:https://t.me/addlist/4zT-2KYP1JYzNGRi

Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (AIP-61 Hybrid Execution)— DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям— @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотрите по ссылке.

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает.Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/

Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым категориям, классификация происходит через OpenAI API.Подписывайтесь, скоро источников с вакансиями станет ещё больше, и возможно именно вы найдёте лучшее для себя предложение — @dataeng_jobs

Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.Велком!

Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лёгкие таски по типу dbt-трансформаций, поэтому при использовании KubernetesExecutor столкнулись с тем, что инициализация Pod занимает больше времени чем выполнение самой задачи. Выбор в итоге пал на CeleryExecutor. В целом статья не столько про нюансы работы Airflow внутри Kubernetes-кластера сколько про опыт эксплуатации инструмента в их конкретном случае. Полезно.В нашей команде Airflow также является ключевым инструментом для выполнения …

Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и DuckDB: DuckDB vs Polars for Data Engineering

Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/dataeng_jobsПопадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀Подписывайтесь

Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

И на всякий случай!Как казаться умным- Спрашивайте "А будет ли это масштабироваться?" независимо от темы разговора- Просите вернуться на один слайд назад без всякой причины- Побуждайте всех "сделать шаг назад"- Повторяйте последнюю фразу инженера, но очень медленно- Спрашивайте, задаем ли мы правильные вопросы- Ходите по комнате- Выйдите и сделайте вид, что получили важный телефонный звонок- Спрашивайте, не смешиваем ли мы несколько вопросов- Перебивайте чье-то обновление, а затем дайте им закончить- В онлайн звонке отправить emoji или reaction, и похвалить спикера- Спросить про следующие шаги и action plan- Уточнить сроки (dead line)- Спросить есть ли у нас OKR и как мы будем их измерить?-…

Ну что тут говорить…. Все так🤱Другой вопрос если с деньгами все порядке, можно себе позволить быть loyal или просто пилить стартапчик для души🍟

Сегодня я узнал новый термин - Data Clean room. Вообще никогда не слышал. Оказывается популярная штука:Databricks: https://www.databricks.com/discover/enterprise-data-platform/clean-roomSnowflaek: https://www.snowflake.com/trending/data-clean-room-for-business-growth/Big Query: https://cloud.google.com/bigquery/docs/data-clean-roomsВозможно опять buzz words и hype, и вендоры как обычно пользуются непониманием 😒По факту это возможность предоставить данные в безопасной среде, где можно применить data masking, раздать права и производить мониторинг/аудит.Все 3 вендора выше имеют функциональность Data Sharing. Но из статей вообще не понятно о чем они…Кто нибудь строил clean room? Именно задача …

📢 Друзья! 📢 В среду на канале DataLearn вебинар! Тема: "Использование RAG и AI-агентов для поддержки клиентов" 🤖💬 🗓 Дата: 24 июля 🕗 Время: 20:00 по МСК 👨‍💻Спикер - CTO Wikibot Роман Чуприков! Ребята уже приходили к нам и рассказывали про LLM модели🌟 …

Продолжаем нашу тему про Lakehouse. Самое важное это формат таблицы (table format).Формат таблиц — это метод структурирования файлов набора данных, чтобы представить их как единую "таблицу". Основная цель формата таблиц — предоставить абстракцию, которая позволяет пользователям и инструментам легко и эффективно взаимодействовать с данными.Форматы таблиц существуют с момента появления реляционных СУБД, таких как System R, Multics и Oracle. Эти системы позволяли пользователям обращаться к набору данных как к таблице, абстрагируя сложные детали хранения данных на диске.В современных системах большие объемы данных хранятся как файлы в хранилищах данных (например, Amazon S3, Azure Data Lake Stor…

Увидел вакансию VP data на зарплату до 217к CAD. При этом иногда Sr Data Engineer 180к-200к, чтобы несколько часов в день код пописать, баги пофиксить и дальше своими делами заниматься и митингов 4 штуки в неделю. Вы точно хотите быть VP в Канаде?!🫣

Теперь про Data LakehouseАрхитектура data lakehouse объединяет преимущества хранилищ данных и озер данных, предоставляя высокую производительность и простоту использования, а также низкие затраты и гибкость.Основные преимущества Data Lakehouse:Сочетание хранилищ и озер данных: Data lakehouse использует механизмы, которые позволяют реализовать функции, характерные для хранилищ данных (гарантии ACID, лучшая производительность, консистентность), на основе инфраструктуры озер данных.Единое хранилище данных: Данные хранятся в тех же местах и форматах, что и в озере данных, но за счет нового формата таблиц улучшаются производительность и гарантии ACID.Уменьшение копий данных: Благодаря ACID-гаран…

Недавно посетила мысль, что телеграмм каналы делятся на 2 типа:1) Телеграмм канал, который ведет автор, и делится своими идеями, мнениями, да хоть предпочтениями во вкусах мороженного. Но сам факт того, что телеграмм канал имеет живое “лицо” как-то располагает и его интересно читать.2) Телеграмм канал, который посвящен какой-то теме, но он обезличенный, “бездушный”. Набор ссылок, новостей, мемов, часто бесполезных и противоречивых.Почему-то с недавних пор 2ой типа каналов совсем стали неинтересны, а вот 1й тип, наоборот. Мне горазде интересной узнать как дела у автора, чем живет, что думает, куда двигается и тп. Это как сериал с любимыми актерами, но только в реальной жизни.А как у вас?

📢 Друзья! 📢В среду на канале DataLearn вебинар! Тема: "Использование RAG и AI-агентов для поддержки клиентов" 🤖💬🗓 Дата: 24 июля🕗 Время: 20:00 по МСК👨‍💻Спикер - CTO Wikibot Роман Чуприков! Ребята уже приходили к нам и рассказывали про LLM модели🌟Что обсудим:🔸 Введение в Retrieval Augmented Generation (RAG) — торт или провал? 🍰❌🔸 Парсинг данных — скучно, но важно! 📊🔸 Разбиение документов на фрагменты и семантический поиск. 📚🔸 Идеальный промпт существует? Как сделать так, чтобы бот отвечал «Я не знаю». 🤔🔸 Первая линия поддержки — корректные ответы на важные вопросы. 🛡🔸 От ответов к действиям — как обучить бота задавать уточняющие вопросы и работать с тикетами.🔸 Бортовой журнал — интерфейс для …

Ежегодная вечеринка с bbq и танцами в центре Ванкувера Surfalytics&Friends

17 августа в Москве будет IT-пикник. Это мероприятие для профессионалов IT-сферы, и на этот раз вход на пикник будет по пожертвованию в один из десяти благотворительных фондов. 💡💻В программе IT-пикника:📚 Лекции от топовых спикеров🛠 Воркшопы для взрослых и детей🔬 Научпоп-программа🎮 Интерактивные зоны🎵 Музыкальная программаРебята из Карельского регистра доноров костного мозга, который помогает пациентам с лейкозом найти совместимого донора стволовых клеток, попросили рассказать про мероприятие и упомянуть их фонд, так как участники it-пикника сами выбирают, в какой из благотворительных фондов будет перечислен их взнос. Все фонды с хорошей репутацией и заслуживают доверия. Каждый из них решает…

Что пишут про главный сбой Microsoft?Перевод поста Gergely Orosz, автора Pragmatic Engineer.Ух ты: мы находимся в середине, вероятно, крупнейшего глобального программного сбоя: аэропорты, больницы, аптеки, авиакомпании, железнодорожные службы, телекомпании, супермаркеты и многое другое не работает. Вот что мы знаем:(Ниже фото из аэропорта Сиднея, где большинство экранов показывают синий экран смерти Windows, а планы путешествий нарушены из-за этого сбоя.)Сбой затронул машины на Windows, которые используют Crowdstrike для защиты конечных точек (антивирус, файрвол, обнаружение вторжений, шифрование и контроль приложений).Crowdstrike - это компания по кибербезопасности, оцененная в $80 миллиар…

Все так - white male - это самый главный minority на западе🫣

Обучаем IT-специалистов и берём в команду ⚡️Лучших выпускников пригласим на интервью и предложим карьерный фаст-трек до мидла в Т1.🎓 Открытые школы Т1 — это месяц онлайн-интенсива с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.Зачем участвовать?⚙️ Уникальный рыночный опыт. Одними из первых на рынке внедряем технологии для управления данными. В ближайшем будущем ими будут пользоваться большинство крупных предприятий страны.⚙️ Попасть в число лучших. Проекты Т1 ежегодно получают лучшие награды на ИТ-конкурсах: Global CIO, Национальная банковская премия и др.⚙️ Поддержка. Нам у…

За что мы любим маркетингТак уж получилось, что где маркетинг — там и аналитика, потому что как еще посчитать, окупилась ли реклама?А где аналитика, там где-то рядом и маркетинг как один из главных заказчиков.🔜 Поэтому хоть мы тут и про данные, но маркетологов любим и за новостями из сферы рекламы следим. Например, на канале «Двухметровый маркетинг» про небанальные способы продвижения в разных сферах. Про наши любимые темы про ИИ и технологии посты тоже бывают. Это, кстати, не просто канал. @marketing2meters — это человек и пароход еще и digital-агентство, которое помогает брендам разрабатывать приложения, продвигаться и находить клиентов — в том числе, в Telegram. Сам канал ведет основател…

Как построить сквозную аналитику в компании?Отвечает… нет, не Александр Друзь.🔜 25 июля в 19:00 по Москве Николай Валиотти расскажет про создание системы аналитики на бесплатном вебинаре. Это будет эфир про данные, но не для аналитиков, а для предпринимателей, руководителей отделов, маркетологов, продакт-менеджеров. Так что будет много практики и решения проблем бизнеса и мало — технических тонкостей и терминов.💙 Николай не просто создал этот канал, но и основал успешный дата-консалтинг Valiotti Analytics. С 2019 года в портфолио команды собралось уже больше 40 успешных кейсов, 2 из которых разберут на вебинаре.На их примере слушатели узнают:🔵Как понять, что уже пора строить серьезную анали…

Microsoft выложила GraphRAG на GitHubGraphRAG — это технология от Microsoft, которая строит графы с помощью LLM на основе данных, с которыми раньше не работала. То есть тех, которые не использовались для обучения модели.Она обрабатывает весь набор данных, выявляет упоминающиеся в нем сущности и находит связи между ними. А затем создает сложный граф, где каждый кружок — это отдельная сущность. Размер зависит от количества связей с кружками, а одинаковыми цветами раскрашиваются близкие по смыслу объекты.🔜 Таким образом можно обработать большие массивы текстовых данных — например, архивы переписок, документы или исследования. А затем искать среди них нужную информацию.Особенность технологи в т…

LEFT JOIN pinned a photo

Карьера в Data — новый проект LEFT JOINПоиск работы — занятие утомительное. Надо обновить резюме, перерыть гору вакансий, потратить время на сопроводительные, тестовые и собеседования... Не то, чем хочется заниматься без необходимости.С обратной стороны тоже не все гладко: из огромного числа откликов предстоит отобрать подходящие, провести серию собеседований и заинтересовать кандидата.💙 Мы LEFT JOIN решили, что в наших силах сделать этот процесс приятнее для всех участников — так уж получилось, что у нас большая аудитория, где есть и работодатели, и потенциальные сотрудники. Так что почему бы не создать для них специальный канал, где они смогут найти друг друга.Канал так и назвали — Карьер…

Путь к карьере аналитика начинается здесьСтудентам говорят, чтобы они забыли все, чему их учили в школе, начинающим специалистам — чтобы забыли все, чему их учили в университете. Будто образование, даже очень качественное, не подготовит к тому, что ждет дальше.Но, конечно, хотелось бы, чтобы было иначе. Особенно, когда речь заходит про онлайн-курсы, куда идут за новой профессией. Хочется верить, что они действительно помогут найти работу и уверенно себя чувствовать на ней.🔜 Мы тут собрались (в основном), потому что любим данные и SQL, так что нам особенно близка тема курсов по аналитике.Особенность сферы в том, что в ней очень важно понимать требования бизнеса. Не просто писать красивые зап…

ИИ-поисковик по мемам и не толькоУ предпринимателя Харпера Рида было 12 000 картинок с мемами, желание разобраться, что такое «векторные представления», и некоторое количество свободного времени. Все это привело к тому, что он создал простое приложение на основе мультимодальных моделей CLIP и siglip, которое умеет искать по картинкам.Оно принимает как текстовые запросы, так и изображения. В первом случае оно подберет картинки, соответствующие запросу, во втором — найдет похожие в своей базе.🔜 Работает с любыми изображениями. То есть его можно использовать не только поиска мемов для важных переговоров в интернете, но и, например, чтобы искать по фотографиям в галерее. Вдруг вам нужно операти…

В российских вузах начнут готовить специалистов по ИИРоль ИИ постоянно растет, и он постепенно проникает во все сферы деятельности — от науки до повседневной жизни. Так что неудивительно, что в разных странах уже появляются целые программы в вузах, посвященные искусственному интеллекту. И в России тоже. 🔜 В новом учебном году Яндекс и Сбер запускают вместе с НИУ ВШЭ, ИТМО, МФТИ и Университетом Иннополис программу AI360 или ИИ360. Там будут готовить специалистов по ИИ, которые будут двигать вперед науку и технологии. А если конкретнее — ML-исследователей и AI-архитекторов.Что ждет студентов? 🔵 Фундаментальная подготовка с углубленным изучением математики.🔵 Доступ к технологиям от Яндекса и С…

Data Heroes: интервью с Марией Бородецкой«Синхронизация» — онлайн-школа, где рассказывают про культуру, искусство, психологию и софт-скиллы. Соосновательница Мария Бородецкая говорит, что это уже не совсем эдтех, а скорее проект по саморазвитию, и его главный конкурент — не другие школы, а Netflix.Про что еще поговорили?🔵 Как проект прошел путь от лекций «для себя и для друзей» до успешного стартапа и пережил ковид.🔵 Почему оффлайн — это лакшери, а за онлайном и искусственным интеллектом будущее.🔵 Какую роль играет культурный код при выходе на международные рынки.🔵 Почему маркетинг — это здорово, но учиться лучше на философа, математика или искусствоведа.🔵 Какие метрики бизнеса самые важные…

Box plots: датавиз не для всехСмысл визуализации данных — в том, чтобы представить сложную информацию наглядно и понятно. Так, чтобы человек мог быстро в ней разобраться и извлечь что-то полезное для себя.Но иногда что-то идет не так.Вот давайте честно, вам нравятся box plots — они же «ящики с усами» или диаграммы размаха?💬 Если не знаете, что это, то вот объяснение на русском, а вот — видео на английском.В теории это прекрасный способ визуализации, в который очень плотно упакован большой объем информации:🔵 максимальное, минимальное и медианное значения;🔵 квартили и асимметрия данных — если в каком-то квартиле сильный разброс значений, это будет видно по длине «уса» или «ящика»;🔵 сравнение …

Postgres против всехЧем сложнее проект, тем длиннее и запутаннее стек — это не всегда удобно, но неизбежно.Или нет.Часто стек растет, потому что под каждую задачу или проблему стараются подобрать наиболее подходящий инструмент. Но как выбрать этот «подходящий инструмент»? На что смотреть — на цену, скорость работы, простоту использования?Или просто выбрать PostgreSQL? 👀Нашли для вас короткую статью, почему вместо раздувания списка инструментов иногда можно просто выбрать проверенный временем, универсальный и понятный PostgreSQL.Хотя по сути дело даже не в конкретной БД — на месте PostgreSQL может оказаться любой другой вариант. Дело в самом подходе — не усложнять себе жизнь, внедряя множест…

Внедрили аналитику на старте и увеличили прибыль до 1,2M$Недавно в комментариях попросили «что-нибудь посложнее». Окей, есть и посложнее.💬 Как с нуля построить аналитику для быстро растущего стартапа?💬 Как на практике выглядит «data-driven подход», и как данные помогают принимать решения в бизнесе?💬 Какие знакомые любому предпринимателю проблемы решает аналитика?Разбираемся на реальном примере кейса Valiotti Analytics — кастомной системе аналитики, которую сделали для EdTeh-стартапа Refocus. Мы присоединились к проекту прямо на старте и построили инфраструктуру по работе с данными, которая росла вместе с компанией. От двух отчетов с данными из AmoCRM она выросла в полноценную систему из 40+…

Стратегия управления на основе данныхData-driven подход — это такая штука, к которой все стремятся, но не все понимают, что это такое и как к этому прийти.▶️ Data-driven — это подход, когда все решения в компании принимаются на основе цифр. Чтобы этого добиться, нужно твердо понимать, зачем эти цифры нужны, о чем говорят и как влияют на развитие бизнеса. Система аналитики должна быть максимально согласована с целями и с миссией компании.▶️ В идеале к этому состоянию надо идти по определенным шагам. Чтобы не превращать пост в простыню, вынес их на карточки. Но что надо обязательно учесть: в реальности у большинства компаний нет точного понимания, как должна выглядеть аналитика и какие данные…

💙 Новый интересный пост от создателя LEFT JOIN и фаундера Valiotti Analytics на канале Коля Валиотти • Дата консалтинг про данные и внедрение data-driven подхода в компании!

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

Бесплатный курс по Python для аналитиков с 0 🔥❗️ Будущим аналитикам на заметку: специально для тех, кто ищет классное обучение для вкатывания в аналитику и не готов рисковать в вопросах карьеры, приглашаем начать свой путь с бесплатного курса «Основы Python».Курс максимально практикоориентированный — 10 глав, 100+ практических заданий и 3 бизнесовых проекта для вашего портфолио. В «Основах Python» мы заложим фундамент работы с языком Python (даже если вы никогда не программировали!) и покажем, как применить его к вашим рабочим задачам.После прохождения уроков вы сможете решить несколько сложных бизнес-задач — автоматизировать обработку кассовых чеков или контролировать просроченные платежи.…

Проходить собеседования — это навык. Если в 2024-м вы хотите — меньше волноваться на собесах,— эффективнее отвечать на вопросы и грамотно задавать их,читайте канал про собеседования в IT, где собран опыт и кандидата, и работодателя.——————🔹Булат ходит на собесы из азарта и интереса и пишет, что да как: какие были этапы, какие задавали вопросы.Лонгрид раз — про интервью к поставщику и разработчику технологий для биржДва — про интервью в финтехТри — в Medtech 🔹Булат сам нанимает сотрудников и рассказывает, почему кандидату отказали. Лонгрид раз — про закрытые ответы Два — про улыбку и болтовню Три — про кандидата, который спорил—————✅Подписывайтесь, чтобы быть готовыми к собеседованию, а в слу…

В команду штаба блока «Daily Banking» ищем Middle Data analyst c навыками SQL и уверенными знаниями в области математической статистики 👨‍💻Работа предполагает поиск целевой аудитории и формирование выборок клиентов, проведение аналитических исследований, формирование гипотез и разработка новых метрик для бизнеса.Предлагаем привлекательные условия: ежегодный пересмотр зарплаты, годовую премию, расширенный ДМС с первого дня, ипотеку выгоднее до 4% и корпоративную пенсионную программу ✅Подробнее о вакансии по ссылке

Не будем утомлять вас рассказами о ДМС, крутых офисах и других плюшках. Вот главное о том, почему продуктовые аналитики выбирают Т-Банк:➖Актуальный стек. Здесь следят за трендами и быстро внедряют новое. ➖Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.➖Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите, можете стать ментором для младших коллег.➖Общение на «ты». Так проще.➖Здесь развивают комьюнити. Можно участвовать в митапах и подкастах.Больше о вакансиях здесь Реклама. АО «Тинькофф Банк», ИНН 7710140679

💚 Хотите получить рекомендации от опытного продуктового аналитика? В Авито запустили программу менторства, доступную для каждого, кто стремится к развитию и росту. Например, Егор Беседин, Head of Monetization Analytics, поможет вам оценить и развить компетенции, спланировать карьерный трек и управлять командой. Но это не всё — в Авито есть другие менторы с уникальным опытом.🔍Если не знаете, что делать:• при оценке и развитии своих компетенций, а также планировании карьерного пути• в управлении командой: цели, аналитические процессы, роли• в выстраивании процессов найма в организации и командеНайдите ментора из Авито здесь: Getmentor.Есть разные форматы работы: платные встречи или сессии за …

Какой путь к работе мечты самый короткий? Конечно, One Day Offer от Сбера! 😉 Если ты Data Analyst или Data Engineer, мы ждём тебя 27 июля. Получи возможность пройти fast-интервью, познакомиться с командой и забрать долгожданный оффер всего за один день.Наша команда разрабатывает и внедряет DS-решения в точки касания клиента со Сбером: отделения, мобильное приложение, банкоматную сеть и т.д. Мы работаем с технологиями Python, Spark, SQL, Hadoop, GreenPlum и за год внедряем более 200 моделей.Тебя ждут интересные и разноплановые задачи 👇▪️ Обучение всех типов моделей искусственного интеллекта: от классического ML до глубоких нейронных сетей.▪️ Создание высокотехнологичных сервисов: от систем п…

💛💛💚❤💛❤💛⤵❓Утопаете в данных и не знаете, как их эффективно визуализировать? Мечтаете об инструменте, который поможет создавать наглядные и информативные дэшборды? ✨Представьте: вы с легкостью подключаетесь к любым источникам данных, создаете интерактивные графики и диаграммы, а ваши дэшборды вызывают восхищение у коллег и руководства!Хотите это реализовать? Открытый урок «Знакомство с Apache Superset. Установка, настройка и базовый функционал» — ваш первый шаг к освоению мощного инструмента для визуализации данных! 23 июля в 20:00 мск присоединяйтесь и узнайте, как легко и быстро превратить данные в указатели для дальнейших действий компании. 🔗Записывайтесь по ссылке прямо сейчас, чтобы посе…

Вы тоже сможете вырасти до хардового аналитика уровня Middle+. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!Три месяца назад мы уже писали про этот курс. Сейчас пишем еще раз, потому что у курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили.—————📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах.🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои нав…

⚠️ Центральный Университет в поиске Академического лида курса PythonКандидат должен быть готов к:- Созданию Game Change истории, находя оптимальный баланс между академическим обучением и современными EdTech-решениями.- Созданию прочных связей между учебным процессом и реальными потребностями работодателей.- Созданию Legacy с нуля, обладая при этом исключительной гибкостью и способностью быстро адаптироваться к требованиям современного рынка.# Портрет кандидата:На собственном опыте знает всю широту возможностей языка программирования Python, от бизнес-аналитики до машинного обучения и разработки. Опыт работы в индустрии и образовательной среде позволяет ему понять и задизайнить в курс ключев…

Вебинар: Разбираемся с продуктовыми метриками с нуля 🔥Хотите узнать какие метрики необходимы бизнесу? Как их выбирать и правильно оценивать? Присоединяйтесь на новый вебинар по продуктовым метрикам 🚀В прошлом месяце мы проводили первую часть вебинара по продуктовым метрикам, он очень понравился зрителям, но мы не всё успели разобрать. Поэтому мы решили провести новый вебинар.На этом вебинаре мы продолжим разбираться с продуктовыми метриками, подробно поговорим о метриках вовлеченности и обсудим, почему бизнес нужно строить вокруг retention.📅 Дата: 9 июля (вт)🕘 Время: 19:00 по Мск🔗 Доступ к трансляции придет в бота, записывайтесь → ссылка.Вебинар подойдет даже если вы только-только начинаете…

💛💛💚❤️💛❤️💛⤵️❓Устали от скучных и статичных дашбордов?👉🏻Хотите создавать интерактивные и визуально привлекательные дашборды, которые оживят ваши данные?Тогда вам сюда!На открытом уроке «Создание кастомных дэшбордов с помощью Plotly Dash» вы:- познакомитесь с Plotly Dash — мощной библиотекой для создания интерактивных веб-приложений и дэшбордов;- научитесь превращать сырые данные в понятные и красивые визуальные единицы;- сможете создавать удобные и функциональные интерфейсы для взаимодействия с данными.Присоединяйтесь 9 июля в 20:00 мск и станьте мастером визуализации в аналитике данных!8️⃣9️⃣🔟Регистрируйстесь сейчас по ссылке: https://otus.pw/XZLw/Реклама. ООО «Отус онлайн-образование», ОГРН…

Открыт демо-доступ к курсу Data Warehouse на базе dbt для инженеров и аналитиков данныхЭтот курс - не просто обучение, а полноценный тренажер, где вы освоите один из самых востребованных инструментов аналитики, решая сложные практические задачи. Изучите DataOps практики, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные.В тренажере вы освоите: 1. Типы хранилищ данных DWH и их построение 2. Подготовку и тестирование данных, Data Quality 3. Построение ELT-pipelines 4. Моделирование данных на базе dbt и PostgreSQL 5. Принципы работы с СУБД на базе Postgres 6. Продвинутую аналитику и визуализацию данных 7. Современные DataOps-практики, оптимизацию производительности и…

level up вашей карьеры инженера данныхУ вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.После обучения вы научитесь учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.Получите скидку 5% …

Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию.Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений — в карточках собрали несколько ключевых, которые познакомят вас с профессией руководителя в IT поближе. А по поводу новой информации: в Практикуме появился курс по управлению командой разработки с воркшопами, личными консультациями и интерактивным учебником. → Начните учиться бесплатно

🔄Представьте, что вы работаете с большими объемами данных, но каждая попытка обработки информации занимает часы, если не дни. Вы сталкиваетесь с проблемами масштабирования и сложности потоков данных, что тормозит ваш проект и мешает достигать поставленных целей.А теперь представьте, что время обработки данных сокращается в разы благодаря использованию продвинутых технологий стриминга. Вы спокойно справляетесь с любыми объемами информации, легко направляя потоки данных так, как вам нужно. Вы больше не испытываете трудностей с масштабированием и сложностью проектов.🟡 Приходите на наш практический открытый урок «Spark, знакомство с структурным стримингом» 27 июня в 20:00 мск.Занятие будет поле…

Пятничный юмор☺️

https://www.checklyhq.com/blog/300ms-from-every-pod-startup-with-a-single-grafana-queryСтатья не про data engineering, но удивительная борьба за 300ms и savings в $5.5к.Напомнило историю про бекдор через ssh, когда один из инженеров заметил, что команда выполняется на 0.1 сек дольше@ohmydataengineer

https://discord.com/blog/how-discord-uses-open-source-tools-for-scalable-data-orchestration-transformationА тут о том, как Discord съезжал с своего собственного оркестратора на Dagster@ohmydataengineer

https://www.canva.dev/blog/engineering/product-analytics-event-collection/Небольшая статья с поверхностным описанием того, как у Canva (ага, той самой которая жила с одним большим кликом) ведется работа с эвентами.@ohmydataengineer

Пятничный юмор!☺️

https://www.notion.so/blog/building-and-scaling-notions-data-lakeО том как Notion стоил свой data lake. Спойлер: начинали также, как Figma, с одного большого Postgres. Потом много шардов Postgres, и только потом Snowflake.А потом их он заколебал 💩@ohmydataengineer

Пятничный юмор 😄@ohmydataengineer

https://medium.com/@fengruohang/database-in-kubernetes-is-that-a-good-idea-daf5775b5c1fОч большое внятное чтиво про то, хорошо ли пихать базы данных в кубирнетис (с) или нет.@ohmydataengineer

Журнал "Зарплатник" @zarplatnik_mediaВот это название, конечно 😄Ко мне пришел Тагир с канала @tagir_analyzes, попросил рассказать про его канал "Зарплатник" @zarplatnik_mediaИ раз уж у меня канал на русскоговорящую аудиторию, знания про рынок РФ (условия работы, зарплаты и так далее) - штука актуальная. В канале описываются анонимно позиции в компаниях, бенефиты, условия работы и так далее. Какое-то представление о текущем рынке можно составить.НО помните, что любая смена работы - штука индивидуальная и ваша компенсация может сильно отличаться (в обе стороны). @ohmydataengineer

Сколько их уже было: Pandas, Dask, Ray, Polars. Вот еще прибыло - Dafthttps://www.getdaft.io/@ohmydataengineer

https://medium.com/walmartglobaltech/reliably-processing-trillions-of-kafka-messages-per-day-23494f553ef9Неплохая статья из инженерного блога Wallmart о том, как они процессят over9000 сообщений в Kafka.@ohmydataengineer

https://www.wired.com/story/epam-snowflake-ticketmaster-breach-shinyhunters/Тут подкинули деталей про утечку у Snowflake. Все просто и банально, установил малварь себе на компуктер.@ohmydataengineer

https://medium.com/@kywe665/unity-catalog-oss-with-hudi-delta-iceberg-and-emr-duckdb-710ab8f8a7dcDatabricks выложил свой Unity Catalog в open-source (https://www.databricks.com/blog/open-sourcing-unity-catalog) и народ уже начал к нему всякое подключать. @ohmydataengineer

Пятничный юмор или самый частый вопрос в DE😄@ohmydataengineer

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

Channel name was changed to «data_apps»

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось бы, тривиальная задача — взять данные из АПИ и положить их в базу. В целом так! но есть ньюанс >_>когда команда начиналась, была одна сеть. Потом добавилась ещё пара. Через какое-то время клиенты начали просить добавить «ещё одну». Спустя несколько лет мы имеем 20+ сетей, к каждой свой коннектор и бегущие джобы.в плохой день, открыв утром чат с алертами, можно найти простыню из ошибок: несколько джобов ночью падало, сколько-то потом отпус…

🙅 no more* AI * вольный перефраз оригинального заголовка https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/ коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!) ключевая мысль статьи — «вам не нужен…

🙅 no more* AI* вольный перефраз оригинального заголовкаhttps://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!)ключевая мысль статьи — «вам не нужен AI только если вы не ресёрсч лаборатория» — звучит очень свежей посреди этого аи-хайпа вокруг⌘⌘⌘вашей компании не нужен AI! скорее всего в ваших продуктах уже достаточно аи: ваш антивирус сканирует файлы, фаерволл определеяет подозрительные по аномалиям (а почта исправно фильтрует спам)ведь по факту получается, что вы тащите в свой прод экспериментальную (!) технологию с недетерменированным выводом (!!), в которой у вас нет экспертизы (!!!) и вы …

👷 решения из реального мираодин из источников данных для нашей команды — внешние API. Каждый день мы запрашиваем новые данные и иногда пере-запрашиваем исторические.и вот внезапно в одном источнике упёрлись в лимит запросов. джоба падает с ошибкой, лаг в данных растёт, скоро начнутся вопросики от потребителей.собрались мы, значит, и стали думать как такого избегать.чисто по-инженерски тут же начали предлагать написать какую-нибудь лямбду, чтобы она каждый день ходила в апи и спрашивала сколько осталось до лимита. Ответ будем слать в датадог, где настроим алерты по порогам. Красота!… но лямдбу-то надо ещё написать, плюс она будет сама по себе отжирать из тех же лимитов на запросы. А потом вс…

😱 етл-таски в очереди по ~23 часав Яндекс Го была довольно стандартная (да ведь?) дата-архитектура: были дата-лейк на YT и DWH на Greenplum. Вначале все данные попадали в лейк, там как-то предобрабатывалось и потом можно было залить в GP для всяких там джойнов и прочих оптимальных доступов.Два наблюдения:- между YT и GP случались заторы — данные туда-сюда заливались немаленькие и задача перекладывания джейсонов между базами довольно нетривиальная- одного не самого инженера могло быть достаточно, чтобы сделать GP плохо ( :wave: ) — как-то ко мне пришёл наш ДБА и попросил засунуть в остановить свой запрос и немного его оптимизировать перед следующим запуском⌘⌘⌘Проблема, видимо, распространённ…

🍅 middle →→→ seniorhttps://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-seniory Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сторону помидорства⌘⌘⌘в первую очередь от синьора ожидают, что он автономно решает проблемы — от предложения рабочего решения до его имплементации, включая переговоры (!) с нужными сторонами и развитие коллег✓ непрекращающееся развитие — всегда готов научиться чему-то новому и рассказать об интересном ✓ действительно крутые штуки делаются вместе, поэтому развитие команды — ключевая необходимость→ направления на подумать: вдумчивые и развивающ…

😱 забанили в LinkedInслучилось страшное! дело было после мобилизации, когда я активно искал работу за бугром.каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов на мои холодные запросы так никто и не ответил — оно и понятно, в те месяцы у них кажется был особо большой наплыв соискателей.однажды, зайдя в линкедин, я увидел просьбу подтвердить свою личность. Прислав им в форму скан паспорта (О_о), они обещали ответить в ближайшее время. Спустя сколько-то дней пришло письмо, что «ваш аккаунт заблокирован по причине нарушений правил»от неожиданность я растерялся, но всё же попросил их уточнить что за пр…

data будни pinned «👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!…»

🎠 астрологи объявили неделю иипоэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкусI. подкаст «вы находитесь здесь»мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучения: первые автоматоны, первые соревнования по распознаванию текста и картинок, первые гонки беспилотных машин и т.д.всё разбито на идеальные серии по ~25 минут — удобно слушать в дороге или на обеде. Каждая серия раскрывает свою тему. Рекомендую.https://libolibo.ru/nowyouarehereII. выпуск Подлодки про приложения на ллминтересный гость с кучей релевантного опыта и чётким, структурированным рассказом — помогло связать в голове разные кусочки…

👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!⌘ до 30 лет работал менеджером по логистике — следил, чтобы контейнеры из Китая и фуры из Европы исправно привозили нужные товары. → потом отучился на аналитика данных в Практикуме (в самой первой когорте, хе-хе), после него два месяца искал первую работу по новому профилю.⌘ работу нашёл в отделе маркетинга торгового центра — спасибо ребятам за доверие! помню, как пришёл к ним готовый анализировать их данные с пандасом наперевес… а данных-то…

🗿 этому каналу не хватало лица!вы могли заметить, что тут помимо сухих ссылок стало больше появляться всяких «что вижу вокруг», «что про это думаю» и «помогите разобраться дурачку» не хочу делать из канала сми с контент-планом и заданным количеством постов в неделю, поэтому планирую дальше вести в духе дружеского чатика по интересам. как и любой подобный чатик, канал может затихнуть на месяц, а потом начать выдавать по посту-два в день ¯\_(ツ)_/¯ кажется чуток странным вести в таком духе анонимный канал (там правда подписано, но официально-то мы друг другу не представлены!)в общем вот:

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

Иногда сесть за руль и доехать до пункта назначения занимает 15 минут, а найти место для парковки — в два раза больше. Бывший технический директор Авито Роман Павлушко создал стартап, который решает эту проблему в крупных российских городах. Самат расспросил Рому о деньгах, команде и перспективах.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Основы работы с Git»: https://ya.cc/t/X2V0hT_f5AyGGn?erid=2SDnjdmt3ea ❗️Мы пробуем видео! Этот, следующий и предыдущий эпизод выходят с видеоверсиями. В них — примерно то же самое, но с лицами и иллюстрациями. Ссылка на видеоверсию этого эпизода: https://youtu.be/DkGl-wTJN5s Подписывайтесь на YouTube-канал студии «…

Когда мы говорим об искусственном интеллекте, обычно представляем себе ChatGPT от OpenAI. Но собственные продукты есть еще и у Microsoft, Google, Meta, Mistral, Apple... Илон Макс, который, кстати, был одним из соучредителей OpenAI, тоже пообещал сделать свой AI — он хочет «понять природу Вселенной». Кто всё-таки главный на рынке? Как создают современные нейросети? И каким может быть следующий прорыв?Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Инженер по тестированию: от новичка до автоматизатора» https://clck.ru/3B8rmu?erid=2SDnjesH1ri❗️Мы пробуем видео! Этот и следующие два эпизода выйдут с видеоверсией. В них — примерно всё то же самое, но с лицами и иллюстр…

Активные пользователи наверняка замечали, что в последние годы их ленты в соцсетях стали выглядеть по-другому, а блогеры и интернет-бизнесы жалуются на падение охватов. Во всем виноваты алгоритмы? Куда бежать от умных лент? Разбираемся, как устроены популярные соцсети с Йованом Савовичем, создателем Лепрозория и dirty.ru.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Разработчик C++»: https://clck.ru/3B8p9y?erid=2SDnjdh8w6rМы пробуем видео! Следующие три эпизода выйдут с видеоверсией на YouTube-канале студии «Либо/Либо». Подпишитесь, чтобы не пропустить: https://youtube.com/@libolibostudio?feature=sharedСлушйте бонусные эпизоды «Запуск++», а еще другие бонусы студ…

Помните, как несколько месяцев назад в российских СМИ писали, что в марте этого года VPN заблокируют? Сейчас июнь, а мы по-прежнему им пользуемся. Что пытались сделать власти и что из этого вышло? Безопасно ли подключаться к бесплатному VPN и как вообще работает эта технология? Почему скорость интернета упала и как обычным пользователям сохранить к нему доступ? В этом выпуске Самат Галимов говорит с Михаилом Климарёвым — руководителем проекта VPN Generator и исполнительным директором фонда «Общество защиты интернета».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Какую профессию выбрать в анализе данных»: https://clck.ru/3B8mbg?erid=2SDnjdpNnNvК этому э…

Представьте себе свитки с текстами, которым 2000 лет. Они спеклись при извержении Везувия, и их почти невозможно развернуть. Прочитать рукописи — звучит как совсем невыполнимая задача. Но сотни технарей уже больше года пытаются расшифровать античные тексты на конкурсе The Vesuvius Challenge. Как у них получается и зачем они это делают? Откуда взялись эти свитки? И почему из-за них в Европе готовы подвинуть целый город? Чтобы разобраться, Самат Галимов говорит с участником конкурса Антоном Репушко.Сайт конкурса: https://scrollprize.orgРеклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Фронтенд-разработчик» для тех, кто хочет освоить профессию с нуля или сменить направл…

30 января все сайты с доменом .ru и некоторые приложения на несколько часов перестали открываться. Пользователи стали переживать, что интернет в России отключают. На самом деле случился сбой в протоколе DNS. В этом эпизоде разбираемся, как этот протокол устроен и какая ошибка привела к падению Рунета.Эпизод про шифрование: https://pc.st/e/4Hy~u9W_OixРекомендации от гостя: 1. Книга «DNS and BIND», авторы Cricket Liu and Paul Albitz2. Блог CloudFlare, статья про DNS https://www.cloudflare.com/en-gb/learning/dns/what-is-dns/3. Курсы компании ICANN https://www.icann.org/en/beginnersСлушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0…

Как скачать из интернета фильм, музыку или программу, минуя единый сервер? Что сделало пиратов народными героями и почему невежливо уходить с раздачи? Этот выпуск — о протоколе BitTorrent. О том, как он озолотил своего создателя, снова разозлил Голливуд и стал окном в мир массовой культуры для миллионов людей. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeJsoGcКурсы английского для работы в IT от Практикума:https://clck.ru/38QNxFАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

«Будь проще и люди к тебе потянутся» — девиз формата gif. Он действительно прост и не меняется последние 30 лет. Как раз за это его все и любят. Гифка - это больше чем формат: это идея. Это способ упаковать многое в малом. Это память о временах раннего интернета. Это инструмент цифрового художника, но самое главное - это оптимальный способ показать другому человеку в интернете самые тонкие нюансы наших эмоций. В этом выпуске разбираемся, за что интернет полюбил формат gif.erid: 2SDnjf3ZJ4GКурс «Продвинутый Go‑разработчик»: https://clck.ru/37psA2Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033Авторы сценария: Иван Грабарник и Евгения Щербина. Редактор: Евгения ЩербинаПро…

Гнусавый перевод голливудских боевиков, домашний архив с детскими стихами, прочитанными с табуретки, и доступное порно — всё это стало возможным благодаря форматам VHS и DVD. Сначала кассеты, а потом диски принесли видео в каждую гостиную, заполнили наши серванты и — ушли в прошлое под натиском цифровой революции. Или не совсем? В этом выпуске Самат Галимов рассказывает об истории видеореволюции, которую устроили VHS и DVD, и очень много ностальгирует.Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckdd4LКурсы английского для работы в IT от Практикума:https://clck.ru/37jsSPАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паш…

Почему нельзя просто взять и распечатать любой документ на принтере? Где хранить цифровую память человечества? Как излечить головную боль и художников с дизайнерами, и американской налоговой службы? В этом выпуске Самат Галимов рассказывает, как из попыток ответить на эти вопросы родился один из самых надежных и долговечных форматов электронных документов - PDFРеклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeKAEaCКурс «Инженер данных» в Практикуме:https://clck.ru/37JGtnАвтор сценария: Иван ГрабарникРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

30 лет назад, чтобы послушать любимую песню, нужно было пойти в магазин, отстоять очередь и купить дорогой диск, на который умещалось всего девять композиций. Всё изменил один немецкий ученый, который придумал революционную технологию сжатия звука. Благодаря ей диски стали не нужны - теперь всю музыку мира можно было бесплатно слушать с компьютера, а потом и положить в карман. Новая технология чуть не разорила лейблы и развязала самую кровавую войну в интернете — войну авторов контента с пиратами. В этом выпуске Самат Галимов разбирается в истории создания самого популярного аудиоформата в мире — mp3. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckUYJ4Узн…

Вы помните ваш ник в аське? А каким был первый русскоязычный блог? Или, может, когда вы родились, интернет уже был привычной частью жизни? Мы записали новогодний спешл о том, как в России появился интернет, что менялось в нем со временем и как он стал для нас таким важным. Герой этого выпуска — Дмитрий Морозовский — человек, который всю жизнь занимается развитием рунета. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37GttY Материалы из выпуска: Первый выпуск «Вечернего интернета» Антона Носика: https://web.archive.org/web/20190507075313/http://gagin.ru/vi/24dec1996.htm Выпуск «Газеты.ру» 1999 года: https://web.archive…

Вастрик уже больше 10 лет ведет блог для технарей — понятно и с мемами рассказывает о квантовом компьютере, вычислительной фотографии, Вебе 3.0 и других сложных технических штуках. Самат Галимов расспросил его, с чего начался один из самых популярных блогов про технологии в российском интернете, чем погружение в сообщество похоже на знакомство в баре, как избавиться от хейтеров и создать здоровую обстановку в блоге и сколько можно зарабатывать на всём этом. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37DT9U В выпуске мы упоминали: Выпуск про квантовые вычисления https://pc.st/e/7ByFIcwxgcv Пост Вастрика про переезд …

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

Ведущие — Михаил Корнеев и Григорий Петров

В этом выпуске обсудили самые интересные и запомнившиеся новости последних двух месяцев. Ниже собрали ссылки на все новости:

JIT-компиляция в Python 3.13

Jetbrains выпустили отчет State of Developer Ecosystem 2023

Python Packaging, One Year Later: A Look Back at 2023 in Python Packaging Самые популярные библиотеки 2023 Вышел Django 5.0 У PSF появился свой Community Communication Manager С 1 января для публикации на pypi должна быть настроена 2fa Why Python is terrible? Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуск…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров В этом выпуске обсудили самые интересные и запомнившиеся новости 2023 года Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Михаилом Вознесенским, руководителем группы разработки почтовых решений RuPost (входит в «Группу Астра») и обсудили следующие темы: какая часть кода используется для внешних API и для другого или насколько валидно писать комментарии для документации

«историю должен рассказывать сам код»

«если есть хороший docstring, то ide или настроенный редактор покажет развернутое описание аргументов»

от чего защищает линтер

голосовые сообщение, как коммент в коде

добавление метаинформации в код Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/trick…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Андреем Столбовским и обсудили следующие темы: что такое SDM?

Андрей о себе и чем занимается сейчас

как в больших компаниях строится мониторинг

почему большие компании вкладываются в команды и просто не поставят себе Sentry

особенность мониторинга в AWS

золотые сигналы

Sentry уже не очень

как правильно смотреть на дашборды

трейсинг

алерты

техники оптимизации и как сжать int в один бит Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.…

Про стоицизм поговорили с Иваном Ямщиковым – ведущим подкаста Проветримся, а еще профессором Высшей Технической Школы города Вюрцбург. Обсудили, как стоицизм помогает меньше переживать из-за событий, на которые мы не можем повлиять, и дает мотивацию делать то, что действительно важно. Идеи из выпуска могут помочь пережить тяжелые времена и не только. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова, Егор Толстой Полезные ссылки: Выпуск Ивана…

Подлодка – это в некотором роде СМИ, хоть и не очень массовое. Нам стало интересно, как работают изнутри настоящие медиа, поэтому мы пригласили в гости Максима Иванова, который за свою карьеру работал и в игрожуре, и в общественно-политическом издании, которое нельзя называть, а сейчас тимлидит редакции в Т—Ж. Вместе с ним мы разбираемся, чем отличаются различные типы медиа, как работают редакции, и кто и зачем сейчас вообще идет в журналистику. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlodka…

Когда-то давно Роберт Мартин (он же “Дядя Боб”) популяризовал словосочетания “Чистый код” и “Чистая архитектура”. С тех пор не утихают споры, а что же именно он под всем этим подразумевает. Прошло несколько раундов обсуждений, и уже выросло поколение разработчиков, которые говорят, что рекомендациям Дяди Боба ни в коем случае нельзя следовать. А значит пришла пора нам самим разобраться с тем, что такое Чистый Код! А помогает нам в этом Кирилл Мокевнин из Hexlet. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twi…

В выпуске обсудили, как была устроена звукозапись в доцифровую эпоху и что изменилось с приходом цифры. Сергей Рябов из Dr.Head рассказал про отличия микрофонов и по какому принципу выбрать тот, который подходит под вашу задачу. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова Полезные ссылки: Контакты Сергея

https://t.me/dubbydreadspeaking

https://vk.com/dubbydread

https://instagram.com/dubbydread

https://youtube.com/playlist?list=PL5OlOiFm…

Любой мультиплеер – это набор очень хитрых иллюзий, которые создают ощущение одновременной игры в окружении, где ее принципиально не может быть. Михаил Панин, инженер VR в Meta, а в прошлом техлид популярных мобильных онлайн-игр, рассказал про то, как решаются сложнейшие задачи синхронизации состояний между игроками и сервером, и как программисты сетевого кода оперируют таймлайнами, по запутанности близкими к фильмам Нолана. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в вып…

Обычно мы надеемся, что наши программы будут работать без ошибок. Тем не менее, все-таки приходится предусматривать все возможные сценарии, когда что-то может пойти не так. В этом выпуске мы тщательно разобрались в том, а что же именно может пойти не так, и как нам с этим помогают различные языки программирования. Экскурсию в мир обработки ошибок нам провел Дмитрий Свиридкин из AWS. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные с…

Инди – это цель, а хакинг – это способ ее достичь. Стас Кулеш, инди-хакер с $60K MRR и бесконечным количеством проектов за плечами рассказал о том, как любой разработчик может прийти к финансовой независимости через пассивный доход от собственных проектов. Выбор идеи, поиск первых клиентов, закрытие продуктов – мы разобрали все фазы жизненного цикла, через которые вам предстоит пройти. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезны…

В выпуске поговорили как можно прийти к высокой производительности через Observability, Profiling и Benchmarking. Сергей Тепляков предложил простые критерии, как понять, что вам надо задуматься об оптимизации, а главное, развеял мифы, что всегда проще залить проблему покупкой мощностей. Новый сезон Podlodka Python Crew стартует 3 июня и посвящен инфраструктуре.

Разберемся с мониторингом и трейсингом, найдем неочевидные способы оптимизации сервисов, научимся предотвращать фейлы с безопасностью и не только.

Забирай скорее билет со скидкой в 500 рублей по промокоду INFRA_PYTHON:

https://podlodka.io/pythoncrew Реклама. ИП Толстая Елена Петровна ИНН:507503278104, erid:2SDnjf3vUPK Также ждем вас,…

Мы уже привыкли к LLM – большим языковым моделям вроде ChatGPT. Никого уже не удивишь ситуациями, когда чатик помог сделать какую-то работу. А значит пора выходить на новый уровень и делать сервисы и приложения на базе LLM! Но тогда встает ряд принципиально новых вопросов: а что, если нужен не простой ответ, а цепочка рассуждений? А что, если есть четкие критерии качества, и рандомные галлюцинации чатика недопустимы? Что делать – разберемся в этом выпуске вместе с Максом Страховым из Apple! Новая недельная конференция от Podlodka Crew для React-разработчиков уже 27 мая. Разберем паттерны построения архитектуры в эентепрайзе и стартапе, выберем подходящие инструменты и стейт-менеджеры, и мно…

Мы не могли оставить вас без полного гайда по качалке, ведь как мы выяснили в первой части серии, силовые тренировки — это самый простой и эффективный способ продлить молодость и не сойти с ума в этом мире! Если в первой части мы навалили базы о том, как вообще составляются программы, то эта часть вышла максимально прикладная: разобрали насущные вопросы начиная от того, как правильно сочетать силовые с кардио заканчивая разработкой лучшей стратегии по накачке жопы, обсудили как выработать у себя привычку заниматься силовыми регулярно и с удовольствием, какие красные флаги есть при подборе тренера и какое оборудование закупить, чтобы заниматься силовыми дома. Кстати, третья часть тоже будет …

Качалка не только делает вас сильным, красивым и уверенным в себе, но еще и улучшает менталочку, и даже помогает бороться с раком! В этом выпуске мы посмотрели на силовые тренировки с позиций доказательного фитнеса, и под чутким взглядом опытного тренера Станислава Цаллагова разобрались, как подойти к составлению оптимальной программы тренировок. Сразу предупреждаем — выпуск получился настолько длинным и насыщенным, что мы решили разбить его на две части! 13 мая стартует сезон Podlodka Go Crew, посвященный работе с базами данных. Максимум практических советов по взаимодействию с Postgres, Redis, SQLite. Забирай скорее билет со скидкой в 500 рублей по промокоду FITNESS: https://podlodka.io/g…

На первый взгляд кажется, что SEO — это набор техник, который позволяет вашему сайту выглядеть лучше в глазах поисковиков, но это представление ошибочно. Андрей Мещанкин из Туту.ру рассказал о современном SEO, и почему сейчас выгоднее вкладывать средства в развитие сайта, чем в попытки обмануть поисковый движок. Насколько хорошо вы демонстрируете свои гибкие навыки на собеседованиях? Умеете в самопрезентацию и переговоры? В новом сезоне Podlodka Soft Skills погрузимся в процесс прохождения собеседований и научимся «продавать» свой опыт и скиллы. Встречаемся уже 13 мая. Спеши забрать билет со скидкой 500 рублей по промокоду SOFT_INTERVIEW: https://podlodka.io/softcrew Также ждем вас, ваши ла…

Рассказать хорошую историю – сложно. Сделать увлекательный геймплей – тоже сложно. Ну а сделать так, чтобы повествование и игровые механики друг друга органично дополняли – это уже другой уровень и работа для специально обученных людей! Разбираемся в теме с Альфиной, приложившей руку к таким шедеврам как Мор (Утопия) и Disco Elysium. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов

Инженерная культура компании пронизывает нашу работу от и до. Какими критериями бизнес руководствуется при найме и почему собеседования устроены именно так а не иначе? Сколько времени у вас уйдет на реализацию конкретной фичи, а сколько на обсуждения острых вопросов на архитектурном и код-ревью и нужны ли эти ревью вообще? Как принимаются решения о расширении тех. стека проекта? Что нужно сделать, чтобы получить повышение, и что такого натворить, чтобы вас уволили? Не смотря на то, что мы привыкли воспринимать FAANG компании в одну цельную группу, инженерная культура в них сильно отличается. В этом выпуске Алексей Козятинский (ex. Google, а сейчас senior staff SWE в Netflix) откровенно поде…

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

Сколько датчиков нужно роботу, чтобы не путать человека с тенью от пакета, зачем ставить лазеры на такси и почему гонка беспилотных автомобилей происходит не на стадионах, а в датацентрах erid: 2SDnjepcB5i Реклама. АО «Точка». ИНН 9705120864 Откройте счёт в Точке: https://tochka.com/rko-landings/brand-f/

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

Topics include 2024 PSF Board Election & Proposed Bylaw Change Results, SATYRN: A modern Jupyter client for Mac, Incident Report: Leaked GitHub Personal Access Token, and.

Topics include Vendorize packages from PyPI, A Guide to Python's Weak References Using weakref Module, Making Time Speak, and How Should You Test Your Machine Learning Project? A Beginner’s Guide.

Topics include Joining Strings in Python: A Moment, 10 hard-to-swallow truths they won't tell you about software engineer job, My thoughts on Python in Excel, and.

Topics include Solara UI Framework, Coverage at a crossroads, and “Virtual” methods in Python classes.

Topics include , Cloud engineer gets 2 years for wiping ex-employer’s code repos, Python: Import by string with pkgutil.resolve_name(), and DuckDB goes 1.0.

Topics include Dataherald, Python's many command-line utilities, Distroless Python, and functools.cache cachetools cachebox.

Topics include NumPy 2.0 release date is June 16, Uvicorn adds multiprocess workers, pixi, and JupyterLab 4.2 and Notebook 7.2.

Topics include PostgresREST, How Python Asyncio Works: Recreating it from Scratch, Bend, and The Smartest Way to Learn Python Regular Expressions.

Topics include Git: Force push safely with and, , Being friendly: Strategies for friendly fork management, and tach.

Topics include I asked 100 devs why they aren’t shipping faster. Here’s what I learned, Python 3.13.0 beta 1 released, A theme editor for JupyterLab, and rich-argparse.

Topics include act: Run your GitHub Actions locally!, portr, Annotating args and kwargs in Python, and github badges.

Topics include Announcing py2wasm: A Python to Wasm compiler, Oven PyPI Browser, PyCharm Local LLM, and.

Topics include NumFOCUS concerns, leaping pytest debugger llm, , and PyPI has completed its first security audit.

Topics include How to Set Up Pre-Commit Hooks A step-by-step guide to installing and configuring pre-commit hooks on your project, difftastic, Quarto, and constable.

One of the fastest areas of growth in observability is frontend observability, or real user monitoring. This is the practice of monitoring and analyzing the performance, behavior, and user experience of web applications from the user’s perspective. Purvi Kanal is a Senior Software Engineer at Honeycomb. She joins the podcast to talk about the evolution

The post Frontend Observability with Purvi Kanal appeared first on Software Engineering Daily.

Inworld is a company that provides tools for game studios to add AI-driven gameplay. They are at the leading edge of using generative AI in game development, and have worked with companies such as Xbox, Ubisoft, and NVIDIA. Igor Poletaev is the VP of AI and Nathan Yu is the Director of Product and GM

The post AI Tools for Game Development with Igor Poletaev and Nathan Yu appeared first on Software Engineering Daily.

Static analysis is the examination of code without executing the program. It’s used to identify potential errors, code quality issues, security vulnerabilities, and adherence to coding best practices. Abbas Sabra is a Principal Engineer at Sonar, which creates tools to help developers produce clean code. Abbas specializes in C++ static analysis, and began his career

The post C++ Static Analysis with Abbas Sabra appeared first on Software Engineering Daily.

Bison Ventures invests in frontier technology companies that use innovative science and deep technology. A key pillar of their investment portfolio is climate technology. Tom Biegala is a co-founder of Bison Ventures. Prior to starting Bison Ventures, Tom worked at Cascade Asset Management Company, the investment office that manages the assets of the Bill &

The post Climate Tech Investing with Tom Biegala appeared first on Software Engineering Daily.

Luma AI develops technologies at the forefront of AI and graphics. They created a text-to-3D tool that functions like Midjourney but for generating 3D models. Another tool makes photorealistic environments by reconstructing any scene in 3D from just a few photos. Karan Ganesan is a Software Engineer and Barkley Dai is the Product and Growth

The post Luma AI with Barkley Dai and Karan Ganesan appeared first on Software Engineering Daily.

Redis is an in-memory database that can be used for caching, vector search, and as a message broker. Brian Sam-Bodden is a Senior Applied AI Engineer at Redis. He joins the show to talk about his work and AI at the company. Sean’s been an academic, startup founder, and Googler. He has published works covering

The post AI at Redis with Brian Sam-Bodden appeared first on Software Engineering Daily.

David Szymanski is a video game developer focused on short retro horror games. He created the hit FPS Dusk, along with Iron Lung, Chop Goblins, and the upcoming Butcher’s Creek. He’s also involved in the production of the upcoming Iron Lung film. David joins the podcast to talk about his work, how to capture an

The post Dusk and the Art of Making Short Games with David Szymanski appeared first on Software Engineering Daily.

Retool is a platform to help engineers quickly build internal frontends. It does this by abstracting away repetitive aspects of frontend development. The platform was started in 2017 and has received funding from Sequoia, Stripe Co-Founders, and Nat Friedman. David Hsu is the founder and CEO of Retool. He joins the show to talk about

The post Fast Frontend Development with David Hsu appeared first on Software Engineering Daily.

ChatGPT has been out for more than a year and has since become the centerpiece of intense discussion and debate about AI. Christian Hubicki is a renowned robotics research scientist and an Assistant Professor of Mechanical Engineering at Florida State University. In 2023, he was a guest on Software Engineering Daily, where he discussed ChatGPT

The post One Year of ChatGPT with Christian Hubicki appeared first on Software Engineering Daily.

Databases underpin almost every user experience on the web, but scaling a database is one of the most fundamental infrastructure challenges in software development. PlanetScale offers a MySQL platform that is managed and highly scaleable. Sam Lambert is the CEO of PlanetScale and he joins the show to talk about why he started the platform,

The post Hyperscaling SQL with Sam Lambert appeared first on Software Engineering Daily.

GV, or Google Ventures, is an independent venture capital firm backed by Alphabet. Erik Norlander is a General Partner at GV and invests across enterprise software and frontier technology, focusing on developer tools, cloud infrastructure and machine learning. He has backed companies like Cockroach, Warp and Neo4j. Prior to joining GV in 2010 and opening

The post Google Ventures with Erik Norlander appeared first on Software Engineering Daily.

A common challenge for developers of SaaS products is integrating with existing services, including services that customers might already be using. For example, a SaaS product might need to integrate with customers using Salesforce, HubSpot, or another CRM system. However, this can be demanding for developers when 3rd party APIs are poorly documented or inconsistent.

The post The Challenge of API Integration with Lauren Long appeared first on Software Engineering Daily.

A headless software architecture decouples the frontend, or the “head”, from the backend. This separation allows developers to manage the UI layer independently of the backend logic and data management. Hydrogen is Shopify’s open-source headless framework for building custom storefronts. It’s React-based and is focused on performance and flexible UI components. Ben Sehl is a

The post Shopify’s Hydrogen Framework with Ben Sehl appeared first on Software Engineering Daily.

Celeste is a critically acclaimed action platformer developed by Extremely OK Games. They recently released Celeste 64 which is an open source project to commemorate the 6th anniversary of the original Celeste, and development of their next major game, Earthblade, is underway. Noel Berry is a programmer at Extremely OK Games and he joins the

The post Celeste and Platform Game Engineering with Noel Berry appeared first on Software Engineering Daily.

DataStax is a generative AI data company that provides tools and services to build AI and other data-intensive applications. Ed Anuff is the Chief Product Officer at DataStax. He joins the show to talk about making Apache Cassandra accessible, adding vector support at DataStax, envisioning the future application stack for AI, and more. Full Disclosure:

The post DataStax with Ed Anuff appeared first on Software Engineering Daily.

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

Level 3: testing HTML behaviour In the story so far, we tested the behaviour of the HTML templates, by checking the structure of the generated HTML.

*?>", "") // strip all HTML tags: block elements html = replaceAll(html, "<[^>]*>", " ") // replace HTML character…

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetching is when we don't know what data needs to be fetched until we've already fetched some data.

In summary, we've already explored critical data fetchin…

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

import React from 'react'; import Checkbox from './Checkbox'; import BookList from './BookList'; function App() { let showNewOnly = false; // This flag's value is typically set based on specific logic.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI compone…

In my early years of writing, I avoided using footnotes.

I found that moving a lot of details to footnotes allowed the main article to be more coherent, but still meant the details were in there for the curious reader.

I still keep the footnotes section at the end of the article, in case the reader prints the article out.

†Like thisAnother rendering I've seen for footnotes is the sidenote, where the footnote text is put to one side of the page†.

This then breaks the reader's flow of the main text, and thus defeats the purpose of using a footnote.

When building a server-side rendered web application, it is valuable to test the HTML that's generated through templates.

Unit tests, written in the server-side environment, can check for valid HTML, and extract elements with CSS selectors to test the details of generated HTML.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML …

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetch…

When building a server-side rendered web application, it is valuable to test the HTML that's generated through templates.

Unit tests, written in the server-side environment, can check for valid HTML, and extract elements with CSS selectors to test the details of generated HTML.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML …

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetch…

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

With this foundation, you should now be equipped to join me as we delve into the data fetching patterns discussed herein.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practic…

Big Sur, CA

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

Замыкания в Go используются повсеместно.

Они позволяют универсально использовать один и тот же инструмент для работы в разных ситуациях.

Вот, например, карта в пакете sync — sync.Map :Чтобы проитерироваться по карте, предусмотрен метод Range с такой сигнарутой:Но что делать, если мы хотим просуммировать все значения карты?

Кажется, Range не дает такой возможности.

Ну или использовать замыкание:

Cat does not implement Meower (method Meow has pointer receiver)