A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

Airbnb Categories Blog Series — Part II : ML CategorizationBy: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Aaron Yin, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showcasing them in …

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

by Malay Haldar, Liwei He & Moose AbdoolAirbnb connects millions of guests and Hosts everyday. Most of these connections are forged through search, the results of which are determined by a neural network–based ranking algorithm. While this neural network is adept at selecting individual listings for guests, we recently improved the neural network to better select the overall collection of listings that make up a search result. In this post, we dive deeper into this recent breakthrough that enhances the diversity of listings in search results.How Does Ranking Work?The ranking neural network finds the best listings to surface for a given query by comparing two listings at a time and predictin…

By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

By Guru Tahasildar, Amir Ziai, Jonathan Solórzano-Hamilton, Kelli Griggs, Vi IyengarIntroductionNetflix leverages machine learning to create the best media for our members. Earlier we shared the details of one of these algorithms, introduced how our platform team is evolving the media-specific machine learning ecosystem, and discussed how data from these algorithms gets stored in our annotation service.Much of the ML literature focuses on model training, evaluation, and scoring. In this post, we will explore an understudied aspect of the ML lifecycle: integration of model outputs into applications.An example of using Machine Learning to find shots of Eleven in Stranger Things and surfacing …

By Burak Bacioglu, Meenakshi JindalAsset Management at NetflixAt Netflix, all of our digital media assets (images, videos, text, etc.) are stored in secure storage layers. We built an asset management platform (AMP), codenamed Amsterdam, in order to easily organize and manage the metadata, schema, relations and permissions of these assets. It is also responsible for asset discovery, validation, sharing, and for triggering workflows.Amsterdam service utilizes various solutions such as Cassandra, Kafka, Zookeeper, EvCache etc. In this blog, we will be focusing on how we utilize Elasticsearch for indexing and search the assets.Amsterdam is built on top of three storage layers.The first layer, …

By Meenakshi JindalOverviewAt Netflix, we built the asset management platform (AMP) as a centralized service to organize, store and discover the digital media assets created during the movie production. Studio applications use this service to store their media assets, which then goes through an asset cycle of schema validation, versioning, access control, sharing, triggering configured workflows like inspection, proxy generation etc. This platform has evolved from supporting studio applications to data science applications, machine-learning applications to discover the assets metadata, and build various data facts.During this evolution, quite often we receive requests to update the existing…

By Benson Ma, ZZ ZimmermanWith contributions from Alok Ahuja, Shravan Heroor, Michael Krasnow, Todor Minchev, Inder SinghIntroductionAt Netflix, we test hundreds of different device types every day, ranging from streaming sticks to smart TVs, to ensure that new version releases of the Netflix SDK continue to provide the exceptional Netflix experience that our customers expect. We also collaborate with our Partners to integrate the Netflix SDK onto their upcoming new devices, such as TVs and set top boxes. This program, known as Partner Certification, is particularly important for the business because device expansion historically has been crucial for new Netflix subscription acquisitions. T…

by Varun Sekhri, Meenakshi Jindal, Burak BaciogluIntroductionAt Netflix, to promote and recommend the content to users in the best possible way there are many Media Algorithm teams which work hand in hand with content creators and editors. Several of these algorithms aim to improve different manual workflows so that we show the personalized promotional image, trailer or the show to the user.These media focused machine learning algorithms as well as other teams generate a lot of data from the media files, which we described in our previous blog, are stored as annotations in Marken. We designed a unique concept called Annotation Operations which allows teams to create data pipelines and easil…

By Gustavo Carmo, Elliot Chow, Nagendra Kamath, Akshay Modi, Jason Ge, Wenbing Bai, Jackson de Campos, Lingyi Liu, Pablo Delgado, Meenakshi Jindal, Boris Chen, Vi Iyengar, Kelli Griggs, Amir Ziai, Prasanna Padmanabhan, and Hossein TaghaviFigure 1 - Media Machine Learning InfrastructureIntroductionIn 2007, Netflix started offering streaming alongside its DVD shipping services. As the catalog grew and users adopted streaming, so did the opportunities for creating and improving our recommendations. With a catalog spanning thousands of shows and a diverse member base spanning millions of accounts, recommending the right show to our members is crucial.Why should members care about any particular…

By Grace Tang, Aneesh Vartakavi, Julija Bagdonaite, Cristina Segalin, and Vi IyengarWhen members are shown a title on Netflix, the displayed artwork, trailers, and synopses are personalized. That means members see the assets that are most likely to help them make an informed choice. These assets are a critical source of information for the member to make a decision to watch, or not watch, a title. The stories on Netflix are multidimensional and there are many ways that a single story could appeal to different members. We want to show members the images, trailers, and synopses that are most helpful to them for making a watch decision.In a previous blog post we explained how our artwork perso…

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

Match Cutting: Finding Cuts with Smooth Visual Transitions Using Machine LearningBy Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik Kumar, Keila Fong, Nagendra Kamath, Elliot Chow, Robert Mayer, Eugene Lok, Aly Parmelee, Sarah BlankCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly br…

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), otherwi…

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

Liang Ma | Software Engineer, Core Eng; Scott Beardsley | Engineering Manager, Traffic; Haowei Yuan | Software Engineer, TrafficFigure 1 — HTTP/3 at PinterestNow Pinterest operates on HTTP/3. We have enabled HTTP/3 for major Pinterest production domains on our multi-CDN edge network, and we’ve upgraded client apps’ network stack to support the new protocol. This allows us to catch up with industry trends. Most importantly, faster and more reliable networking improves Pinners’ experience and business metrics.ContextNetwork performance (such as latency and throughput) is critical to Pinners’ experience.In 2021, a group of client networking enthusiasts at Pinterest started thinking about adopt…

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

On the Encore team (Spotify’s design system), there’s nothing we love more than collaborating with our fellow squads — (1) because they have awesome squad names and (2) because they have awesome people. Enter our most recent collab with the Mandalorian squad, which is in charge of accessibility at Spotify — and aptly named, because [...]

The post Encore x Accessibility: A Balancing Act appeared first on Spotify Engineering.

Watch Justin and Fiona speak about ‘Team Health Checks — One Size Does Not Fit All’ at the Spotify Engineering Conference in 2022. Spotify has for a long time run squad health checks. Squads step back from their day-to-day activities to get a broader perspective on how they are working, with the aim of improving [...]

The post Getting More from Your Team Health Checks appeared first on Spotify Engineering.

Deep linking and attribution are important functionalities for a growing business. Deep links seamlessly get you to the content you want in the app. Attribution helps us understand which activity (such as marketing or sharing) drives you to that content. At Spotify in 2017, these critical functionalities were in disrepair. But over the course of [...]

The post A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify appeared first on Spotify Engineering.

On January 14, between 00:15 UTC and 03:45 UTC, Spotify suffered an outage. The impact was small at first and increased over the course of an hour until most functionality (including playback) was not working. Spotify engineers were first notified of the problem at 00:40 UTC, and our incident response team was immediately assembled. Due [...]

The post Incident Report: Spotify Outage on January 14, 2023 appeared first on Spotify Engineering.

Introduction As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of perspectives when building ML models and applications. This desire is driving the need for a more flexible [...]

The post Unleashing ML Innovation at Spotify with Ray appeared first on Spotify Engineering.

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

We did a couple of new things in Wrapped this year, and one of these is a thing called Your Listening Personality. You got one. There are 16 of them, in total: It’s not a lottery or a horoscope, though. As the four-letter codes at the bottom of each one hint, each Listening Personality is [...]

The post What’s a “Listening Personality”? appeared first on Spotify Engineering.

ICYMI Spotify officially began selling enterprise software today: the Spotify Plugins for Backstage bundle subscription. Some of these commercial plugins began life as internal tools, built by Spotify developers, for Spotify developers. Other plugins in the bundle are brand new to the Backstage platform. But they all embody our ways of working — our secret [...]

The post Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale appeared first on Spotify Engineering.

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers appeared first on Spotify Engineering.

In February, Snowflake launched new features around streaming data ingestion and data governance and improved SQL experience and performance, with enhancements to Search Optimization Service and more. Read on to learn about everything new announced in February. Data Governance Track Masking & Row Access Policy References in Access History, Now in Public Preview For queries […]

The post New Snowflake Features Released in February 2023 appeared first on Snowflake.

In Snowflake’s 6 Data Science Trends in 2023, one of the more prominent trends we identified was the emerging use of unified tools and infrastructure for SQL and Python. According to a recent article by McKinsey, huge investments have been made in data science, AI, and machine learning (ML), driven by the promise of higher […]

The post Snowpark: Unified Tools and Infrastructure for SQL and Python appeared first on Snowflake.

ServiceNow, Inc. offers a well-known SaaS application, with companies in multiple industries using it to help manage digital workloads for a variety of departments and operations. What if it was as easy as just a few clicks to get ServiceNow data directly into your Snowflake account so you could combine it with other data sources, […]

The post Snowflake Connector for ServiceNow Available in Public Preview appeared first on Snowflake.

Snowflake is proud to introduce a significant upgrade to Snowflake Documentation, aimed at delivering an even more comprehensive and effortless user experience for all Snowflake customers. If you’re already an avid docs user, don’t worry—your bookmarks will continue to work. We have preserved all the existing URLs, ensuring a seamless transition for our loyal users. […]

The post Knowledge at Your Fingertips: New Snowflake Documentation Site Accelerates Work appeared first on Snowflake.

The financial services industry is facing unprecedented threats from the proliferation and evolving sophistication of cybersecurity attacks. For example, 55% of financial services organizations were hit by ransomware in 2021, up from 34% in 2020. Many organizations risk increased breach and remediation costs, as well as potential loss of business. Legacy architectures create significant challenges […]

The post How Financial Services Strengthen Cybersecurity and Risk Analytics with the Snowflake Data Cloud appeared first on Snowflake.

Snowflake connected with Jeff Puchalski, Senior Cloud Security Architect at Dropbox, to learn how the company leverages Snowflake and Panther to scale threat detection and response. Watch the full Dropbox webinar here. Security challenges As a file hosting service, Dropbox offers cloud storage, file synchronization, personal cloud, and client software. With 700 million users as […]

The post How Dropbox Implemented a Modern SIEM with Snowflake and Panther appeared first on Snowflake.

Financial services organizations are facing greater financial and regulatory risks for failing to detect fraud or meet “know your customer” (KYC) and anti-money laundering (AML) compliance. They’re facing steep penalties—in 2021 alone the financial sector faced $5.4 billion in fines for non-compliance with KYC, AML, and data privacy regulations. Much of the problem lies in […]

The post Mitigating Financial Crime Incidents in the Financial Services Sector appeared first on Snowflake.

In a recent Nasdaq survey, more than half (60%) of dissatisfied quantitative portfolio managers complained about an inability to quickly test new data sets. Survey respondents cited a number of issues with data, including an inability to quickly onboard new data, difficulty accessing data in their organization, inadequate resources, and outdated technology. In pre-Covid financial […]

The post How Financial Services Companies Optimize Quantitative Research with the Snowflake Data Cloud  appeared first on Snowflake.

Planet Earth is currently operating at 175% of its natural resource capacity and on track to be operating at 200% by the 2030s. This is not sustainable. This is the only planet we call home and it is our responsibility to look after it. While some companies already engage in sustainability reporting, how do we […]

The post Data Sharing Is Caring: Driving Sustainability with Data appeared first on Snowflake.

With constant fluctuations in global supply and demand, retail operations leaders need granular and timely insights to predict demand and optimize their inventory. However, with product sales information spread across silos and channel partner systems, operations leads are stuck using stale data and end up with excess out-of-stocks and inefficiencies across warehouse and store inventory. […]

The post How Retailers Can Improve Supply Chain Efficiency and Collaboration with Channel Partners appeared first on Snowflake.

This is not another article on supply chain resilience, flexibility, and risk. These topics are still important and I am sure there will be articles and research done for decades on how the pandemic, geo-political events, and extreme inflation have impacted how manufacturers and we as consumers view supply chains. I want to take us […]

The post The Supply Chain as a Competitive Strategy appeared first on Snowflake.

Snowflake enables organizations to be data-driven by offering an expansive set of features for creating performant, scalable, and reliable data pipelines that feed dashboards, machine learning models, and applications. But before data can be transformed and served or shared, it must be ingested from source systems. The volume of data generated in real time from […]

The post Stream Rows and Kafka Topics Directly into Snowflake with Snowpipe Streaming appeared first on Snowflake.

Title: Data Technologies Are Remaking the Art of Insurance Underwriting

Description: When it comes to forecasting risk and making decisions for insurance companies, no tool is more valuable than data. Here’s how new tech is helping underwriters.

The post How Modern Data Technologies Are Remaking the Art of Insurance Underwriting appeared first on Snowflake.

We at Snowflake are on a never-ending quest to improve our customer experience. An often overlooked piece of that puzzle is the connection between employee experience and happy customers; nowhere is this more evident than in Snowflake’s support organization. High-growth companies aspiring to offer world-class support experiences would do well to prioritize a high-quality, scalable […]

The post Support Organizations Must Recognize the Important Link Between Employee and Customer Experience appeared first on Snowflake.

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point. Many enterprise customers need finer granularity of control, in particular at the column […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

AI has been a highly useful technology for marketers over the past few years. However, new advances in AI continue to make drive new changes in the marketing profession. As a result, analysts anticipate that the market size for AI technology in the marketing sector will be worth nearly $108 billion by 2028. One of […]

We have seen some massive changes with AI technology in the past year, especially in the field of marketing. While we have talked about advances in AI for years on this blog, the rest of the world is finally coming to grips with the extent of the AI revolution. This past week, a growing number […]

Global businesses are projected to spend over $420 billion on AI technology by 2028. One of the biggest reasons they are investing in AI is to improve their marketing strategies. You’re in the process of hiring another copywriter for your business, and you had a colleague tell you to try out AI-generated content. AI-generated content […]

Many different industries are growing due to the proliferation of big data. The dropshipping industry is among them. Paul Glen of IBM’s Business Analytics wrote an article titled “The Role of Predictive Analytics in the Dropshipping Industry.” Glen shares some very important insights on the benefits of utilizing predictive analytics to optimize a dropshipping commpany. […]

AI has arrived in several business spheres. While the rest of the world is discussing its impact and dealing with changes in workflows, cybersecurity experts have long dealt with the use of AI in malicious attacks. Despite this experience, AI’s increasing sophistication has always resulted in security experts playing catch up. As attackers use more […]

To some extent, business is a practice in trial and error. You start with a business plan and try to cover all your bases. Then, you make adjustments based on what’s working within your business model— and what isn’t. Sometimes, however, the factors that are slowing down your business’s growth aren’t obvious. It’s important to […]

Business intelligence has made a huge mark on the world of business. According to Fortune Business Insights, businesses spent around $24.05 billion BI solutions in 2021. However, many workplaces are still trying to figure out how to leverage business intelligence effectively. This technology offers many potential benefits, but many companies don’t fully take advantage of […]

While healthcare has evolved in many keyways over the last several decades, there are still several groups of individuals who find themselves without access to appropriate healthcare resources. One of these groups is rural residents, who face a number of challenges when it comes to having access to healthcare. Fortunately, data-driven approaches are emerging as […]

Data analytics technology has had a profound impact on the state of the financial industry. A growing number of financial institutions are using analytics tools to make better investing decisions and insurers are using analytics technology to improve their underwriting processes. However, there is an area that is being shaped by analytics technology that has […]

AI technology is one of the fastest-growing industries in the world. One poll found that 35% of companies currently use AI and another 42% intend to use it in the future. As professional and personal life becomes increasingly more digital, employers everywhere are looking for capable programmers to develop new AI algorithms that will help […]

We have discussed the compelling role that data analytics plays in various industries. In December, we shared five key ways that data analytics can help businesses grow. The gaming industry is among those most affected by breakthroughs in data analytics. A growing number of gaming developers are utilizing big data to make their content more […]

Artificial intelligence technology has massively disrupted the financial sector. Joe McKendrick posted an article in Forbes on the role that AI will play in the coming democratization of financial services. There are many other reasons AI and big data technology is changing finance. One of the biggest is that more financial institutions are using predictive […]

Reading Time: 4 minutes Reactive programming is a programming paradigm that focuses on asynchronous and event-driven programming. Reactive programming is designed to handle streams of data and events, and it has become popular in recent years due to the rise of modern web applications and the need for real-time data processing. Java, being a popular language for enterprise applications, has several libraries and frameworks that support reactive programming. In Continue Reading

The post Reactive Programming in Java appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction Software architecture is an essential aspect of any software development project. It defines the structure of the software system and helps in achieving the desired qualities of the system. There are several software architecture patterns, and one of them is the Onion Architecture. In this blog, we will discuss Onion Architecture in detail. What is Onion Architecture? Onion Architecture is a software architecture pattern Continue Reading

The post Peeling Back the Layers: Exploring Onion Architecture appeared first on Knoldus Blogs.

Reading Time: 4 minutes Resilience4J is an open-source library that provides different resilience patterns for building resilient applications. Bulkhead is one of the patterns provided by Resilience4J to prevent the cascading failure of an application by limiting the resources used by a failed component. In this blog, we will discuss in detail what it is and how Resilience4J implements it. What is a Bulkhead? It is a physical barrier Continue Reading

The post Resilience4J: Introduction to Bulkhead appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction Clean code is a programming term that describes the practice of writing readable, understandable, and maintainable code. The goal of writing clean code is to make it easier for other developers to read and understand your code, as well as to make it easier to modify and maintain it. Clean code principles help developers produce high-quality code that is easy to read, maintain, and Continue Reading

The post Mastering the Art of Writing Maintainable and Scalable Code: A Guide to Clean Code Principles appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction Reactive programming is an emerging programming paradigm that has gained immense popularity in recent years. It is a programming model that focuses on building asynchronous, non-blocking, and event-driven applications. Reactive programming is all about building responsive, resilient, and scalable applications that can handle a large number of concurrent users. Java is a popular programming language that has been used to build various types of Continue Reading

The post Reactive Programming with Java appeared first on Knoldus Blogs.

Reading Time: 3 minutes Reactive Programming Reactive programming is a popular paradigm for developing applications that handle asynchronous data streams. It offers a powerful and concise way to handle complex data flows with ease. Two important concepts in reactive programming are Flux and Mono, which are part of the Reactor library developed by Pivotal. Flux Flux is a type that represents a stream of data that emits zero or Continue Reading

The post Flux and Mono in Reactive Programming appeared first on Knoldus Blogs.

Reading Time: 2 minutes Finagle is a powerful RPC (Remote Procedure Call) system developed by Twitter that provides a way to build scalable and resilient services. It is used by some of the largest internet companies in the world to build their backend infrastructure. One of the critical components of any distributed system is load balancing. Load balancing refers to the process of distributing incoming requests across a group Continue Reading

The post Finagle – Load Balancing appeared first on Knoldus Blogs.

Reading Time: 2 minutes Finagle is a powerful network framework that provides developers with the tools they need to build highly scalable and fault-tolerant distributed systems. At the core of Finagle’s architecture are the server and client components, which work together to enable reliable communication between different services. Finagle Server The Finagle server component provides the infrastructure for building scalable, fault-tolerant network services. A Finagle server is built using Continue Reading

The post Finagle: Server and Client appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Spring Reactive WebClient is a non-blocking, reactive HTTP client that can be used to consume RESTful web services. It provides an easy-to-use and efficient way to communicate with remote APIs, allowing you to perform asynchronous and reactive programming. In this blog, we will discuss how Spring Reactive WebClient works and how you can use it to consume RESTful web services. If we talk about Continue Reading

The post Deep dive into Spring Reactive WebClient appeared first on Knoldus Blogs.

Reading Time: 3 minutes This is Part 2 of an ongoing series of blogs explaining the EIP patterns (Enterprise Integration Patterns) in Apache camel. This blog is going to take you a step ahead and help you know more about the various EIP patterns such as WireTape, Multicast, and RecipientList EIP pattern WireTap pattern A wireTap pattern is used to filter messages based on content and read data from Continue Reading

The post EIP Pattern in Apache Camel (Part – 2) appeared first on Knoldus Blogs.

Reading Time: 5 minutes Introduction Apache HttpClient is a popular open-source library for sending HTTP requests and receiving HTTP responses in Java. It provides a rich set of features for building HTTP-based client applications, including support for authentication, connection pooling, request and response interception, and more. One of the key benefits of Apache HttpClient is its flexibility and configurability. You can customize almost every aspect of the HTTP request Continue Reading

The post Introduction to Apache HttpClient appeared first on Knoldus Blogs.

Reading Time: 3 minutes Overview WebClient and RestTemplate are two popular ways to make HTTP requests in a Java application. While WebClient and RestTemplate both allow you to interact with RESTful web services, there are some key differences between the two. What is WebClient? WebClient is a newer HTTP client introduced in Spring 5. It’s a non-blocking, reactive HTTP client designed for use with Spring WebFlux. WebClient is built Continue Reading

The post How WebClient is different from RestTemplate? appeared first on Knoldus Blogs.

Reading Time: 3 minutes React is a well-liked JavaScript package that gives programmers more effective and orderly ways to create user interfaces. There are many third-party libraries to pick from when it comes to data visualization in React. React-chartjs-2, which is based on Chart.js, is one of the most widely used libraries for rendering charts in React. In this blog post, we’ll look at how to render charts in Continue Reading

The post How To Render Charts In React: using react-chartjs-2 and Chart.js appeared first on Knoldus Blogs.

Reading Time: 3 minutes One of the most widely used front-end libraries today is react, and for a good reason. It has emerged as a top option for web developers worldwide thanks to its modular design, reusable components, and quick rendering capabilities. However, developers must ensure that their React applications are adequate. Tested to ward off any potential defects or problems because great power comes with great responsibility. We Continue Reading

The post Best Practices and Tools For Testing React Applications appeared first on Knoldus Blogs.

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now return results much faster to our users than ever before!

When we originally provisioned our “Databricks SQL” endpoints, we worked

together with our co…

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

We recently announced support for AWS Lake Formation fine-grained access control policies in Amazon Athena queries for data stored in any supported file format using table formats such as Apache Iceberg, Apache Hudi and Apache Hive. AWS Lake Formation allows you to define and enforce database, table, and column-level access policies to query Iceberg tables […]

This is joint post co-written by Leidos and AWS. Leidos is a FORTUNE 500 science and technology solutions leader working to address some of the world’s toughest challenges in the defense, intelligence, homeland security, civil, and healthcare markets. Leidos has partnered with AWS to develop an approach to privacy-preserving, confidential machine learning (ML) modeling where […]

In this post, we show you how to use AWS Glue to perform vertical partitioning of JSON documents when migrating document data from Amazon Simple Storage Service (Amazon S3) to Amazon DynamoDB. You can use this technique for other data sources, including relational and NoSQL databases. DynamoDB can store and retrieve any amount of data, […]

When building serverless event-driven applications using AWS Lambda, it is best practice to validate individual components. Unit testing can quickly identify and isolate issues in AWS Lambda function code. The techniques outlined in this blog demonstrates unit test techniques for Python-based AWS Lambda functions and interactions with AWS Services. The full code for this blog […]

With Amazon Rekognition Custom Labels, you can have Amazon Rekognition train a custom model for object detection or image classification specific to your business needs. For example, Rekognition Custom Labels can find your logo in social media posts, identify your products on store shelves, classify machine parts in an assembly line, distinguish healthy and infected […]

There has been a paradigm change in the mindshare of education customers who are now willing to explore new technologies and analytics. Universities and other higher learning institutions have collected massive amounts of data over the years, and now they are exploring options to use that data for deeper insights and better educational outcomes. You […]

Amazon QuickSight is cloud-native, scalable business intelligence (BI) service that supports identity federation. AWS Identity and Access Management (IAM) allows organizations to use the identities managed in their enterprise identity provider (IdP) and federate single sign-on (SSO) to QuickSight. As more organizations are building centralized user identity stores with all their applications, including on-premises apps, […]

In this post, we show how to configure a new OAuth-based authentication feature for using Snowflake in Amazon SageMaker Data Wrangler. Snowflake is a cloud data platform that provides data solutions for data warehousing to data science. Snowflake is an AWS Partner with multiple AWS accreditations, including AWS competencies in machine learning (ML), retail, and […]

Many organizations have adopted DevOps practices to streamline and automate software delivery and IT operations. A DevOps model can be adopted without sacrificing security by using automated compliance policies, fine-grained controls, and configuration management techniques. However, one of the key challenges customers face is analyzing code and detecting any vulnerabilities in the code pipeline due […]

AWS Database Migration Service (AWS DMS) is used for migrating databases to AWS, but you can also use it for replicating data with low latency from any supported source to any supported target. When working with Oracle database, AWS DMS stops replicating data changes due to reset logs when the standby database is transitioned to […]

Learn how to manage credentials with many accounts, automate IAM credential reports, and consolidate the results.

Deforestation is a major concern in many tropical geographies where local rainforests are at severe risk of destruction. About 17% of the Amazon rainforest has been destroyed over the past 50 years, and some tropical ecosystems are approaching a tipping point beyond which recovery is unlikely. A key driver for deforestation is raw material extraction […]

Amazon SageMaker customers can view and manage their quota limits through Service Quotas. In addition, they can view near real-time utilization metrics and create Amazon CloudWatch metrics to view and programmatically query SageMaker quotas. SageMaker helps you build, train, and deploy machine learning (ML) models with ease. To learn more, refer to Getting started with […]

As organizations grow in size and scale, the complexities of running workloads increase, and the need to develop and operationalize processes and workflows becomes critical. Therefore, organizations have adopted technology best practices, including microservice architecture, MLOps, DevOps, and more, to improve delivery time, reduce defects, and increase employee productivity. This post introduces a best practice […]

AWS Payments is part of the AWS Commerce Platform (CP) organization that owns the customer experience of paying AWS invoices. It helps AWS customers manage their payment methods and payment preferences, and helps customers make self-service payments to AWS. The Machine Learning, Data and Analytics (MLDA) team at AWS Payments enables data-driven decision-making across payments […]

This post is co-written with Bobber Cheng and Ronit Rudra from CSC Generation. CSC Generation is a company that focuses on acquiring overlooked stores and catalog-based retailers and transforming them into high-performance, digital-first brands. As we grew through multiple acquisitions, it became apparent that our legacy product information system (PIM), backed by relational databases, was […]

Amazon Relational Database Service (Amazon RDS) makes it easy to set up, operate, and scale MySQL and MariaDB deployments in the cloud. Developers are often required to run complex queries in MySQL and MariaDB environments to create a dashboard or run simple ad hoc reports. Furthermore, application developers use complex stored procedures with user-created temporary […]

This post was co-written by Mahesh Pasupuleti and Gaurav Shah from Poshmark. Poshmark is a leading social marketplace for new and secondhand styles for women, men, kids, pets, home, and more. By combining the human connection of physical shopping with the scale, ease, and selection benefits of Ecommerce, Poshmark makes buying and selling simple, social, […]

This is a guest post co-written with Antony Vance from Intel. Customers are always looking for ways to improve the performance and response times of their machine learning (ML) inference workloads without increasing the cost per transaction and without sacrificing the accuracy of the results. Running ML workloads on Amazon SageMaker running Amazon Elastic Compute […]

In the first post of this series, we described how AWS Glue for Apache Spark works with Apache Hudi, Linux Foundation Delta Lake, and Apache Iceberg datasets tables using the native support of those data lake formats. This native support simplifies reading and writing your data for these data lake frameworks so you can more […]

Amazon DynamoDB global tables provide a fully managed, scalable solution for deploying a multi-Region, multi-active database that’s replicated across multiple AWS Regions. Global tables allow applications to read and write data to a table, with the data automatically replicated across all Regions that are associated with that table. Global tables are ideal for applications that […]

In this blog post, we explain why you should consider moving your self-managed open source software (OSS) Redis workloads to managed Amazon ElastiCache for Redis. OSS Redis is a powerful, in-memory data store designed to meet the demands of modern high-performance applications. With OSS Redis, you can tackle a wide range of use-cases, including caching, […]

Amazon Athena is a serverless and interactive query service that allows you to easily analyze data in Amazon Simple Storage Service (Amazon S3) and 25-plus data sources, including on-premises data sources or other cloud systems using SQL or Python. Athena built-in capabilities include querying for geospatial data; for example, you can count the number of […]

This post is co-written with Alexander Plumb, Product Manager at Mitratech. TalentReef, now part of Mitratech, is a talent management platform purpose-built for location-based, high-volume hiring. TalentReef was acquired by Mitratech in August 2022 with the goal to combine TalentReef’s best-in-class systems with Mitratech’s expertise, technology, and global platform to ensure their customers’ hiring needs […]

Organizations use messaging platforms like Microsoft Teams to bring the right people together to securely communicate with each other and collaborate to get work done. Microsoft Teams captures invaluable organizational knowledge in the form of the information that flows through it as users collaborate. However, making this knowledge easily and securely available to users can […]

This post is co-written by Anish Moorjani, Data Engineer at SafetyCulture. SafetyCulture is a global technology company that puts the power of continuous improvement into everyone’s hands. Its operations platform unlocks the power of observation at scale, giving leaders visibility and workers a voice in driving quality, efficiency, and safety improvements. Amazon Redshift is a […]

Database migration is a complex process that usually involves capacity planning, data migration and cutover strategies, hardware and software procurement, and a lengthy debugging and testing schedule. The common challenge in migrating from a relational database to a non-relational database is selecting the appropriate modeling technique and migration technologies. This is the second part of […]

RWE, a leading European energy utility, embarked on the mission “Go Green” in 2021, and aims to be carbon neutral by 2040. RWE is planning to shift their portfolio from conventionally generated energy to renewables like wind, solar energy, and hydrogen. As part of this initiative, RWE Supply & Trading (RWEST), the energy trading company […]

Tens of thousands of AWS customers use AWS machine learning (ML) services to accelerate their ML development with fully managed infrastructure and tools. For customers who have been developing ML models on premises, such as their local desktop, they want to migrate their legacy ML models to the AWS Cloud to fully take advantage of […]

This is a guest post co-written with Gowtham Dandu from Infomedia. Infomedia Ltd (ASX:IFM) is a leading global provider of DaaS and SaaS solutions that empowers the data-driven automotive ecosystem. Infomedia’s solutions help OEMs, NSCs, dealerships and 3rd party partners manage the vehicle and customer lifecycle. They are used by over 250,000 industry professionals, across […]

submitted by /u/techdatanerd [link] [comments]

Been a data engineer for over a year now and came from a data analyst -> BI Developer -> Data engineering path. The weakest part of knowledge in this job is the networking aspect. I don't mean connecting to snowflake via python connector, more like setting up a VPN tunnel between our virtual network and an external oracle server...or if I deploy an application via Azure web apps, how do I control who can access? I see all these options like private endpoints, hybrid connections, gateways, network interfaces, virtual networks etc... In your opinion, how much should a DE know about networking? Super important or passing knowledge sufficient? Secondly, any suggestions to brush up on this subje…

I started using Memgraph Lab more that year ago and since then I'm following their progress. Few days ago I installed Docker image that has new version of Lab. With a bunch of custom queries that I have a new filter option will be a life saver. Are there any other Memgraph Lab users here? DISCALIMER: I'm an open source contributor to many projects, Memgraph projects are one of them. submitted by /u/Zealousideal_Plan591 [link] [comments]

submitted by /u/Juggernaut20023 [link] [comments]

I need to get the correct Modern Data Stack being: Data ingestion (EL) tool --> Snowflake (maybe GBQ) --> dbt Cloud --> Hex Data ingestion is the stumbling block at the moment. I need to ingest ActiveCampaign and a handful of other bespoke APIs. Tool must also be HIPAA compliant. My thoughts were: FiveTran - but it doesn't do bespoke APIs and not HIPAA compliant really (https://fivetran.com/docs/security#hipaa) Stitch - feels a bit restrictive, but definitely not HIPAA compliant Hevo - does ActiveCampaign, bespoke APIs and is HIPAA compliant ​ But is there anything else there that's more cost-effective per month/year? submitted by /u/cmcau [link] [comments]

Hello Everyone, I am working as Analyst in a organization but most of time I am developing ETL or data quality monitoring framework for clients. I have also done few POC for clients to process data in real time using Kafka. The funny part is I don't know spark I want to learn pyspark as I am planning to switch to a data engineering Job role please guide me with some best resources. ​ Thanks in Advance. submitted by /u/afterlife_soul [link] [comments]

Right now Data Engineering as a field is "fertile ground". There's huge demand for data engineers and it seems to be going up. How do you think the field will evolve in the upcoming years? How will it be affected by AI? submitted by /u/j03ch1p [link] [comments]

The difference between tables and views and how to use themContinue reading on Towards Data Science »

Applying MLOps best practices to advanced serving OptionsContinue reading on Towards Data Science »

Using the re module in Python to parse HTMLContinue reading on Towards Data Science »

A practical guide to object detection in images, videos, and real-time webcam feed using both CLI and PythonContinue reading on Towards Data Science »

See how the fast growing fintech marketplace has matured their data stack and driven increased levels of data quality, trust, and governance.

See how BlaBlaCar reduced incidents and time to insights by enabling self service analytics and implementing data mesh.

Data ingestion involves collecting data from source systems and moving it to a data warehouse or lake. Read on for the top challenges and best practices.

MLOps engineers are automating ML model monitoring to quickly detect problems like pipeline issues, model drift, feature drift and more. Here’s how.

Upside leverages a model that emphasizes upfront investments in data enablement to create self-sustaining “data gardens.” Here’s how.

11 proactive data quality practices for preventing data anomalies and stopping them before they occur.

Chaos data engineering is another lesson we can learn from software engineers: break stuff to make it more reliable.

Is a data fabric architecture right for you? Learn why some of today's best teams are leveraging this approach.

6 best practices from Mercari’s data reliability engineering team for ensuring high quality data..

Monte Carlo’s Table Health Dashboard gives data teams visibility into the reliability and monitoring coverage of their most critical data sets.

Learn how the data engineering team at Vox Media built a reliable, scalable data platform with BigQuery, dbt, and Monte Carlo.

How Pie Insurance improves data quality across their data vault architecture.

Like many hyper growth startups, Contentsquare is all about data. The company leverages AI to provide its users with actionable, data-driven insights about their customers, which empowers teams to improve the experience for users of their websites and digital apps. Founded in Paris a decade ago, Contentsquare today is a fast-growing global company that just […]

Check out these proven data quality management strategies used by today’s leading data teams to build highly reliable and scalable systems.

Learn how Checkout.com gained visibility into data across domains, scaled data quality checks, and achieve reliability at scale.

📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек для работы с данными. На вебинаре рассмотрим построение систем аналитики разных уровней сложности для интернет-магазинов в облаке. Вы узнаете, как собрать решение с базовым набором инструментов, развить его до продвинутого уровня и затем построить решение «промышленного класса». Подробно разберем стек технологий и обсудим архитектурные схемы решений для анализа продаж, маркетинговой аналитики, управления ассортиментом, ценообразованием, а…

Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой продуктовых аналитиков;- анализировать поведение клиентов: как оно меняется в разных каналах коммуникации;- исследовать тренды потребления продуктов, применения возможностей и операционных метрик;- создавать управленческие отчёты и дашборды с данными о клиентах и продуктах;- находить точки роста и улучшать бизнес-показатели, выдвигать гипотезы и проверять их, участвовать в развитии сервисов;- взаимодействовать со смежными командами аналит…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.Ближайшие мероприятия:• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DW…

Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.Ближайшее мероприятие 11-12 марта. Успейте подать заявку до 7 марта.

💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом деле🔸 Познакомитесь с различными представителями таких систем🔸 Разберетесь, когда и в каких случаях стоит выбирать каждую из них🔸 На практике изучите наглядные примеры работы БД Clickhouse и Greenplum💻 Спикером выступит Алексей Железной, преподаватель курса и Data Engineer в компании Wildberries.🔥 Пройдите вступительный тест, чтобы участвовать: https://otus.pw/GxBr/Реклама. Информация о рекламодателе на сайте www.otus.ru.

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elasticse…

Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞

Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдадут бесплатно. Не медлите, регистрируйтесь сами и зовите коллег — будет весело!

Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.Читать

Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию курсов для DevOps-инженеров. Они помогут изучить все этапы подготовки облачной инфраструктуры и построения CI/CD-процесса для контейнерного приложения — от создания среды разработки до продакшна.Как всё устроено: курсы построены по принципу case-study — вы погрузитесь в реальную задачу бизнеса и шаг за шагом придёте к её решению.Кому подойдёт: специалистам middle- и senior-уровня.Сколько стоит: все курсы можно проходить бесплатно. Кроме то…

У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/

Всем привет! 23 марта в 20:00 по мск вебинар! Тема: "Командная строка для чайников" Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

Monolith to Microservices (От монолита к микросервисам)Эта книга "Monolith to Microservices" написана Сэмом Ньюманом, который поспособствовал росту популярности микросервисов, написав книгу "Building Microservices". Эта книга определенно хороша, но она является не продолжением книги про создание микросервисов, а скорее приквелом для выпущенной изначально книги. Об этом говорит автор во вступлении, посыпая голову пеплом относительно того, что он открыл ящик Пандоры с микросервисами, что привело к массовому adoption их всеми подряд без глубокого понимания границ применимости этого подхода:)В новой книге автор рассматривает такие темы как:- что такое микросервис и какого размера он может быть …

Всем привет!23 марта в 20:00 по мск вебинар!Тема: "Командная строка для чайников"Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

Google users in America have searched for Python more often than for Kim Kardashian.Так что да, Python популярен😅Но Python не самый быстрый язык, поэтому в MIT сделали новый компилятор codon - Python-based compiler achieves orders-of-magnitude speedups

Качественная статья про производительность Spark UDF

Поэтому мой совет новичкам от "бывалого" зарплатника:1. выберите профессию, пусть она будет простой и понятной. Я всегда привожу в пример сантехника и электрика. Но я не имею в виду, что вам надо становиться таким (хотя они больше ИТшников получают в Северной Америке и увольнений нет)2. найдите хорошую и большую компанию, где вы наберетесь навыков вашей профессии, так же вы научитесь общаться с людьм разных должностей, с разным опытом и разными точками зрения.3. как вы "встанете на ноги", можете уже стоить "космические грузовики" и решать, что вам делать дальше, работать за зарплату или же искать варианты как вырваться из порочного круга и "крысиных бегов" (если не читали Богатый, Бедный па…

Так как я работаю по воскресеньям в офисе (единственный день неделю, так как в этот день я один в целом здании и могу приводить детей на работу, где они могу развлекаться по-своему) и сама поездка на метро в центр это уже целое приключение.Так же мне удобно встречаться с новыми людьми. Последняя встреча был с Маркусом, я познакомился с его отцом в Канкуне, он меня подвозил до аэропорта, оказалось Маркус учится в Ванкувере на Business Administration. Я снова убедился, как это сложно найти себе будущую профессию и выбрать дело, которым захочется заниматься. Он мне рассказала как она работал доставщиком еды, как хочет начать делать контент на chatgpt и расти аудиторию. В общем идей у молодого …

Обзор книги “The Manager’s Path” — Part IV (Senior Leader)Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполняют роли engineering managers и engineering directors. В финальной статье рассматриваются главы- The Big Leagues - как выглядит роль technical senior managers, какие названия бывают у должностей и в чем состоит работа VP of Engineering и CTO- Bootstrapping Culture - как влияет культура и структура на организацию, когда стоит начинать работать над ними и что именно стоит делать- Conclusion - здесь автор делиться своими мыслями о том, как ста…

Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в убыток, создавай новый рынок. И действительно рынок создали, возможно это рынок умных кухонных таймеров и будильников. Это самые популярные фичи девайса. Поэтом картинка мужичка (он кстати был каким-то директором в Амазоне) очень прекрасно описывает возможности столько дорогого продукта, которые стали мягко говоря бесполезны. Зато теперь, если OpenAI прикрутить куда-нибудь, сразу будет солидное решение. Microsoft выпустили Azure OpenAI, серв…

Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:Week 1: Data ModelingWeek 2: Data efficiency and privacyWeek 3: Batch Pipelines with Apache SparkWeek 4: Streaming Pipelines with Apache FlinkWeek 5: Data QualityWeek 6: Data storytellingИ даже цены есть:For 30 students, there's the $987 tier. For 5 students, there's the $1487 tier. Скажу вас свое экспертное мнение, можете конечно не согласиться, но придется протест выражать emoji😂Чувак бесспорно шарит и цена вроде демократичная для мерок Северной Америки, но реально программка меня совсем не воодушевляет. Я уверен, он будет вас учить "нажимать кнопки", но вряд ли будет понимание зачем это де…

Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далека от кодеров и системных аналитиков. Однако, она помогает лучше понимать профессиональную среду, коллег и даже самих себя.Рекомендую ознакомиться всем, кому эта тема также интересна. То, что зацепило меня, так это кейсы, из которых ясно, что оценка performance review не решает долгосрочные задачи и почему важно думать про рост сотрудников на любой позиции — от рядового инженера до тимлида.Подкаст крайне полезный. По данной теме таких докла…

Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей начиная от T9Все просто и понятно, авторам респект. 👏

2 анекдота, которые идеально подходят, чтобы А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, что они не очень шарят, что делают. Я бы еще добавил цитату Масяни «Директор? Да пошел ты в жопу директор… не до тебя»А вот и анекдоты, какой А, а какой Б, вы догадаетесь сами😂Офис, в отделе продаж все суетятся, переставляют мебель с места на место, посреди всего этого хаоса стоит бабушка уборщица и бормочет про то что "она только что все вытерла, а они опять натоптали". Менеджеры начинают расставлять мебель, вымерять ее положение каждого ст…

Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”

Cyprus Data YouTube ChannelПереезжая на Кипр, я и подумать не мог, что спустя год я смогу создать комьюнити Cyprus Data для тех, чьи работа или хобби (или и то, и другое) так или иначе связана с данными. Но все получилось! Что произошло за год?Мы провели 3 замечательных митапа, каждый раз улучшая все показатели: количество спикеров, вместимость площадки, качество организации и прочее (и не намерены останавливаться!). А еще, начиная с последнего митапа мы организовали видеозапись всех выступлений, чтобы те, кто не живет на Кипре тоже могли узнать все то, что мы активно обсуждаем и чем делимся в нашем комьюнити.На канале сейчас есть ролики о том, как:1️⃣ Я строил-строил и наконец построил ком…

[Трактор] Как и куда улететь — канал с IT-вакансиями для тех, кто ищет работу за границейСейчас мониторинг зарубежных вакансий — почти такая же ежедневная рутина, как чтение новостей или чистка зубов. Авторы телеграм-канала «Трактор» помогают упростить это занятие: каждый день они публикуют действительно хорошие подборки вакансий, которые помогут вам с релокейтом в другую страну, получением ВНЖ и открытием банковских счетов.▫️ Вакансии разные, но их объединяют зарплата в валюте USD/EUR и возможность переезда❗️ Самые актуальные варианты на текущий момент — Аргентина, Грузия, Армения, ОАЭ.👉 Подписывайтесь, чтобы получить доступ к актуальным вакансиям: @tractor_job#реклама

Розыгрыш 10 триал-подписок на FULL JOINКоличество победителей: 10Дата розыгрыша: 29 марта, 14:15 (+03:00)Условия участия:• Подписаться на @leftjoinЧтобы участвовать в розыгрыше, нажми кнопку ниже.

Десять бесплатных триал-подписок на FULL JOIN!Ура-ура, наш канал продолжает набирать обороты и аудитория неизменно растет. Спасибо, что подписываетесь, реагируете и делитесь своим мнением. Для меня ваш интерес — главная и очень ценная мотивация улучшать контент и делиться самым-самым ❤️Если вы — новый подписчик, то познакомиться со мной и каналом можно вот в этом приветственном посте прошлого года (аудитория за год выросла втрое, я и моя команда в приятном удивлении!).Почему FULL JOIN — классный канал для аналитиков?Если LEFT JOIN носит по большей части информационный и новостной характер, то FULL JOIN — сборник наших ценных знаний по анализу данных и не только. Там накопилось уже достаточн…

RationalAnswer: финансы и инвестиции могут быть понятнымиСегодня хочу рассказать вам про телеграм-канал моего друга и, так сказать, соседа Павла Комаровского (ведь познакомились мы именно на Кипре после переезда). Его телеграм-канал полон авторского контента: это и советы по управлению финансами, и лайфхаки по инвестициям в архи-турбулентное время, и посты с рекомендациями для цифровых кочевников, и многое-многое другое. Для кого этот канал?Для всех, кто хочет шарить за все сложные нюансы в области денег: от налоговых штук и рабочих способов вывода денег из РФ, до всяких нюансов общения с западными банками и ликбезов по крипте.На что обратить внимание?👍 Как банкротились российские брокеры: …

RIP, поисковик Google! Хотя, подождите... 🧟‍♂️Возможно, вы уже не раз встречались с новостью о том, что поисковик Google вот-вот отбросит цифровые копытца, но до вызова траурной машины все как-то не доходило. А вот с появлением ChatGPT и других различных сервисов на основе ИИ, на горизонте, прямо по курсу Google, действительно замаячил айсберг.Однако сегодня мы хотели бы оставить тему GPT-4 за бортом и обратиться к популярному англоязычному ресурсу, который многие интернет пользователи и специалисты пророчат в наследника Google — речь идет о Reddit, своеобразном международном «праотце» Пикабу.Возможно, кто-то из вас заметил ту же проблему, что и автор этого поста Дмитрий Бреретон: в последн…

Персональный тренер по SQL: быстро, качественно, ChatGPT 🏋️Если среди вас есть те, кто осваивает азы SQL с помощью разных онлайн тренажеров и курсов (и, возможно, даже нашего Data марафона для начинающих аналитиков), то, вероятно, вам будет любопытно узнать, что в дополнение к рутинным SQL заданиям можно добавить кое-что новенькое от ChatGPT.В этой статье на Medium собраны 5 способов, как сделать из ChatGPT персонального наставника для освоения базы SQL. Так, вы можете:1️⃣ попросить ChatGPT доступно и кратко объяснить, что означает та или иная команда, и дать примеры использования;2️⃣ попросить нейросеть определить, какую команду SQL использовать для вашей задачи, и дать пример решения;3️⃣ …

Зарелизили — https://openai.com/product/gpt-4 Уже доступно в ChatGPT Plus (это который платный за 20 баксов в месяц), думаю завтра все околотехнические новости будут об этом, так что готовьте свои телефончики к нотификациям!

А кем ты станешь, когда ChatGPT вырастет? 👨‍🌾Мэри Труонг, аналитик данных в Scopely, компании, занимающейся разработкой игр и интерактивных развлечений, опубликовала на Medium заметку о том, как она подвергла проверке гипотезу, которая уже который месяц терзает умы аналитиков данных. Да-да, речь о том, может ли ChatGPT писать SQL запросы лучше, чем мы.👍 Воспользовавшись тремя тестами разных уровней сложности с образовательной платформы LeetCode, Мэри написала необходимые три запроса для решения тестов сама и попросила ChatGPT тоже решить их, а затем сравнила правильность запросов и скорость их выполнения.👍 В результате выяснилось, что ни Мэри, ни ChatGPT не смогли безукоризненно решить все …

🔎 Так, а что это у нас здесь? Ага, попался! 👩‍🏫ChatGPT вроде не экзамен, а всего лишь онлайн интерфейс с интеллектом нейросети, но шпаргалок к нему в интернете уже бесчисленное множество. И вот вам еще одна!KDnuggets — это онлайн платформа с многочисленными рубриками, посвященными бизнес аналитике, big data и науке о данных. И в этом небольшом файле вы найдете 27 подсказок, инструкций для ChatGPT, которые можно использовать, чтобы попросить ChatGPT написать код на SQL, Python или R для разных целей, сгенерировать тестовые данные по условиям или предложить решение определенной аналитической задачи.В файле есть также подсказки для работы с ML-задачами и поиском и суммированием информации из и…

🙋‍♂️ До старта курса «Основы Data Governance» осталось 2 недели. Записаться ↗️🎯 Фокус будет на двух задачах: (1) Сформировать глубокое понимание темы data governance, переходя от теории к реальной жизни и обратно: в чем ценность, как 'продавать' проект, термины и процессы, роли и орг модели, проектное портфолио, тулы и как их выбирать и т.д. (2) 'Примерить' все это на ваши бизнес реалии — будем разбирать кейсы, а также ваши вопросы и примеры🧘‍♀️ Поиск баланса бюрократии и здравого смысла - довольно точно отражает суть курса. Идея - заземлять книги на реальность и генерировать мотивацию для себя и командыЧто внутри:🔹 5 дней вечернего интенсива в онлайн формате для CDO, CIO, Data stewards, BI…

Еще одна история о ChatGPT: доверяй, но проверяй 🧐Компания OpenCage занимается геокодированием — это процесс, когда, например, адрес дома идентифицируется с его географическими координатами или, наоборот, широта и долгота определяются как географическая точка, описанная привычным нам адресом.Что случилось?Сотрудники этой компании столкнулись со странным явлением в начале этого года: поток пользователей их сервиса скачкообразно вырос, но, в отличие от тех, кто пользовался их сервисом ранее, после всего нескольких запросов API, эти новые пользователи переставали интересоваться их платформой. Когда у этих «новичков» спросили, как они узнали о сервисе, многие ответили: «От ChatGPT».Серьезно?!В …

Давайте углублять знания о данных вместе?

Внимание, внимание! Пока вы спали, мир захватили искусственные интеллекты! Шутка, конечно, но ChatGPT продолжает продвигаться в этом направлении. Вчера OpenAI выпустили API для ChatGPT и Whisper, что должно значительно облегчить работу для всех, кто использует эти технологии в своих проектах.

🗣 Взломать счет в банке с помощью AI: привет, новая реальность 😒Изначально, голосовая биометрия задумывалась как надежная альтернатива для быстрой идентификации клиента, но что-то пошло не так. В частности, благодаря генеративным моделям, появились сервисы, которые, беря за основу аудио записи или звуковые дорожки, скачанные хоть с Youtube, могут помочь злоумышленникам получить доступ к вашему банковскому счету.Что сделал доктор Джозеф Кокс?Журналист Джозеф Кокс опубликовал на Vice отчет, как, воспользовавшись платформой для генерации голоса от компании ElevenLabs, о которой мы уже писали ранее, ему удалось пройти аутентификацию в банке и получить доступ к своему счету с помощью реплик, син…

Тут вопрос на английском, но по-русски тоже понимает

SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, исправлять и комментировать ваш SQL — не покидая песочницы:➊ Напишите вопрос в виде комментария перед SQL-запросом.➋ Нажмите кнопку «Ask AI».➌ Получите не очень быстрый, но часто полезный ответ от ИИ.Попробуйте! Все, что нужно — API-ключ для OpenAI.https://sqlime.orgP.S. Если API-ключа у вас нет, задать вопрос всегда можно в нашем чате @sqliter_chat. ИИ там тоже иногда отвечает, ну и не только он ツ

regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.Поэтому для SQLite я запилил отдельную функцию regexp_capture, которая делает ровно это — извлекает конкретную группу из совпадения:select regexp_capture('abc', 'a(.)c', 1);-- b

Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможность превратить любую статью или заметку в блоге в интерактивную SQL-песочницу.Чтобы читатели могли отредактировать запрос и посмотреть, как изменится результат. Или даже попробовать собственные запросы.Я хотел интерактивные SQL-примеры в браузере.И в итоге их сделал!Теперь каждый может превратить статичные SQL-запросы в статье, заметке или веб-странице — в интерактивные примеры.Что особенно приятно, это требует минимальных изменений в HTML-к…

Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и заполняем пропуски.Приглашаю попробовать!

Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.https://antonz.ru/sqlean-fileio/

Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал расширение fileio с парой дополнительных функций:fileio_scan(path)Построчно читает файл:select rowid, value, namefrom fileio_scan('hello.txt');fileio_append(path, str)Дописывает строку в файл:create table hello(value text);-- insert some dataselect sum( fileio_append( 'hello.txt', value||char(10) )) from hello;Теперь можно работать с файлами построчно, экономя память!

Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

ИндексыЛучшее, что можно сделать после того, как вы освоили основы SQL (select, where, join, group by итп) — разобраться, как работают индексы.Именно это позволит вам писать эффективные запросы.Люди часто думают, что индексы — это какая-то ускорительная магия. На самом деле, нет.Индекс — это отсортированный набор значений, каждое из которых указывает обратно на запись таблицы, из которой его взяли.Индекс организован в виде дерева. Это позволяет движку БД моментально находить нужное значение и вытаскивать связанную запись из таблицы (см. упрощенную картинку).Лучший материал, чтобы освоить индексы и быстродействие SQL в целом — Use The Index, Luke Маркуса Винанда. Его книга выводит понимание …

Сводные таблицы в SQLiteСводные таблицы — популярный инструмент отчетности.Допустим, у нас есть таблица продаж продуктов по годам:— продукт,— год,— выручка.И мы хотим преобразовать ее в сводную:— по строкам продукты,— по столбцам годы,— на пересечении строки и столбца — выручка.У SQLite нет встроенного оператора PIVOT. Но все же существует несколько способов решить задачу:1. Фильтр по итогам.2. Динамический SQL.3. Специальное расширение.Подробности в отдельной статье, а то такие толстые запросы в телеграм плохо ложатся.https://antonz.ru/sqlite-pivot-table/

Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строки на соответствие шаблону;— извлечение фрагмента строки по шаблону;— замена по шаблону.Поддерживается довольно навороченный синтаксис, включая всякие разные группы, ленивые квантификаторы и look-around.Unicode тоже поддерживается, что для русского особенно приятно.Главное, не злоупотребляйте :)

SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение recovery для восстановления битых баз— SQLite теперь компилируют в WASM (3.40)Попробовать новые фичи всегда можно в песочнице sqlime

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

👩‍💻 Хочешь освоить PostgreSQL?👁‍🗨 28 марта в 20:00 в OTUS пройдет открытый урок «Архитектура хранилищ данных. Как сделать выбор?» с Алексеем Железным, архитектором баз данных PostgreSQLНа занятии мы разберем:➡️ Какие вопросы нужно задать себе перед началом проектирования хранилищ данных➡️ Какие есть основные принципы построения DWH➡️ Какие ключевые особенности присущи различным архитектурам и как сделать выбор в пользу одного из решений⚡️ А также на практике построите архитектуру тестового хранилища прямо на занятии!👨‍💻 Открытый урок пройдет в рамках онлайн-курса «PostgreSQL Cloud Solutions», рассчитанного на DevOps-инженеров, SRE, архитекторов данных, администраторов баз данных и разработч…

Data Engineer в Яндекс ПрактикумПрактикум ищет дата-инженера, которому предстоит заниматься стабильностью поставки и качеством данных для аналитиков в широком смысле. Задачи включают в себя эксплуатацию, проектирование DWH и ETL-процессов.Мы готовы давать свободу в принятии решений и доверять, а в свою очередь ждём, что вы уже опытный дата-инженер, решали подобные задачи, работали с разными аналитическими и не только БД, и вам интересно расширять зону своей ответственности.Читайте про вакансию подробнее и откликайтесь на нашем сайте: https://goo.su/OsoXDk

⚡️Старший аналитик в HR TechСтек: SQL, Python, Pandas, ExcelКоманда people-аналитики Яндекса ищет коллегу и друга, который будет помогать развивать аналитику в HR-департаменте, проверять гипотезы бизнеса с помощью данных и участвовать в разработке дашбордов.Вы будете сотрудничать с коллегами из других департаментов и нашими топ-менеджерами, много работать с большими данными, делать на их основе выводы и прогнозы, в итоге — влиять на настоящее и будущее всей компании. Вам предстоит анализировать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников🌙Что нужно делать:— отвечать за подготовку аналитических расчётов…

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете: ▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики.Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+rOZxsh8_QQdhODEyРеклама ООО «Селектел», Pb3XmBtzsrvdJQYxEVcrptUxGFrqrVv45CMc4NC

22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар? - Поговорим про собеседования в топовые IT компании ⁃ Разберем типичные вопросы и задачи с собеседований на Junior позицию в Data Science ⁃ Расскажем про ШАД Helper, как происходит обучение ⁃ Познакомим вас с нашими преподавателямиГости эфира: Александр Лыков — академический руководитель в ШАД Helper.Андрей Канунников — преподаватель по алгебре и дискретной математике в ШАД Helper. Егор Илларионов — преподаватель по теории вероятностей в ШАД Helper. Ирина Пионтковск…

Когда мы говорим об анализе данных, нельзя забывать про пространственные данные. Для их отображения и анализа раньше требовалось знание сложного геоинформационного ПО, но теперь есть платформа FlexGIS, позволяющая сделать собственную интерактивную карту за несколько минут, то есть быстрее, чем слайд презентации. Зачем нужна веб-картография?🔸разместить различные данные на карте для поиска зависимостей или подтверждения гипотез с помощью инструментов геоанализа🔸поделиться результатами исследования🔸подготовить презентационный материал, проиллюстрировать выводы🔸разместить информацию на сайтеФункционал платформы FlexGIS позволяет:🔸создать свою карту без знаний картографии или геоинформационных с…

🔥 Как применяют NLP в современном мире? 📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».📝 На занятии вы узнаете:— Что делает область NLP одной из самых востребованных областей Data Science сегодня— Какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области— Какие существуют подходы к решению задач по NLP?👉 Урок будет полезен IT-специалистам, которые хотят расширить свои знания в Data Science, дата-сайентистам, желающим углубить свои знания по автоматической обработке текстов.💻 Спикером выступит Мария Тихонова, руково…

Яндекс Практикум ищет наставников на курс «Продуктовый аналитик» Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо. Какие задачи нужно будет решать?— проводить встречи в мини-группах по 4-5 человек,— разбирать проекты студентов и частые ошибки,— рассказывать про интересные и удачные решения. Кого мы ждём?Действующих продуктовых аналитиков с опытом от двух лет, которые проводили продуктовые исследования и разбираются в метриках. Важно владеть математической статистикой, SQL и Tableau или Apache Superset. Что мы предлагаем?◾️ Удалённое сотрудничество из любой точки мира. ◾️ Дополнительный доход.◾️ Се…

Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.На вебинаре мы изучим 3 популярных средства разработки и анализа данных:RStudio — это интегрированная среда разработки (IDE) для R, которая предоставляет множество удобных инструментов для написания, отладки и тестирования кода на R. Мы рассмотрим основные возможности RStudio для анализа данных: работа с таблицами, построение графиков.Jupyter — это интерактивная среда разработки, которая поддерживает несколько языков программирования, в том числе R. Мы покажем, как использовать Jupyter для создания документов, которые объединяют код, …

⚡️Старший BI-аналитик в HR TechСтек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScriptПринимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-аналитика, который будет собирать, анализировать и визуализировать данные с помощью BI-инструментов. Вам предстоит создавать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников🌙Что нужно делать:— разрабатывать макеты дашбордов;— визуализировать метрики и данные с использованием BI-инструментов;— управлять пулом дашбордов как продуктом: собирать требования, ве…

ChatGPT в массы!OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации. Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит. Instacart позволить покупателям задавать…

Datalytics pinned a photo

Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с использованием API Яндекс.Переводчика, API OpenAI и библиотеки LangChain сделал небольшого бота, который в ответ на фразу даёт численные оценки её специфичности и детализации с объяснением почему была дана такая оценка, а также рекомендациями как эти показатели улучшить. На картинках примеры, а в конце поста ссылка на блокнотОтдельно стоит заметить, что в работе с запросами к GPT3 важную роль играет сколько мы поставляем ей примеров и явное …

Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка. Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:— истории и причинах появления специальности ИТ-архитектора — разных видах ИТ-архитекторов и требованиях к специалистам— специализации и работе ИТ-архитекторов— роли ИТ-архитектора в Газпромбанке.Регистрируйся и присоединяйся к лекции «Карьера IT-архитектора: что нужно знать новичкам о профессии» — https://www.gpbspace.ru/digital-lectory-hall-form/

И еще немного про текущее состояние индустрииКроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_awИз того, за что у меня зацепился взгляд:- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная. - Все …

Кто отвечает за качество данных?Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.https://twitter.com/ananthdurai/status/1627627842929401857Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data [email protected]

The State of Data Engineering (но не в РФ). Часть 2.Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.Что по интересным наблюдениям? - Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.- ETL системы немножк не понял, как задаввался вопрос, поэтому оставлю без комментариев на радость фанатов dbtПоч…

Встреча в БелградеНа следующей неделе я буду в Белграде, с 24 по 28 марта, поэтому хочу предложить собраться и поболтать за околоайтишные темы. Если есть желающие сделать мини-сходку, ставьте 🔥 и отписывайтесь в комменты к посту.Кудрявый на фотки для привлечения внимания 🤪@ohmydataengineer

Пятничный юмор 🤪@ohmydataengineer

The State of Data Engineering (но не в РФ). Часть 1.Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:- Ходуб умер. Для аналитических платформ лидирует BQ, затем Snowflake, Redshift и Databricks. И это там, где была выбрана только одна платформа. У …

Пятничный юмор 🤪@ohmydataengineer

Наверняка, идея не новая, но столкнулся я с ней впервые!Кажется, что парсят LinkedIn, находят Team Lead позиции, по стандартной схеме [email protected]_name.com создают емейл и на него ковром бомбардируют.Ну или проще (и без паранои и всяких технических уловок), кто-то из конференций и митапов, где я регался на рабочую почту, поделился контактами.Но в футере с дисклеймерами ничего внятного на эту тему не было написано[email protected]

How it started / How it is goingПомните такой мем? Немножко улыбнулся от этой новости =)P.S. Это ни в коем случае не намек и не призыв “А задонатьте мне сейчас!”. Донаты совершенно доброльные и только если вы действительно хотите поддержать то, что я делаю, даже 100 рублями. Это сообщение не должно оказывать давление на вашу совесть.Впрочем, подозреваю, что 💩 накидают под постом, как бы я не писал о том, что это-просто-юмор[email protected]

О покойниках или хорошо, или ничего.Последний год было очень печально наблюдать смерть ODS. Для тех, кто не знает, что это такое, когда-то это была одна из самых крупных (если не самая крупная) сеть сообществ по DS и все, что связано с обработкой и хранением данных. Если не обращать внимание на некоторых ну жутко токсичных людей, сообщество было очень полезным. Начиная от какого-то понимания рынка зарплат (к вакансиям было требование, чтобы они публиковались с вилкой), до каких-то узко-специализирванных каналов по технологиям, где всегда можно было подчерпнуть интересный материал. Если не заходить в каналы-флудилки, это приносило пользу.Но за последние 2 года там образовался культ нескольки…

Немного очередного пятничного юмора@ohmydataengineer

Можно я обнаглею и повыпендриваюсь немножк, можно да? Ну пожалуйста, можно я чуть-чуть пощекочу и потеребонькаю свою гордость?Как нужно проводить технический собесы, чтобы кандидаты, вне зависимости от результата, благодарили за него. И еще пара десятов(!!) благодарностей сказано на самих собесах.Очень приятно это слышать, значит я делаю все правильно.Спасибо, выпендреж закончен.🤪@ohmydataengineer

https://www.linkedin.com/business/talent/blog/talent-strategy/linkedin-most-in-demand-hard-and-soft-skillsСмотрите, что тут LinkedIn выкатил несколько дней назад - “Most in-demand hard and soft skills”. Как всегда, в чатиках успели это уже обсосать, но не спамить же вас контентом тыщу раз на дню?) Пара забавных наблюдений:Global talent shortages have reached a 16-year high, as 75% of employers can’t find the talent they need with the right blend of technical and soft skillsСокращения сокращениями, но вот нехватка кадров достигла 16-летнего максимума. Бигтехи сокращают, а людей все равно не хватает.Второй забавный факт - вторым по популярности hard-скиллом является SQL. Мы все в пыль космиче…

What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integrations & AppsI used this list to compare different solutions against what I currently use to see if I can benefit from switching to another tool.You can use it as reference to populate BI tool comparison matrix (included).➡️ https://telegra.ph/What-I-value-most-in-BI-tool-03-14 →#bi #tool #solution

Channel name was changed to «[Technology Enthusiast]»

Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal: zsh + git plugin + shell history+ 30 second gif live demo Read more →#dbt #dev #container

⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production-ready results: faced with multiple query failures during data refresh.— Moreover, Serverless will definitely cost more with the same usage patterns.Read more →#dbt #redshift #database #serverless

Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks with Github Actions#lab #modeling #dbt #iac

Channel name was changed to «🟧 [Technology Enthusiast]»

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

Новая публикация на Хабр ⬇️⬇️⬇️

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили всё в доллары и сделали разрезы по синьорности, стране и компаниям.⌘ что интересного увидели:1. по синьорности: зп есть прямая корреляция на первых 6 лет карьеры, дальше всё по-разному2. по локациям: в Берлина в среднем зп ниже, объясняют наличием там офисов Delivery Hero и Zalando, где зп чуть ниже рынка. А вот в Дублине, кажется, собрались сеньёристые ребята и там явный перекос зп в сторону высоких грейдов.3. по компаниям: Delivery Hero и …

короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает удалённо, а ещё там супер душевная команда ❤️2. а ещё случайно узнал, что 4-5 марта (это уже ЗАВТРА!) можно получить фаст оффер в DWH Яндекс Маркета. Про требования к кандидатам всё написано общо́. Маркет использует подходы к двх-строению как у нас в Go, поэтому там должно быть круто. Я б сходил чисто по фану — часто перетереть за данные с умными людьми без каких-то обязательств 😉3. ну и к нам в Доставку тоже ищут инженера. У нас YT (Hadoop)…

в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к Ingres).Рассказал, как в 1990-х обратили внимание на колоночный тип хранения. Строчное хранение оптимизирует запись, в то время как данных скопилось много и начались проблемы со скоростью чтения — появилась необходимость в том, что стало называться DWH. В 2005 они выпустили Вертику. Понравилась байка как они пришли показывать Вертику в большой тогдашний е-ком. Там был инстанс Оракла за миллион долларов, который обрабатывал аналитический зап…

NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант, алтернатива. В Книге С Кабанчиком™ Мартин Клеппманн приводит ссылку на заметку из 2009 года.https://web.archive.org/web/20190623045155/http://blog.sym-link.com/2009/10/30/nosql_whats_in_a_name.htmlДействительно это был просто хэштег для митапа по альтернативным базам данных. Хештег потом прилепился, но смысл его постепенно стал более категоричным.А изначально было действительно в значение Not Only SQL.и ещё вот твит от фаундера графовой Б…

иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными командамив основании — общая платформа для того, чтобы всё работало

Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть доклада…

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Приводят…

😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и…

О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимых утилит и фреймворков, а сосредотачивается на понимании бизнеса: ⁃ First, learn to speak the language of the business side. [..] also need to have a common language with stakeholders, such as data analysts and researchers, and especially with marketing [..] ⁃ Second, think about removing the organizational bottlenecks around data processes [..] ⁃ There are also some other activities that could help with reducing friction, such as establis…

Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «счётчик входящих» и высчитывать % от оклада у всех кто пользуется нашими сущностями.Получается, наша работа в другом — мы подносим патроны. Причём подносим патроны тем, кто сам подносит патроны. Мы в глубоком тылу. В чём же наша польза? Как её измерить?Один из вариантов ответов, который мне больше всего нравится, — мы повышаем стабильность и скорость общей работы. Мы поддерживаем документацию, чтобы менеджеры могли быстрее найти как поджой…

Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Семён Осипов из Gett, Ксения Томак из Dodo Brands и Сергей Бойцов; их и приглашаю послушать, получилось разносторонне, у всех свой опыт и итоговые советы получились довольно уникальными. Ссылки где послушать в канале Left Join: https://t.me/leftjoin/841

Summary

With the rise of the web and digital business came the need to understand how customers are interacting with the products and services that are being sold. Product analytics has grown into its own category and brought with it several services with generational differences in how they approach the problem. NetSpring is a warehouse-native product analytics service that allows you to gain powerful insights into your customers and their needs by combining your event streams with the rest of your business data. In this episode Priyendra Deshwal explains how NetSpring is designed to empower your product and data teams to build and explore insights around your products in a streamlined and…

Summary

The ecosystem for data professionals has matured to the point that there are a large and growing number of distinct roles. With the scope and importance of data steadily increasing it is important for organizations to ensure that everyone is aligned and operating in a positive environment. To help facilitate the nascent conversation about what constitutes an effective and productive data culture, the team at Data Council have dedicated an entire conference track to the subject. In this episode Pete Soderling and Maggie Hays join the show to explore this topic and their experience preparing for the upcoming conference.

Announcements

Hello and welcome to the Data Engineering Podcast, …

Summary

There has been a lot of discussion about the practical application of data mesh and how to implement it in an organization. Jean-Georges Perrin was tasked with designing a new data platform implementation at PayPal and wound up building a data mesh. In this episode he shares that journey and the combination of technical and organizational challenges that he encountered in the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Are you tired of dealing with the headache that is the 'Modern Data Stack'? We feel your pain. It's supposed to make building smarter, faster, and more flexible data infrastructures a breeze. It ends …

Summary

Cloud data warehouses have unlocked a massive amount of innovation and investment in data applications, but they are still inherently limiting. Because of their complete ownership of your data they constrain the possibilities of what data you can store and how it can be used. Projects like Apache Iceberg provide a viable alternative in the form of data lakehouses that provide the scalability and flexibility of data lakes, combined with the ease of use and performance of data warehouses. Ryan Blue helped create the Iceberg project, and in this episode he rejoins the show to discuss how it has evolved and what he is doing in his new business Tabular to make it even easier to implement…

Summary

Data is a team sport, but it's often difficult for everyone on the team to participate. For a long time the mantra of data tools has been "by developers, for developers", which automatically excludes a large portion of the business members who play a crucial role in the success of any data project. Quilt Data was created as an answer to make it easier for everyone to contribute to the data being used by an organization and collaborate on its application. In this episode Aneesh Karve shares the journey that Quilt has taken to provide an approachable interface for working with versioned data in S3 that empowers everyone to collaborate.

Announcements

Hello and welcome to the Data Engin…

Summary

This podcast started almost exactly six years ago, and the technology landscape was much different than it is now. In that time there have been a number of generational shifts in how data engineering is done. In this episode I reflect on some of the major themes and take a brief look forward at some of the upcoming changes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Your host is Tobias Macey and today I'm reflecting on the major trends in data engineering over the past 6 years

Interview

Introduction

6 years of running the Data Engineering Podcast

Around the first time that data engineering was discussed as a role

Followed o…

Summary

Business intelligence has gone through many generational shifts, but each generation has largely maintained the same workflow. Data analysts create reports that are used by the business to understand and direct the business, but the process is very labor and time intensive. The team at Omni have taken a new approach by automatically building models based on the queries that are executed. In this episode Chris Merrick shares how they manage integration and automation around the modeling layer and how it improves the organizational experience of business intelligence.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveragin…

Summary

The most interesting and challenging bugs always happen in production, but recreating them is a constant challenge due to differences in the data that you are working with. Building your own scripts to replicate data from production is time consuming and error-prone. Tonic is a platform designed to solve the problem of having reliable, production-like data available for developing and testing your software, analytics, and machine learning projects. In this episode Adam Kamor explores the factors that make this such a complex problem to solve, the approach that he and his team have taken to turn it into a reliable product, and how you can start using it to replace your own collection…

Summary

The modern data stack has made it more economical to use enterprise grade technologies to power analytics at organizations of every scale. Unfortunately it has also introduced new overhead to manage the full experience as a single workflow. At the Modern Data Company they created the DataOS platform as a means of driving your full analytics lifecycle through code, while providing automatic knowledge graphs and data discovery. In this episode Srujan Akula explains how the system is implemented and how you can start using it today with your existing data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveraging and…

Summary

Managing end-to-end data flows becomes complex and unwieldy as the scale of data and its variety of applications in an organization grows. Part of this complexity is due to the transformation and orchestration of data living in disparate systems. The team at Upsolver is taking aim at this problem with the latest iteration of their platform in the form of SQLake. In this episode Ori Rafael explains how they are automating the creation and scheduling of orchestration flows and their related transforations in a unified SQL interface.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data and analytics leaders, 2023 is your year to sh…

Summary

Making effective use of data requires proper context around the information that is being used. As the size and complexity of your organization increases the difficulty of ensuring that everyone has the necessary knowledge about how to get their work done scales exponentially. Wikis and intranets are a common way to attempt to solve this problem, but they are frequently ineffective. Rehgan Avon co-founded AlignAI to help address this challenge through a more purposeful platform designed to collect and distribute the knowledge of how and why data is used in a business. In this episode she shares the strategic and tactical elements of how to make more effective use of the technical an…

Summary

With all of the messaging about treating data as a product it is becoming difficult to know what that even means. Vishal Singh is the head of products at Starburst which means that he has to spend all of his time thinking and talking about the details of product thinking and its application to data. In this episode he shares his thoughts on the strategic and tactical elements of moving your work as a data professional from being task-oriented to being product-oriented and the long term improvements in your productivity that it provides.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline…

Summary

Encryption and security are critical elements in data analytics and machine learning applications. We have well developed protocols and practices around data that is at rest and in motion, but security around data in use is still severely lacking. Recognizing this shortcoming and the capabilities that could be unlocked by a robust solution Rishabh Poddar helped to create Opaque Systems as an outgrowth of his PhD studies. In this episode he shares the work that he and his team have done to simplify integration of secure enclaves and trusted computing environments into analytical workflows and how you can start using it without re-engineering your existing systems.

Announcements

Hello…

Summary

Five years of hosting the Data Engineering Podcast has provided Tobias Macey with a wealth of insight into the work of building and operating data systems at a variety of scales and for myriad purposes. In order to condense that acquired knowledge into a format that is useful to everyone Scott Hirleman turns the tables in this episode and asks Tobias about the tactical and strategic aspects of his experiences applying those lessons to the work of building a data platform from scratch.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on …

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

Как сделать таблетку-блокбастер? Во что инвестировать — в лекарство от акне или от слабых коленей? Как с помощью одного приложения на айпаде можно диагностировать Альцгеймера? И, конечно — где во всём этом наука о данных? Разбираемся в индустрии, от которой зависят человеческие жизни, вместе с Анной Костиковой, директором по Data Science в фармацевтической компании Novartis. Реклама. Бесплатный курс по основам Go от Яндекс Практикума: https://clck.ru/33USkn Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: z…

Мы начинаем новый сезон! В первом эпизоде Самат разбирается в чат-боте от компании OpenAI, разговоры о котором не утихают уже 3 месяца. Технофилы в очередной раз благодарят Илона Маска и с восторгом учат нейросеть отправлять за них имейлы, а скептики считают, что до полноценного собеседника ей еще далеко и ловят сеть на двойных стандартах. Как модель научили писать стихи и заменять человеческих ассистентов? Рассказывает Артем Родичев, бывший глава AI в чат-боте Replica. Реклама. Курсы для разработчиков, тестировщиков и девопсов от Яндекс Практикума: https://clck.ru/33UShR Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включе…

Пройдите, пожалуйста, наш опрос: https://4zz1gujb3ju.typeform.com/to/VoSmy7DN Для многих важных задач современного мира — например, для поиска новых лекарств или построения оптимальных маршрутов, — мощностей даже самых продвинутых компьютеров не хватает. Ученые десятилетиями пытаются обойти ограничения, накладываемые классической физикой, и создать принципиально новый способ производить вычисления. Гость эпизода Алексей Федоров — один из таких ученых. Разбираемся, что такое суперпозиции, как физики запутывают атомы и к чему приведет появление квантовых компьютеров. Осторожно, этот разговор выходит за рамки человеческого воображения! Реклама. Курсы для опытных программистов от Яндекс Практик…

Компания Miro была первой, кто придумал сделать обычную белую доску, которая стоит в каждом офисе, виртуальной. И миллионы пользователей по всему миру оценили эту идею, даже в NASA используют Miro. В этом эпизоде Иван Демшин (Head of System Engineering в Miro) рассказывает, как компания пережила три пивота, резко выросла в пандемию и стала #1 инструментом для удаленной работы. Реклама. Бесплатный 10-часовой курс по алгоритмическим собеседованиям от Яндекс Практикума: https://clck.ru/335Jje Интервью с Андреем Хусидом, CEO и основателем Miro: https://youtu.be/C1U4MD6DPI8 Подкаст «Люди Miro»: https://podcast.ru/1547571684 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy По…

Роскомнадзор — главный цензор российского интернета. В 2022 году сайты почти всех независимых медиа подверглись блокировкам, поэтому всё больше людей используют разные способы их обхода. Tor — один из таких способов. Но еще это важный проект, создающий настоящий подпольный интернет, где все пользователи остаются анонимными. В этом эпизоде разбираемся, за счет чего Tor такой безопасный и при чем тут лук, как ловить преступников в даркнете и как подключиться к сети из России* — разбираемся вместе с Иcабелой Фернандеc (Isabela Fernandes), executive director проекта. (*Да, официально браузер заблокирован на территории РФ и внесен в реестр запрещенной информации) Реклама. Курсы Яндекс Практикума…

Почти в каждом современном кино- или рекламном продукте используется компьютерная графика. Чтобы зритель поразился реалистичности взрыва или тому, как новый BMW собирается на ходу, десятки специалистов месяцами трудятся над каждым кадром. Гость этого эпизода Данил Криворучко делает моушен-дизайн для самых громких проектов индустрии. Данил рассказал, как создаются визуальные эффекты и как на этом можно построить карьеру. Реклама. Бесплатный курс по основам Go от Яндекс Практикума https://clck.ru/32sq8t Упомянутые ролики: Pixar, 1986 https://www.youtube.com/watch?v=6G3O60o5U7w Терминатор 2, сцена с жидким металлом, 1991 https://www.youtube.com/watch?v=u8h8d2XLWKY Видеоигра Quake, 1999 https:/…

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain. Реклама. Курсы от Яндекс Практикума по программированию с нуля: https://clck.ru/32nsqX Ссылки: Телеграм-канал Валеры: https://t.me/cryptovalerii Сайт Алексея Чернобровова: https://chernobrovov.ru/ Лекции от сообщества Open Data Science: https://www.youtube.com/@OpenDataScienceCon Подписаться на «Запуск++» в Телеграме: https://…

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=ttbaaI5xUcg Подпи…

Новый выпуск посвятили актуальным новостям за февраль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. • 32 года Python - https://tomaszs2.medium.com/happy-birthday

• Python Software Foundation ищет разработчика - https://pyfound.blogspot.com/2023/01/the-psf

• Три больших атаки на pypi:

- https://blog.phylum.io/phylum-discovers

- https://blog.phylum.io/phylum-go-based

- https://blog.phylum.io/another-attack

• Python тренды в 2023 году - https://blog.jerrycodes.com/python-trends

• Самуэль Колвин поднял инвестиции от Sequoia Capital - https://pydantic.dev/announcement/

• Отчет про Python в blockchain-разработке - https://tradingstrategy.ai/blog/the-state-of-pytho…

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

опыт использования Copilot

этические вопросы использования AI в работе

перспективы Copilot, ChatGPT

«у программистов будет больше задач или уменьшится количество программистов?»

все станут тимлидами или «киберпанк, который мы заслужили»

количество кода будет расти, качество - возможно, но неточно

AI системы сделают сильных программистов сильнее, а слабые останутся на том же уровне и не захотят учиться их использовать?

как пропасть между новичками и опытными программистами расширится

Kite, Tabnine vs Copilot

плюсы и минусы систем AI в обучении программированию

про…

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services. Обсудили в выпуске:

как переписали виртуальную машину

полезна ли интеграция с perf или уже умеем с toolchain

компиляцию Python и концепцию 3 стульев

придем ли к отключению GIL

«выкидываем distutils, не будет ли 3.12 катастрофой из-за этого»‎

улучшение сообщений об ошибках и важность удобства языка программирования

обновление в C-API tier

ответ на вопрос про увеличение производительности Ведущие: Михаил Корнеев и Григорий Петров

Ссылки подкаста: PEP 684 - https://peps.python.org/pep-0684/

Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowpython.ru

Курс Learn Python: https://learn.python.ru/

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

Григорий Петров, Михаил Корнеев и Илья Лебедев в новом формате Moscow Python Podcast. 00:00 — у нас новый постоянный ведущий

01:35 — есть ли вообще люди, которые легко и быстро сориентируются в чужом древнем коде

02:55 — что усложняет понимание чужого кода на новой работе

03:57 — с чего начать

06:20 — "третий кит, на котором стоит разработка - инфра", или какие неприятные открытия вас ждут

09:10 — что делать, если ты не джун

13:04 — "первые полгода вы будете беситься" (или нет?)

17:05 — два вопроса, которые стоит задать на собеседовании и обговорить сразу

22:25 — что делать, если сразу хочешь менять процессы разработки

23:58 — пошаговая инструкция по работе с неизвестным проектом

27:55 — хо…

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

Кто-то пишет Твиттер-треды, кто-то ведет Telegram-каналы, а кто-то пилит полезные видео на YouTube и собирает сотни тысяч просмотров. Мы поговорили с Александром Ильиным, программистом и YouTube-блоггером, про то, что влияет на популярность видео, как создавать контент и какую часть работы нужно делегировать, чтобы оставались силы на самое интересное. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова…

Podlodka достигла сингулярности и пишет выпуски сама с собой. Егор со Стасом задушевно поговорили про то как построить программу стажировок в своей компании. Кто нужен в качестве ментора, как собеседовать стажеров, какого уровня сотрудников можно получить после на выходе, а самое главное: как продать идею бизнесу. Приходите на конференцию Podlodka Java Crew про микросервисы: https://podlodka.io/javacrew. Не забудьте воспользоваться промокодом на 300р: micro_java Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

Устали ждать несколько по несколько часов, пока на CI отработают все проверки для вашего пулл-реквеста? Не можете нормально спать, ведь текущее покрытие автотестами не обеспечивает нужные гарантии качества ваших приложений? А счета из облачных сервисов тестирования снятся в кошмарах? Добро пожаловать в мир в построения собственных мобильных ферм! Вместе с Антоном Малинским, основателем MarathonLabs мы не только пофилософствовали на тему целесообразности такого решения, но и в деталях обсудили принципы построения ферм: и на аппаратом, и на софтверном уровнях. Приходите на конференцию iOS Podlodka Crew про инфраструктуру:

https://podlodka.io/ioscrew. Не забудьте воспользоваться промокодом на …

Руби очень интересный язык, который сочетает в себе гибкость написания кода с одной стороны и строгость, где это необходимо, с другой. В гости пришел Дмитрий Цепелев. С ним обсудили почему Ruby остается востребованным языком, но и разобрать реальные проблемы и мифы не забыли. Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Блог Дмитрия https://dmitrytsepelev.d…

Многие языки программирования заявляют, что они упрощают процесс разработки. Но никто еще не заходил так далеко, как Darklang, который буквально убирает все лишнее между написанием строчки кода и доступностью ее пользователю. Никаких фреймворков, инфраструктуры и деплоя – все происходит автоматически. Вместе с CEO/CTO Darklang Paul Biggar мы обсудили философию Dark, детали его технического устройства и задали неудобные вопросы про компромиссы, на которые приходится идти. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: ht…

Так вышло, что за 300+ выпусков мы ни разу не обсуждали логи, хотя ими пользуются все. Сейчас мы не только исправили это недоразумение, но и поднялись на уровень выше – обсудили Observability, частью которого и является логирование. Гость – Михаил Дружинин. По промокоду POGODKA скидка на покупку билета на нашу конференцию про Go-разработку Podlodka Go Crew! Покупай билет на podlodka.io/gocrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlo…

Специально для тех, кто считает несправедливыми шутки про “покраску кнопок”, мы с головой ушли в увлекательный и непростой мир представления цвета в компьютерных системах. Так вот, цвета – это очень сложно! Вместе с Андреем Ситником разбираемся почему. ​​Курс “Профессия Data Scientist” и бесплатные три модуля введения в ДС от Skillbox — https://clck.ru/33Q83s. Скидка 60% по промокоду: PODLODKA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podl…

Продолжаем погружение в .NET вместе Игорем Лабутиным! В прошлом выпуске мы составили общее представление о платформе, чтобы теперь подробно обсудить все важные особенности. Почему .NET именно такой: какой философии придерживаются создатели платформы? С какими инструментами ежедневно работают .NET разработчики и довольны ли они ими? Правда ли, что .NET нужен только для разработки под Windows, или же его ниша куда шире и разнообразнее? И, наконец, почему на C# писать так приятно? Ответы в выпуске! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/po…

Исполняем новогодние обещания: нас просили выпуск про .NET – мы его сделали! Тема большая и очень интересная, поэтому хоть мы и успели обсудить очень многое, немало осталось за бортом. Поэтому представляем вашему вниманию первую часть выпуска! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Сообщества DotNet.Ru

https://dotnet.ru/ Подкаст RadioDotNet

https://radio.dotn…

Все мы слышали истории плохого онбординга новичков в компанию: начиная c того, что в течение месяца сотруднику не выдавали ноутбук, заканчивая тем, что первые недели работы целиком состояли из буллшитных встреч про ценности и миссию. Вместе с Евгением Антоновым, опытным тимлидом и консультантом, мы разобрались с принципами хорошего онбординга и тем, как можно построить простой и качественный процесс в вашей собственной команде. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в …

В гости позвали руководителя службы Яндекс Почты Александра Мироночева. Начали с любопытных историй как почта начиналась. Если что, email старше веба и Интернета. В основной части поговорили про существующие протоколы и схему взаимодействия узлов во время отправки письма. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Список выпусков для того, чтобы линковать на сайте:

Разработка …

300 юбилейный выпуск подкаста выпал на заключительный выпуск уходящего 2022 года. Чтобы отметить это дело, мы позвали в гости людей, сделавших огромный вклад в Подлодку. Рекордсмены по участию в выпусках: Виталий Брагилевский и Павел Комаровский, а также ex-ведущий Глеб Новик пришли к нам в гости и поучаствовали в кейсовом турнире! А также мы провели викторину со слушателями, на которой произошло настоящее новогоднее чудо: два слушателя поделили первое и второе место и оба получили по Steam Deck. Посмотреть полностью этот веселый и неформальный выпуск вы можете на YouTube: https://www.youtube.com/watch?v=154IhLgBvD8 А в аудио-версии Егор, Стас, Катя и Женя делятся с вами рекомендациями выпу…

Задач всегда много, а рук, чтобы их делать, всегда не хватает. Вместе с Аней Подображных, продакт-менеджером из Авито, мы поговорили о различных подходах к приоритизации задач, как на уровне стратегических инициатив всей компании, так и на уровне выбора задач для следующего спринта. Если хотите разобраться, как сравнивать задачи друг с другом – этот выпуск точно для вас! «Ясно» — сервис онлайн-консультаций с психологом. Скидка 20% на первую сессию по промокоду PODLODKA при регистрации: https://app.yasno.live/vWlQ/podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tele…

Выпуск получился как чайная церемония – не быстрый и обстоятельный. В гости позвали Сергея Шевелева – специалиста по чаю. Затронули историю чайной культуры, вопрос влияния чая на здоровье, а самое главное – как это, пить чай проливами. После выпуска вы скорее всего побежите покупать гайвань и больше никогда не закажете чай в металлическом чайнике. ​​«Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищут системных аналитиков и администраторов, менеджеров проектов, разработчиков .Net, React и BI, а также UX\UI-дизайнеров, Product Owner и Senior web-аналитиков. Резюме присылайте на [email protected] Поддержи лучший подкаст про IT:

www.pat…

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Разговор с Анной Ковалёвой для Reforum.Support the show

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

A SIEM platform provides organizations with a powerful tool for improving their security posture, by providing insights into potential security threats and enabling proactive security measures. Panther is a Cloud based security monitoring platform that helps teams detect and respond to security breaches quickly and intelligently. Jack Naglieri is the Founder and CEO of Panther

The post Seamless SecOps with Jack Naglieri appeared first on Software Engineering Daily.

“DataSet” is a log analytics platform provided by Sentinel One that helps DevOps, IT engineering, and security teams get answers from their data across all time periods, both live streaming and historical. It’s powered by a unique architecture that uses a massively parallel query engine to provide actionable insights from the data available. John Hart

The post Observability Trends with John Hart appeared first on Software Engineering Daily.

Vercel is the platform for frontend developers, providing the speed and reliability innovators need to create at the moment of inspiration. Vercel’s Edge Functions enable you to deliver dynamic, personalized content with the lightweight Edge Runtime. Guillermo Rauch is the CEO at Vercel and he joins us today. This episode is hosted by Mike Bifulco. To

The post Building Delightful User Experiences with Guillermo Rauch appeared first on Software Engineering Daily.

What are the reasons why we need to improve performance? The JVM is a powerful piece of software – this is the reason why Java has maintained its popularity over the past 26+ years. But… there are some ways that the JVM works that can impact the performance of your applications. One of the biggest

The post Improved Java Performance Sans Code Changes with Simon Ritter appeared first on Software Engineering Daily.

There are many types of early stage funding available from friends and family to seed to series A. Some firms invest across a wide set of technologies and seek only to provide capital. Others are in it for the long haul – they focus on specific areas of technology and develop both long term relationships

The post Data Investing and the MAD with Matt Turck appeared first on Software Engineering Daily.

The post eBPF with Thomas Graf appeared first on Software Engineering Daily.

The post Netlify with Mathias Biilmann Christensen appeared first on Software Engineering Daily.

ChatGPT is an artificial intelligence language model developed by OpenAI. It is part of the GPT (Generative Pre-trained Transformer) family of models, which are designed to generate human-like text based on input prompts. ChatGPT is specifically trained to carry out conversational tasks, such as answering questions, completing sentences, and engaging in dialogue. It has been

The post Surviving ChatGPT with Christian Hubicki appeared first on Software Engineering Daily.

Lee Edwards is a Partner at Root Ventures, a venture capital firm that invests in early-stage startups that are focused on solving hard engineering problems. Lee is an investor in Privacy Dynamics, a company that offers data anonymisation as a service. You can listen to our interview with the CTO of Privacy Dynamics, John Craft

The post Seeding Bold Engineers with Lee Edwards appeared first on Software Engineering Daily.

API mocking is a technique used to simulate the behavior of an API without actually connecting to the real API. It is useful for various reasons, including testing, isolation, development, and cost reduction. By using API mocking, developers can test their code without relying on the availability of the real API, isolate the code being

The post Creating Mock APIs with Tom Akehurst appeared first on Software Engineering Daily.

The post pebblebed with Keith Adams appeared first on Software Engineering Daily.

As companies move more and more workloads to the cloud, cost management in the cloud is becoming critically important. Modern application development methodology increasingly involves moving to service and microservice architectures enabled by the cloud and kubernetes is the backbone of this modern infrastructure trend. Managing costs of kubernetes clusters is therefore becoming increasingly important.

The post Kubernetes Cost Management with Matt Leray appeared first on Software Engineering Daily.

Jeli.io is an end to end incident management tool. Jeli helps you understand why an incident took place, how it could’ve been prevented, and allows you to dive deep into uncovered themes, patterns, or problem areas! Nora Jones is the Founder and CEO at Jeli.io and she joins us today. Sponsorship inquiries: [email protected]

The post Learning From Incidents with Nora Jones appeared first on Software Engineering Daily.

Data observability is the idea of creating a unified view of all the data so you can head off problems early, identify outages, and address any conflicts in real time. Today we’re interviewing Streamdal’s founders Ustin Zarubin and Dan Selans. They’re gonna share with us how they’re using an application monitoring approach to address the

The post Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans appeared first on Software Engineering Daily.

Let’s say you have a set of microservices running on a Kubernetes cluster. In the past, developers used to program features like service discovery, observability, who’s allowed to talk to whom and other security related features directly into the application code. This slowed down the dev cycle and it made these microservices bigger and just

The post Istio Ambient Mesh with Brian Gracely appeared first on Software Engineering Daily.

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

I got into hobby board games while at school and have continued my involvement, these days streaming regularly on YouTube with Heavy Cardboard.

Then a couple of weeks ago that last champion - Gloomhaven - was toppled by exactly the kind of game that I like: Brass Birmingham.

The original Brass, now called Brass Lancashire, appeared in 2007 and has been a highly rated game, staying in BGG's top 40, ever since.

Brass Birmingham, which came out in 2018 isn't necessarily superior, despite being the one that took the top ranking.

They were driven by their love of the original Brass game, and wanted to take over its publication.

Martin Fowler: 18 Feb 2023Accessing Twitter this morning, I was greeted with a prompt saying that they were getting rid of text messages as a form of two-factor authentication unless you subscribed to Twitter Blue.

I thought “fine”, because I don’t use text messages for that, preferring a one-time code managed by 1Password.

It seems that Twitter had mistakenly deleted my one-time code link.

I don’t think this is a huge deal, as I just set up another one-time code.

But it’s the sort of thing that reinforces the impression that bits are steadily falling off Twitter.

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

Aino Corry, author of "Retrospectives Antipatterns", is a teacher, a technical conference editor and retrospectives facilitator.

Retrospectives Antipatterns are descriptions of what can go wrong in that activity and how to remedy it.

With detailed scenarios, imaginative illustrations and step-by-step instructions, this book started my journey as a retrospective facilitator.

Their book helped me to plan shorter, more efficient retrospectives, but also contains tools for the facilitator that helped me with the actual process of planning the retrospectives in a more efficient way.

I wrote ”Retrospectives Antipatterns” to answer these questions, so that you can avoid making the same mistakes I …

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

With all this extra context, trying to squeeze everything into React components or hooks is generally not a good idea.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component requires a lot of time just to read what is goin…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Discover…

I've now made it a habit of mentioning six new musical discoveries I made this year.

Dancing Wittgenstein by Jazzrausch Bigband sample track: Dancing Wittgenstein Jazzrausch Bigband is compelling evidence that, however unlikely it sounds, Duke Ellington had a baby with Kraftwerk.

Chants by Al-jiçç sample track: Route The Mediterranean is a fascinating mixing pot: Graeco-Roman classicism, catholic Europe, the Maghreb, Ottoman, and Arabian cultures united by trade over the course of centuries.

Jokers by Vincent Peirani sample track: River The accordion is a rarity in serious musical circles, usually only found in Folk and Tango.

The main reason I make this annual article is to hopefully lead …

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

Last week I upgraded my wifi by installing a Netgear Orbi Wifi Mesh.

I've been very happy with my Sonos system, it delivers music around the house, with only occasional problems.

When Sonos is set up like this, the speakers create their own wifi network, independent of any other wifi network in the building.

Looking around the internet, I found good reviews for the Netgear Orbi system, so I picked one up.

The Sonos app on my iPhone couldn't see any of my Sonos speakers.

Попросите ИИ объяснить или найти проблемы в SQL-запросе.

Telegram-бот, который использует официальное API OpenAI

Интерактивные SQL-примеры на JavaScriptЧитать про SQL хорошо, но пробовать запросы вживую еще лучше!

Поэтому я разработал виджеты, которые помогут вам превратить статичные SQL-запросы в статьях в интерактивные примеры.

Вот рабочий пример, попробуйте его:select * from employees limit 5;А вот четыре шага, которые помогут настроить интерактивные примеры в ваших статьях или документации:1.

sqlime-db.js — веб-компонент базы данных.

— веб-компонент базы данных.

Чтение и запись файлов в SQLiteИногда бывает удобно загрузить набор данных из внешнего файла или выгрузить результаты запроса в файл.

В отличие от других СУБД, добавить расширение в SQLite элементарно.

Построчно записать результаты в файлДопустим, мы хотим выгрузить записи лога с уровнем ERROR в отдельный файл.

name ), files ;Убедимся, что все записи логов попали в таблицу:select fname , count ( * ) from logs group by fname ;┌────────────────┬──────────┐ │ fname │ count(*) │ ├────────────────┼──────────┤ │ logs/app.log.1 │ 5 │ │ logs/app.log.2 │ 5 │ │ logs/app.log.3 │ 6 │ └────────────────┴──────────┘Порядок!

УстановкаСкачайте свежий релиз Подключите в командной строке SQLite ( sqlite.exe )…

В SQLite ничего такого нет.

Теперь выберем из него данные:select * from v_sales ;┌─────────┬──────┬──────┬──────┬──────┐ │ product │ 2020 │ 2021 │ 2022 │ 2023 │ ├─────────┼──────┼──────┼──────┼──────┤ │ alpha │ 100 │ 120 │ 130 │ 140 │ │ beta │ 10 │ 20 │ 40 │ 80 │ │ gamma │ 80 │ 75 │ 78 │ 80 │ └─────────┴──────┴──────┴──────┴──────┘Работает!

select load_extension ( './pivotvtab' ); create virtual table v_sales using pivot_vtab ( -- строки ( select distinct product from sales ), -- столбцы ( select distinct year , year from sales ), -- ячейки ( select sum ( income ) from sales where product = ?

2 ) );Дальше расширение само все сделает:select * from v_sales ;┌─────────┬──────┬──────┬──────┬───…

Избранные фичи Go 1.20Go 1.20 принес немало новых фич и улучшений.

Err ()) // context canceledНачиная с 1.20, контекст можно создать с помощью context.WithCancelCause() .

Println ( context .

И, начиная с версии 1.20, добавили три новые маски:DateTime = "2006-01-02 15:04:05" DateOnly = "2006-01-02" TimeOnly = "15:04:05"Теперь наконец-то можно делать так:t , _ := time .

CutPrefix ( s , "> " ) fmt .

Проверяйте текст по шаблону и заменяйте фрагменты прямо из SQL.

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).

Идемпотентность — это когда повторный вызов операции над объектом не приводит к изменениям или ошибкам.

Очень полезная в разработке штука.

Давайте посмотрим, как применить идемпотентность, чтобы безопасно освободить занятые ресурсы.

Например, есть у нас ворота:Конструктор NewGate() открывает ворота, занимая какие-то системные ресурсы, и возвращает экземпляр Gate .

Понятно, что в итоге занятые ресурсы надо освободить:// do stuffПроблемы начнутся, если в какой-то ветке кода мы захотим явно закрыть ворота:

Как писать функции на чистом SQL.

JSON LinesНа днях оценил формат JSON Lines.

Это такой CSV на стероидах:каждая запись идет отдельной строкой, как в CSV;но при этом представляет собой полноценный JSON.

JSON, в принципе, тоже можно читать потоково.

Но посмотрите, насколько это проще с JSON Lines:import json from typing import Iterator def jl_reader ( fname : str ) -> Iterator [ dict ]: with open ( fname ) as file : for line in file : obj = json .

strip ()) yield obj if __name__ == "__main__" : reader = jl_reader ( "employees.jl" ) for employee in reader : id = employee [ "id" ] name = employee [ "name" ] dept = employee [ "department" ] print ( f "# { id } - { name } ( { dept } )" )#11 - Diane (hr) #12 - Bob (hr) #21 - Emma …

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.